🤖 AI

NEAT: Neighborhood-Guided, Efficient, Autoregressive Set Transformer for 3D Molecular Generation

本論文は、順序非依存な学習戦略により原子レベルの置換不変性を保証することで、QM9 および GEOM-Drugs データセットにおいて最先端の 3 次元分子生成品質を達成し、かつ大幅な速度向上を実現する、新たな近傍誘導型自己回帰セットトランスフォーマーである NEAT を提案する。

原著者： Daniel Rose, Roxane Axel Jacob, Johannes Kirchmair, Thierry Langer

公開日 2026-05-07

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Daniel Rose, Roxane Axel Jacob, Johannes Kirchmair, Thierry Langer

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

複雑な 3 次元構造、例えば異なる色のボール（原子）を棒（結合）でつないだ分子モデルのようなものを、ロボットに構築させる方法を想像してみてください。目標は、既存のものを単にコピーするのではなく、ロボットがゼロから新しい有効な構造を創り出すことです。

本論文は、NEAT（Neighborhood-Guided, Efficient, Autoregressive Set Transformer：近隣誘導型・効率的・自己回帰的集合トランスフォーマー）と呼ばれる新しいロボット建築家を紹介します。その仕組みを簡単に説明します。

問題：「列」の混乱

これまでのほとんどのロボットは、生徒が一人ずつ教室に入るのを待つような厳格な列に従って分子を構築しようとしていました。彼らは「誰が最初？誰が次？」と決定しなければなりませんでした。

問題点: 分子において、原子に「最初」や「次」といった順序は実際には存在しません。それらは 3 次元のクラスターとして同時に存在します。それらを列に並べようとするのは、結晶を特定の順序で列挙して雪の結晶を説明しようとするようなものです。それは恣意的で混乱を招きます。ロボットが順序を間違えると、分子は破綻してしまいます。
従来の方法: 以前の手法は、これを解決するために「標準的（カノン）」な順序を考案しようとしましたが、これによりロボットにバイアスがかかりました。ロボットは分子の「形状」よりも、リストの「順序」をよりよく学習してしまいました。

解決策：「近隣」戦略

NEAT はゲームのルールを変えます。列の代わりに、分子を群衆として扱います。

仕組み: レンガを一つずつ家を建てていると想像してください。NEAT は「リストの次のレンガはどれか？」と問うのではなく、あなたが建てた現在の壁を見て、「この壁のすぐ隣に立っている近隣者は誰か？」と問います。
魔法: NEAT は現在の構造の「境界」を見ます。現在の構造に触れている原子であれば、次に追加される有効な候補であると認識します。順序には関心を持たず、近隣関係のみを重視します。
結果: これによりロボットは「置換不変」になります。分子を左から、右から、あるいは逆さまから見ても、ロボットは同じ近隣者を見て、同じ有効な構造を構築します。

構築プロセス：2 つのステップを同時に行う

NEAT が新しい原子を追加すると決定すると、同時に 2 つのことを行います。

それは何か？ 原子の種類を推測します（例：「これは炭素のボールであるべきだ」）。
どこにあるか？ フローマッチングと呼ばれる特殊な数学的手法を用いて、その原子が 3 次元空間のどこに浮かぶべきかを正確に特定します。これは、川の流れが葉（原子）をランダムな出発点から、分子内での完璧で安定した場所へと優しく押し運ぶようなものです。

なぜ NEAT は特別なのか？

本論文は、NEAT が以下の 3 つの理由で大幅なアップグレードであると主張しています。

高速である: 他のロボットが石のブロックを何時間も削って像を彫刻しようとするような、数千のノイズステップをシミュレートする必要がないため、NEAT ははるかに迅速に分子を構築します。論文によると、競合他社に比べて5 倍から 16 倍高速です。
柔軟である: 固定された列に依存しないため、「スターターキット」（部分的な分子）を与えて作業を完了させるよう依頼できます。スターターキットの渡し方がどうであれ、構造を完成させることができます。他のロボットは、スターターキットが特定の「列」のルールと一致しない場合、失敗することがよくあります。
正確である: 標準的なテスト（QM9 や GEOM-Drugs というデータセット）において、NEAT は化学的に有効で固有の分子を構築し、既存の最良の手法に匹敵、あるいは凌駕しています。

注意点（限界）

著者らは、NEAT がまだできないことについて率直に述べています。

サイズの限界: 訓練中に観測した分子と同じ大きさの分子しか構築できません。小さな分子のみで学習した場合、巨大な分子を構築することはできません。
結合の曖昧さ: 近隣関係を特定するために、どの原子が結合しているか（結合）を知ることに依存しています。結合が不明確な奇妙な結晶構造を与えると、混乱する可能性があります。
「魔法」的な 3D 規則の欠如: 3 次元回転に対する物理法則（SE(3)-等変性）が組み込まれていませんが、著者らは、単に訓練データをランダムに回転させるだけで、十分に機能することがわかったと述べています。

まとめ

要約すると、NEAT はコンピュータに 3 次元分子を設計させるための新しい方法です。厳格で人工的なリストに従わせるのではなく、即座の近隣者を見て自然に構築することを教えます。それはより高速で、より柔軟であり、現在の最先端の手法と同等の精度を備えています。

技術概要：NEAT – 3 次元分子生成のための近傍誘導型、効率的、自己回帰セットトランスフォーマー

問題定義

バイオ活性分子の発見における現在の計算ワークフローは、仮想スクリーニングまたは de novo 生成に大きく依存しています。仮想スクリーニングは化学ライブラリの有限なサイズと計算コストの増大によって制限されるのに対し、生成モデルは有望な代替手段を提供します。しかし、3 次元分子構造の生成には固有の課題が存在します。分子は本質的に 3 次元的であり、その特性はしばしばコンフォメーション（立体配座）によって決定されます。

既存の最先端の 3 次元生成モデルは、主に拡散モデルやフローマッチング手法を利用しています。これらの手法は、メッセージパッシング更新における二次的なスケーリングに悩まされ、可変サイズの分子への本質的な適応性（多くの場合、初期化時に決定された固定された原子数を必要とする）に欠け、ノイズ除去中の動的な原子挿入の管理に苦慮しています。

自己回帰モデルは、可変の原子数を自然にサポートし、トークンあたり 1 回のエンコーダー呼び出しのみを必要とする柔軟な代替手段を提供します。しかし、標準的な自己回帰トランスフォーマーはトークンの逐次的な順序付けを必要とします。分子グラフにおいて、原子には本質的な逐次的順序が存在しません。先行研究では、標準的な原子順序付けを使用することでこの問題に対処してきましたが、これらのアプローチは原子に関する置換不変性を持ちません。これらは次のトークンの予測を特定の順序付け慣習に偏らせ、モデルの一般化能力を制限するか、最終分子の標準順序と一致しない開始原子順序を必要とするプレフィックス補完のようなタスクの遂行を困難にします。一方、置換不変性を保証するグラフニューラルネットワーク（GNN）のアプローチは、しばしば化学的に妥当性の低い分子を生成します。

手法

著者らは、標準的な原子順序付けに依存せずに原子の置換不変性を尊重する、3 次元分子生成のための最初の自己回帰トランスフォーマーモデルであるNEAT（Neighborhood-Guided, Efficient, Autoregressive Set Transformer：近傍誘導型、効率的、自己回帰セットトランスフォーマー）を提案します。

コアアーキテクチャ

NEAT は、分子グラフをシーケンスではなく原子の集合として扱います。アーキテクチャは 3 つの主要なコンポーネントで構成されます：

データ拡張モジュール（近傍誘導）： 逐次的な位置エンコーディングの代わりに、モデルは分子の成長を模倣するサンプリング戦略を使用します。分子グラフが与えられた場合、連結部分グラフ（ソースセット）がサンプリングされます。ターゲットセットは、ソースセットの「境界ノード」（1 ホップの隣接ノード）として定義されます。これにより、原子が追加された順序に関係なく、次のステップに対する有効なトークン継続のセットが提供されます。
セットトランスフォーマートランク： ソースセットは、セットトランスフォーマー（双方向アテンションを持ち、位置埋め込みを持たない NanoGPT/GPT-2 に基づく）を使用してエンコードされます。原子タイプは線形に埋め込まれ、位置はフーリエ特徴を使用してエンコードされます。加法的プーリングは、これらのノード表現をセットレベルの表現（ $z_n$ ）に集約します。この設計により、ソースセット内の原子の順序に対する置換不変性が保証されます。
フローマッチングヘッド： セットレベルの表現 $z_n$ $z_{n}$ は、次のトークンを予測するために使用され、原子タイプと位置に因数分解されます： $p(a_{n+1}, x_{n+1} | z_n) = p(a_{n+1} | z_n) \cdot p(x_{n+1} | a_{n+1}, z_n)$ $p (a_{n + 1}, x_{n + 1} ∣ z_{n}) = p (a_{n + 1} ∣ z_{n}) \cdot p (x_{n + 1} ∣ a_{n + 1}, z_{n})$ 。
- 原子タイプ： 線形層とソフトマックスを介したカテゴリカル分布としてモデル化されます。
- 原子位置： 条件付きフローマッチング（CFM）を介してモデル化されます。モデルは、ランダムな初期位置分布を真の原子位置へ輸送するベクトル場を学習します。

学習戦略

近傍誘導： 学習中、モデルは単一の次のトークンではなく、すべての有効な境界ノードのセットによって監督されます。これにより、標準化の必要性が排除されます。
ティーチャフォース： 原子タイプの予測と位置の復元は分離されます。モデルはタイプを予測し、フローマッチングヘッドはそのタイプに条件付けられた位置を学習します。
拡張： 誤差蓄積に対する堅牢性を向上させるため、学習中にソースセットの原子の割合にガウスノイズが注入され、位置はノイズのあるソースセットに対して再中心化されます。
損失関数： 総損失は、原子タイプの交差エントロピー損失と位置のフローマッチング損失の合計です。ソース分布とターゲット分布を結合し、輸送コストを最小化して経路の交差を回避するために、線形割り当て問題が解かれます。

推論

生成は、ランダムな初期原子から開始されます。各ステップで、現在の原子のセットがエンコードされ、次の原子タイプが予測され、ランダムな初期位置がサンプリングされます。その後、フローマッチングベクトル場が（オイラー法またはオイラー・マルuyama 法を使用して）積分され、最終的な 3 次元座標が決定されます。このプロセスは、停止トークンが予測されるまで繰り返されます。

主要な貢献

置換不変な自己回帰生成： NEAT は、近傍誘導とセットトランスフォーマーを用いた新しい学習戦略を導入することで、原子の順序付けに不変な 3 次元分子生成を実現し、自己回帰モデルにおける標準的順序付けの制限を克服します。
効率性： 入力をセットとして扱い、トークンあたり単一のエンコーダー呼び出しを使用することで、NEAT は拡散ベースのメッセージパッシングの二次的なスケーリングと、一部のフローマッチングベースラインで見られる原子生成ステップごとの複数の積分ステップの必要性を回避します。
プレフィックス補完能力： NEAT の順序非依存性は、シーケンスベースのモデル（QUETZAL など）が困難とする特定の標準順序付けとの整合性を必要とせず、与えられたスケフォールド（骨格）周りに分子を生成する高品質なプレフィックス補完を可能にします。
最先端のパフォーマンス： このモデルは、自己回帰モデルおよび拡散/フローマッチングベースラインの両方と比較して、標準的なベンチマーク（QM9 および GEOM-Drugs）において競争力のある、あるいは優れた結果を達成します。

実験結果

このモデルは、QM9（低分子有機化合物）およびGEOM-Drugs（医薬品様分子）データセットで評価されました。

生成品質： QM9 において、NEAT は xyz2mol 妥当性と一意性の点で、先行する自己回帰モデル（G-SchNet、G-SphereNet、Symphony、Geo2Seq）を上回りました。xyz2mol 妥当性は 95.2%、一意性は 91.6% であり、ルックアップ妥当性と一意性において 2 位となりました。GEOM において、NEAT は自己回帰モデルの中で最高のルックアップ妥当性（99.7%）および 2 番目に高い xyz2mol 妥当性（93.9%）と一意性（91.6%）を達成し、FlowMol3 などの最先端のフローマッチングモデルのパフォーマンスと一致しました。
プレフィックス補完： 100 の多様なプレフィックスから 1,000 個の分子を生成するタスクにおいて、NEAT は QUETZAL を大幅に上回りました。NEAT は 97.8% のルックアップ妥当性と 92.7% の xyz2mol 妥当性を達成したのに対し、QUETZAL はそれぞれ 27.8% および 28.1% にとどまりました。これは、NEAT が原子順序付けの慣習に依存しない構造的特徴を一般化できる能力を示しています。
実行効率： NEAT は顕著な速度優位性を示します。SemlaFlow より約5 倍、FlowMol3 より16 倍高速に動作します。最悪の場合、NEAT の複雑さは $O(BN^3)$ （ $N$ は原子数）ですが、拡散/フローモデルは $O(BTN^2)$ （ $T$ は積分ステップ数）としてスケーリングします。医薬品様分子の場合、 $N$ は通常 $T$ より小さいため、NEAT は実用的な速度優位性を提供します。

意義と主張

本論文は、NEAT が条件付き 3 次元分子生成に特化した複雑な創薬タスクにおいてトランスフォーマーアーキテクチャを活用するための強力な基盤を提供すると主張しています。標準的な原子順序付けへの依存を排除することで、モデルは、従来の自己回帰アプローチでは困難であった、骨格ベースの生成（プレフィックス補完）のような柔軟なタスクを可能にします。

著者らは、現在のアーキテクチャは明示的に SE(3) 共変性を持たないものの、学習中のランダムな回転拡張の使用がこれを効果的に補償し、予測におけるわずかな分散のみをもたらすと指摘しています。この研究は、NEAT を SE(3) 共変トランスフォーマーと統合することが、将来の研究における有望な方向性を示唆しています。

著者らは、モデルが高品質な 3 次元構造を生成する一方で、分子の生成は、広範な検証、合成、テストを必要とする複雑なパイプラインの単なる一歩に過ぎないと強調しています。また、近傍誘導のためのエッジ情報への依存（無機結晶への適用性を制限する可能性があること）や、学習中に観測された最大原子数を超えた外挿の欠如といった限界も認めています。