🤖 machine learning

Autoregressive latent diffusion for 3D molecule generation

本論文は、無条件生成とフラグメント条件付き生成を単一のアーキテクチャ内で統合した潜在自己回帰拡散フレームワークであるKRONOSを紹介しており、拡散モデルに対して競争力を維持しつつ、自己回帰手法の中で最先端の性能を達成している。

原著者： Federico Ottomano, Gaopeng Ren, Yingzhen Li, Kim E. Jelfs, Alex M. Ganose

公開日 2026-07-13

📖 1 分で読めます☕ さくっと読める

原著者： Federico Ottomano, Gaopeng Ren, Yingzhen Li, Kim E. Jelfs, Alex M. Ganose

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、新しい複雑な分子を一から作り上げようとしている、熟練のレゴ建築家であると想像してください。長い間、最も優れた方法は、**拡散モデル（diffusion model）**を使うようなものでした。それは、巨大で混沌とした、宙に浮くレゴブロックの雲から始まり、テーブルを魔法のようにゆっくりと揺らすことで、ブロック同士を完璧な形にパチッとはめ込んでいくような作業です。この手法は驚異的に機能しますが、一つ問題があります。始める前に、マシンに対して「ブロックを正確にいくつ用意するか」を伝えなければならないのです。もし予測を間違えれば、完成品はバラバラに崩れてしまいます。

次に、**自己回帰モデル（autoregressive models）**が登場しました。これは、タワーを一つひとつのブロックを積み上げるように作る方法です。一つ置き、次を置き、その次を置く……という具合です。この方法は、最終的なサイズを事前に知る必要がなく、特定の「シード（種）」となるパーツ（既知の薬物スキャフォールドなど）から始めて、その周囲に新しい構造を構築することもできます。しかし、こうしたブロック逐次型のビルダーは、拡散モデルのような高い品質に到達することに苦戦することが多く、また、特定のシードの周囲を構築しようとすると混乱してしまうこともありました。

そこで、インペリアル・カレッジ・ロンドン（Imperial College London）の研究者たちによって導入された新しいフレームワーク、KRONOSが登場しました。KRONOSを、生のバラバラなブロックを扱うビルダーではなく、**圧縮された「魔法の設計図」**を扱う建築家だと考えてみてください。

魔法の設計図（潜在空間 / Latent Space）

KRONOSは、すべての原子の正確な3D座標や化学的種類を直接予測しようとする（これは、ブロックを置くたびにその色や質感まで説明しようとするようなものです）のではなく、まず分子を「潜在空間」へと変換します。これは、分子全体が単一の滑らかで連続的なトークンとして表現される、秘密の圧縮された言語のようなものです。複雑な3D彫刻を、形状と化学情報のすべてを保持した、一つのエレガントなコードの行へと変えるようなイメージです。

KRONOSは、文章を単語ごとに読み進めるように、これらの圧縮されたトークンを一つずつ予測することで分子を構築します。しかし、ここにひねりがあります。次のトークンを予測するために、KRONOSは**拡散プロセス（diffusion process）**を使用します。これは、建築家が現時点の設計図を見ながら、次のパーツが少し「ノイズ」を含んだ、あるいはぼやけた状態であると想像し、それを「デノイジング（ノイズ除去）」することで、それが正確には何であるべきかを導き出すようなものです。これにより、「ステップ・バイ・ステップで構築する柔軟性」と「拡散による高品質な生成力」の両方の利点を組み合わせることができます。

「中間を埋める（Fill-in-the-Middle）」トリック

KRONOSの最もクールな特徴の一つは、「部分的な」分子をどのように扱うかという点です。例えば、パズルを持っていて、足りないピースを埋めたいとします。ただし、足りないピースは必ずしも最後にあるとは限りません。途中に穴があったり、特定の塊の周りに構築したい場合もあります。

研究者たちは、「Fill-in-the-Middle（FIM）」に触発された戦略を用いました。学習中、彼らはモデルに単に左から右へと読むことだけを教えたのではありません。分子を見て、それをランダムな塊（フラグメント）に切り分け、いくつかの塊を隠し、その空白を埋めるように求めたのです。時にはモデルにゼロから全体を作らせることもあれば（無条件生成）、特定の断片を完成させるようにさせることもあります（断片条件付き生成）。

この手法により、KRONOSは二つの異なる脳を必要とすることなく、両方のタスクの達人になることを学んだと論文は示唆しています。それは、シェフに、ゼロからフルコースを作る方法と、誰かが作り始めた料理を仕上げる方法の両方を、同じキッチンで混乱することなく教え込むようなものです。

結果：どれほど優れているのか？

チームは、2つの主要なデータセット、QM9（97,609個の小さな分子のコレクション）とGEOM-Drugs（110万個以上の薬物様コンフォーマーを含む大規模なコレクション）を用いてKRONOSをテストしました。

QM9において： KRONOSは 97.3%の3D妥当性（3D Validity） と 99.07%の3D原子安定性（3D AtomStable）スコア を達成しました。これは、生成されたほぼすべての分子が化学的に正しく、安定していることを意味します。テストされたすべての「ブロック逐次型（自己回帰型）」の手法の中で、KRONOSはトップとなりました。さらに、JODOのような強力な「雲を揺らす（拡散）」モデルのスコア（妥当性96.3%）とも互角の性能を示しました。
GEOM-Drugsにおいて： これはより困難なテストです。KRONOSは 94.7%の3D妥当性 と 86.45%のAtomStableスコア を達成し、他の自己回帰モデルを凌駕し、拡散モデルとも競争力のある結果を残しました。
物理的な現実性の検証： 研究者たちは、単に分子が正しく見えるかどうかを確認しただけではありません。生成された分子が物理的に安定しているかを確認するために、GFN2-xTB という量子化学シミュレーションを実行しました。QM9において、生成された分子は最適化された完璧な構造と比較して、中央値RMSD（Root Mean Square Distance） がわずか 0.074 Å（オングストローム）でした。これは、KRONOSが構築する分子が、すでに自然で安定した形状に非常に近いことを示唆しています。

KRONOSが「そうではない」もの

この論文が主張していないことも明記しておく必要があります。著者らは、KRONOSはNEATのような他の高度なアーキテクチャに見られるような、完全な「置換不変（permutation-invariant）」なモデルではないと明言しています。つまり、モデルが断片を見る順番が多少影響を与えることを意味しており、真の置換不変モデルであれば、順序を全く気にしないはずです。しかし、論文では「Fill-in-the-Middle」による学習が、追加の複雑さを必要とせずにモデルを堅牢にするのに十分であったと論じています。

また、KRONOSの品質は、その「魔法の設計図」（使用している事前学習済みオートエンコーダ）の品質によって**制限（bounded）**されます。設計図が完璧でなければ、KRONOSも完璧な分子を構築できません。著者らは、将来より優れた設計図が発明されれば、KRONOSも自動的に向上することを示唆しています。

まとめ

KRONOSは、分子を一つずつ組み立てる方法（柔軟で、長さが可変）と、強力な拡散プロセスを用いる方法（高品質）のどちらか一方を選ぶ必要はないということを示唆しています。圧縮された「潜在空間」の中で働き、「中間を埋める」という巧妙な学習トリックを用いることで、その両方を実現しています。化学的に妥当で、幾何学的に正確であり、かつ特定の開始点に基づいて構築できる分子を作り出し、同時にあらゆるサイズの分子への道を開いています。これは創薬における有望な新しいツールであり、時には「真ん中から学ぶこと」が最善の構築方法であることを示しています。

技術要約：KRONOS – 3D分子生成のための自己回帰的潜在拡散モデル

問題提起

三次元（3D）分子生成は、創薬および分子設計における極めて重要なタスクである。現在の最先端のアプローチは、主に**拡散モデル（diffusion models）とフローマッチング（flow matching）**に依存している。これらの手法は高い生成品質を実現しているが、通常、分子のサイズ（原子数）を事前に指定する必要があり、可変長生成に対する柔軟性に欠ける。

対照的に、**自己回帰（AR）**モデルは、可変長の生成や部分的な分子構造（例：既知のスキャフォールドの精緻化）への条件付けを自然にサポートすることができるため、医薬品化学において非常に価値が高い。しかし、既存のARモデルは主に2つの課題に直面している：

性能のギャップ： 歴史的に、ARモデルは生成品質、特に幾何学的な忠実度と化学的な妥当性において、拡散モデルに後れを取ってきた。
目的のバランス： 単一のアーキテクチャ内で、無条件生成（de novo設計）と断片条件付き生成（分子補完）の両方において強力な性能を達成することは依然として困難である。多くのARモデルは、アーキテクチャの変更や性能のトレードオフなしには、これらのパラダイム間での汎用化に苦慮している。

さらに、既存の潜在分子生成器は、ほぼ例外なく拡散に依存しており、潜在空間における自己回帰生成の可能性はほとんど未開拓のままである。

手法：KRONOS

著者らは、学習済みの一致オートエンコーダ（Unified Autoencoder; UAE）（Luo et al., 2025）の潜在空間において直接3D分子を生成する、潜在自己回帰拡散フレームワークであるKRONOSを導入する。この手法は、以下の3つのコアコンポーネントを組み合わせている。

1. 潜在自己回帰生成

KRONOSは、生のデータ空間（離散的な原子種/結合と連続的な座標を同時に予測する）で動作するのではなく、学習済みUAEの連続的な潜在空間で動作する。

表現： 3D分子は、原子のアイデンティティ、結合環境、および3D幾何学を共同でエンコードする一連の潜在トークン $Z = \{z_1, \dots, z_n\}$ にエンコードされる。
因数分解： モデルは左から右への自己回帰分布を学習する：
$p_\theta(z_{1:n}) = \prod_{i=1}^n p_\theta(z_i | z_{<i})$
可変長： 潜在空間には自然な終端トークンが存在しないため、KRONOSは、生成器と共に学習される専用のストップ分類器（stop classifier）（軽量なMLP）を採用し、シーケンスの終了を動的に予測することで、事前定義された原子数を必要とせずに、シーケンスの終了を排除している。

2. 拡散ベースのトークン予測

連続的な潜在トークンの条件付き分布 $p_\theta(z_i | z_{<i})$ をモデリングするために、KRONOSは**拡散損失（Diffusion Loss）**定式化（Li et al., 2024）を利用する。

因果的トランスフォーマー（causal transformer）が、先行するトークンをコンテキスト表現 $c_i$ にエンコードする。
拡散デノイジングネットワーク $\epsilon_\theta$ が、 $c_i$ と拡散タイムステップに基づき、現在の潜在トークン $z_i$ に加えられたノイズを予測する。
このアプローチは、離散的なトークン予測をデノイジング目的関数に置き換えることで、離散化を行うことなく連続変数の柔軟なモデリングを可能にする。

3. 混合学習戦略（断片条件付き生成）

無条件生成と断片条件付き生成の両方を単一のモデル内でサポートするために、著者らはFill-in-the-Middle (FIM) パラミダイズムに着想を得た学習戦略を導入している。

断片分解： 分子は、BRICSベースのスキームを用いて、化学的に意味のある断片へと分解される。
シーケンス構築： 学習中、各分子は以下のいずれかに変換される：
- デフォルト順序シーケンス（無条件生成用）。
- ランダムに選択された断片のサブセットが「シード（種）」として機能し、残りの断片が生成対象となる断片条件付きシーケンス。
メカニズム： モデルは、シード断片を条件としてターゲットとなる断片を自己回帰的に生成するように学習される。これは、すべての置換を周辺化する（Order-Agnostic ARモデルのように）のではなく、断片およびその中の原子に対して単一の決定論的な順序を割り当てることで実現される。これにより、アーキテクチャを変更することなく、分子補完能力を学習することが可能となる。

主な貢献

KRONOSフレームワーク： 統一された潜在空間において、分子グラフのトポロジーと幾何学を共同でモデリングする、新しい潜在自己回帰拡散フレームワーク。
統一された学習戦略： FIMパラダイムに着想を得た、単一の左から右への自己回帰モデル内で、無条件生成と断片条件付き生成の両方を可能にする混合学習アプローチ。
可変長生成： ストップ分類器を介して自然に可変長生成をサポートし、事前のサイズ指定を回避する統一されたフレームワーク。
性能： 潜在自己回帰生成が、断片条件付けを有効にしても無条件の品質を損なうことなく、自己回帰手法の中でトップクラスの性能を発揮し、拡散モデルとも競争力を持つことを実証した。

実験結果

著者らは、QM9およびGEOM-Drugsデータセットを用いてKRONOSを評価した。

無条件生成

QM9： KRONOSは最高の**3D妥当性（97.3%）**を達成し、自己回帰手法の中で最も強力な全体的性能を示した。3D原子安定性、結合長、結合角のMMDを含む指標において、主要な拡散モデル（例：JODO, EDM）に対して競争力を維持した。
GEOM-Drugs： KRONOSは、評価されたすべてのベースライン（自己回帰および拡散の両方）の中で、最強の全体的性能を達成した。
物理的妥当性： 半経験的幾何最適化（GFN2-xTB）を用いた結果、KRONOSが生成したコンフォメーションは、最適化された構造に対して低い平方根平均二乗距離（RMSD）およびエネルギー差（ $\Delta E$ ）を示し、物理的に妥当な領域に近いことが示された。

断片条件付き生成

約1.5万個の分子-断片ペアのデータセットにおいて、KRONOSは妥当性と安定性の両方のMean@3およびBest@3指標において、自己回帰ベースラインであるQUETZALを大幅に上回った。
極めて重要なことに、断片条件付き生成を有効にしても、無条件生成の性能への影響は無視できる程度であり、両方のパラダイムが単一のアーキテクチャ内でサポート可能であることを示した。

重要性と主張

本論文は、KRONOSが既存のデータ空間における自己回帰および拡散ベースのアプローチに対する有望な代替案を提供すると主張している。その重要性は以下の点にある：

ギャップの解消： 自己回帰モデルと拡散モデルの間の性能差を大幅に縮め、断片条件付けを有効にしても拡散ベースラインに匹敵する性能を維持しながら、自己回帰手法の中でトップクラスの結果を出している。
柔軟性： 自己回帰モデルの強み（可変長、部分的な条件付け）と、拡散モデルの高精度な生成を、単一の潜在空間定式化の中で統合している。
実用的な有用性： アーキテクチャの変更なしに断片条件付き生成をサポートすることで、分子がしばしば既知のスキャフォールドの精緻化によって設計される医薬品化学のタスクにおいて、実用的なツールを提供する。

著者らは、学習済み潜在空間の表現力への依存や、固定されたBRICS分解スキームの使用を含む制限事項についても言及しており、将来的には、生成モデルと共に断片の抽象化を共同学習するか、あるいはフレームワークを特性誘導型設計へと拡張することを検討している。