技術概要：EvoMD-LLM

問題定義

大規模言語モデル（LLM）は、SMILES 文字列を用いた分子物性予測などの静的な科学的推論において成功を収めています。しかし、動的物理過程の時間的構造をモデル化することには苦慮しています。分子動力学（MD）シミュレーションは時間的進化の自然な記述を提供しますが、言語モデルの離散的・記号的なトークン空間と互換性のない高周波連続座標で構成されています。既存の時系列基盤モデルは数値量子化に依存することが多く、これにより化学種の構成的意味論と離散的アイデンティティが破壊されます。さらに、現在の学習ベースのアプローチのほとんどは非反応性系（例：タンパク質フォールディング）に焦点を当てており、化学種の離散的変化を特徴とする反応過程には不向きです。ここで扱われる核心的な課題は、化学変換の因果論理を失うことなく、連続的な分子進化を標準的な自己回帰言語モデルに適した記号系列として表現する方法です。

手法

著者は、種レベルの分子動力学を制約付き生成言語タスクとして再定式化するフレームワークであるEvoMD-LLM（Evolutionary Molecular Dynamics Large Language Model）を提案します。この手法は以下の 4 つの主要な段階で構成されます。

1. 動的モダリティの整合

このフレームワークは、生 MD 軌道を反応イベントの構造化された「文法」に変換することで、連続的な物理シミュレーションと離散的記号推論を橋渡しします。

• 離散化: 生原子座標を、ab initio 結合次数決定に基づいた無向グラフに変換します。連結成分を分子式としてシリアライズします。
• イベント定義: 有効な分子イベントを、分子種 $m$ とそのピコ秒単位の持続時間 $\Delta t$ からなるタプル $(m, \Delta t)$ として定義します。
• フィルタリング: 熱雑音から化学的に重要な状態を分離するため、持続時間が $\Delta t < 10$ ps（結合振動）および $\Delta t > 500$ ps（プラトー）のイベントを除外します。これにより、関連する持続時間を伴う分子状態の離散系列が得られます。

2. 時間的足場

EvoMD-LLM の核心的な革新は、イベント持続時間を種トークンと交互に配置する明示的な言語トークンとして扱う時間的足場（Temporal Scaffolding）です。

• 運動性から意味へのマッピング: 持続時間トークンは運動論的安定性の意味的代理として機能します。これは構造化された帰納的バイアスとして作用し、熱力学的に安定な状態と過渡的な中間体を区別します。
• 意味圧縮: このアプローチはランレングス符号化（RLE）に類似しており、モデルが冗長な雑音をスキップし、化学的に意味のある時間スケールを直接推論することを可能にします。
• 帰納的バイアス: 持続時間を明示的に符号化することで、モデルは物理的に無効な遷移（「運動論的幻覚」）を抑制することを学習します。

3. 構造化指示フォーマット

このフレームワークは、確率的物理的ダイナミクスを決定論的構文に整合させるために、ドメイン固有の指示微調整パラダイムを採用します。

• システムコンテキスト: モデルは「科学シミュレータ」としてプロンプトされ、出力が分子式と時間トークンの間で交互に現れる必要がある統一語彙を有します。
• タスク制約: 指示により、生成探索空間を有効な物理的遷移に制限し、出力に対して厳格な構文制約を課します。

4. 異種タスク統合

ドメイン固有の動的モデリングと一般的な科学的推論のバランスを取るため、トレーニングデータセットは 2 つのストリームで構成されます。

• 構造化予測ストリーム: 1 ステップ、2 ステップ、および後方軌道予測タスクを含みます。トレーニングは短期コンテキスト（最大 2 ステップ）に制限され、時間的帰納推論の獲得を強制します。
• 言語的正則化ストリーム: 一般的な能力の破滅的忘却を防ぎ、事前学習された科学的知識に基づいて記号的分子トークンを接地させるために、合成化学の Q&A ペアを交互に配置します。

モデルは、ベース重みを固定したままパラメータ効率的な微調整を行うLoRA（Low-Rank Adaptation）を用いたLlama 3.1 8Bバックボーンを使用し、約 4200 万のパラメータを最適化します。

主要な貢献

1. EvoMD-LLM フレームワーク: 種レベルの分子動力学を記号イベント系列として再定式化する新しい言語モデリングフレームワーク。これにより、専用アーキテクチャなしで標準的な自己回帰 LLM が反応性系における時間的進化をモデル化できるようになります。
2. 持続時間トークンによる時間的足場: 言語要素として明示的な持続時間トークンを導入しました。アブレーション研究により、この設計が構造化された帰納的バイアスを提供することで予測精度を大幅に向上させ、無効な分子出力を削減することが示されました。
3. 統合された時間的予測定式化: 単一の指示微調整言語モデルが、タスク固有のアーキテクチャ変更なしに、多様な時間的予測タスク（前方予測、後方推論、確率的ポテンシャル k 予測）を柔軟にサポートできることを実証しました。

実験結果

このフレームワークは、確率的分岐と競合する反応経路（成長対エッチング）を含む困難なベンチマークであるMo-S 反応系で評価されました。

• 性能: EvoMD-LLM は、1 ステップ予測で66.14% の精度を達成し、0% の欠落率（無効な分子式を生成しない）を記録しました。これは以下のベースラインを大幅に上回ります。
  • 検索拡張生成（RAG）ベースライン（精度 39.52%）。
  • ゼロショットおよびフューショット Llama-3.1（それぞれ精度 7.97% および 16.94%）。
  • 逐次ニューラルベースライン（LSTM: 38.35%；エンコーダのみトランスフォーマー: 62.16%）。
• 汎化性: 軌道非連結分割によりデータ漏洩が防止されたにもかかわらず、モデルは N ステップ予測（2 ステップで 53.21%、3 ステップで 39.57%）および後方予測（55.26%）において堅牢な性能を維持しました。
• 創発的説明行動: 定性的に、モデルは軌道 - 説明データ対による監督を受けたことがないにもかかわらず、予測に対して妥当な物理的根拠（例：持続時間と熱力学的安定性の関連付け）を自発的に生成しました。
• アブレーション研究: 持続時間トークンを除去すると 1 ステップ精度が急激に低下（66.14% から 54.47% へ）し、時間的足場の必要性が実証されました。Q&A 正則化ストリームを除去すると、ARC ベンチマークにおける一般的な科学的推論能力が低下しました。

意義と主張

本論文は、記号的時間言語モデリングが LLM を動的物理シミュレーションに接地させるための効果的なフレームワークを提供すると主張しています。時間的持続性を意味的コンポーネントとして扱うことで、EvoMD-LLM は化学進化の「文法」を内部化します。

著者は、このアプローチが言語的抽象化と時間分解分子動力学を橋渡しするAI 駆動型材料発見への有望な方向性を提供すると強調しています。モデルはわずか 5,000 件のトレーニングサンプルで 60% 以上の精度に達する高いサンプル効率を達成しており、現在の性能の頭打ちはデータ量ではなく、化学系固有の確率性によるものであると述べています。

認められた限界:

• 汎化性: 現在の評価は Mo-S システムに限定されており、多様な化学空間（例：生物学的システム）への拡張は依然として課題です。
• 誤差蓄積: すべての自己回帰モデルと同様に、長期的な視野では誤差蓄積により性能が低下します。
• 幾何学的損失: 粗粒度の記号表現は、結合長や角度などの微細な幾何学情報を破棄しており、正確な幾何学的検証を必要とするタスクへの適用性を制限します。
• 解釈可能性: 説明は、軌道パターンを事前学習知識と整合させることから導き出されるものであり、ab initio 導出に基づくものではないため、確率的な手がかりの過剰解釈につながる場合があります。