技術要約：グラフベースのツールを用いた小規模言語モデルにおける分子特性予測の向上

問題提起

分子特性予測（MPP）は創薬における極めて重要な要素であり、伝統的に、分子のトポロジー構造をモデル化する能力を持つグラフニューラルネットワーク（GNN）が主流となってきました。しかし、GNNは「ブラックボックス」として機能することが多く、人間が解釈可能な根拠を欠いています。一方で、小規模言語モデル（SLM）や大規模言語モデル（LLM）は、ゼロショット推論において有望な成果を示していますが、簡略化された分子入力表記法（SMILES）を介して分子を処理する際に「構造的盲目性（structural blindness）」に陥るという課題があります。SMILESはシーケンスベースの抽象化であり、複雑な2次元の分岐や空間的関係をエンコードすることに失敗しやすく、特定の局所的なモチーフやグローバルな連結性に依存した予測を行う際に、一貫性のないパフォーマンスをもたらします。

対処すべき核心的な課題は、言語モデルの再学習や計算コストの高いアーキテクチャの統合を行うことなく、いかにしてGNNの構造的推論能力とSLMの言語的推論能力の間の溝を埋めるかという点です。

方法論：コンテキスト拡張型プロンプティング・フレームワーク

著者らは、推論時にエージェントによるツール利用を可能にするモジュール式の**コンテキスト拡張型プロンプティング（Context-Augmented Prompting）**フレームワークを提案しています。このセットアップでは、SLMが推論コントローラーとして機能し、事前学習済みのグラフベースのツールに対してクエリを実行して構造化されたコンテキストを生成し、それがプロンプトにフィードバックされることでゼロショット予測を強化します。

エージェント・ループ

入力となるSMILES文字列 $s$ に対して、SLMは主に以下の3つのツールを呼び出すことができます。

1. ExpertPredict($s$): SMILESを分子グラフ $G$ に変換し、事前学習済みのGNN（具体的にはGINモデル）に問い合わせて、予測ラベル $\hat{y}$ と信頼度スコア $\hat{p}$ を返します。
2. ExplainSubgraph($s$): GNNExplainerを利用して、予測に最も影響を与えた部分グラフ（モチーフ）を特定します。これはエッジ重要度マスクとして抽出され、上位10%のエッジを保持するように閾値処理された後、部分グラフのSMILES文字列 ($s_c$) へと変換されます。
3. ChemReason($s, s_c, \hat{y}, \hat{p}$): SLM自身が、特定されたモチーフ $s_c$ がなぜ予測された特性（例：毒性）を支持するのかについて、自然言語による根拠（ラショナル）を生成する指示ブロックです。これにより、より大きな教師モデルからのバイアスを避けつつ、GNN由来の証拠に基づいてSLM自身が推論を生成することを保証します。

プロンプト構成

本研究では、ベースラインからフルコンテキストに至る5つのプロンプト構成を評価しています。

1. SMILES (ベースライン): 入力は生のSMILES文字列のみ。
2. SMILES + SUBGRAPH: 生のSMILESと、抽出された部分グラフのSMILES ($s_c$) を含む。
3. SMILES + HINT: 生のSMILESと、GNNエキスパートによる予測および信頼度を含む。
4. SMILES + REASONING: 生のSMILESと、モチーフの関連性に関するSLMが生成した根拠を含む。
5. ALL CONTEXT: 生のSMILES、エキスパートの予測/信頼度、部分グラフのSMILES、およびSLMが生成した根拠のすべてを組み合わせたもの。

実験設定

本フレームワークは、以下の2つのベンチマークデータセットを用いて評価されました。

• MUTAG: 変異原性をラベル付けした188個のニトロ芳香族化合物。
• Tox21: 1,000個の分子をバイナリ毒性分類タスクに変換したサブセット。

3つのSLMが、ゼロショットの形式でテストされました（データセットに対するファインチューニングはなし）。

• DeepSeek (Lite-Code): 2.4Bのアクティブパラメータ（16BのMoEアーキテクチャ）を持ち、コードと構造的推論に最適化されている。
• Qwen 2.5 (Code): 3Bのパラメータを持ち、ステップごとの生成にチューニングされている。
• Llama 3.2: 3Bのパラメータを持つ、汎用的な対話型ベースライン。

GINモデルは、エキスパート・ツールとして機能させるために訓練分割（70/30分割）で学習されました。一方、SLMはテスト分割のみで評価されました。

主な結果

グラフ由来のコンテキストでプロンプトを強化することは、精度の大幅な向上をもたらしますが、そのパフォーマンスは特定のSLMアーキテクチャやデータセットの難易度に強く依存することが示されました。

• 複雑なタスクにおける大幅な向上: より困難なTox21データセットにおいて、ALL CONTEXT構成は、DeepSeekで74.03%、Qwen 2.5で**44.21%**の相対的な改善を、SMILESのみのベースラインに対して達成しました。
• モデルへの依存性: DeepSeekとQwen 2.5は、構成全体を通じて一貫して強力な改善を示しました。対照的に、Llama 3.2は混合した挙動を示しました。一部のシングルツール・バリアントは効果がありましたが、ALL CONTEXT構成はMUTAGにおいてベースラインを上回ることができず、Tox21においても改善は限定的でした。著者らは、より小さな汎用モデルは、異種混合の証拠を統合する際に「情報の妨害（information distraction）」を受ける可能性があると示唆しています。
• 結合されたコンテキストの堅牢性: シングルツールによる信号（ヒントや部分グラフ単体など）は、時として不安定であったり、パフォーマンスを低下させたりすることがありました（例：MUTAGにおけるヒント付きのDeepSeek）。しかし、ALL CONTEXT構成は一般的に、エキスパートの事前知識、構造的証拠、および意味的推論が互いに補完し合うことで、より堅牢であることが示唆されました。
• 専門化されたモデルとの継続的な格差: 改善は見られたものの、ALL CONTEXTを用いたSLMが、専門化されたGNNエキスパート（GIN）を一貫して超えることはできませんでした。例えば、MUTAGにおいてGINは84.21%の精度を達成しましたが、最良のSLM（DeepSeek）は75.44%に留まりました。これは、純粋にテキスト条件付けされた推論では、グラフ表現学習の帰納バイアスを完全に代替することはできないことを浮き彫りにしています。

因果的関連性の検証

必要性に基づくエッジ削除介入により、GNNExplainerによって抽出された部分グラフが単なる相関関係ではないことが確認されました。重要度によってランク付けされたエッジを削除すると、ランダムなエッジ削除と比較してエキスパートの精度がより急激に低下したことは、抽出されたモチーフに意思決定に不可欠な情報が含まれていることを示しています。

意義と主張

本論文は、言語モデルの再学習を行うことなく、分子特性予測を向上させるためのシンプルでモジュール化された、アクセシブルなアプローチを提供すると主張しています。その主な貢献は以下の通りです。

1. モダリティの架け橋: SMILESのみの入力による「構造的盲目性」を緩和するために、グラフベースの構造学習とシーケンスベースのSLM推論を、GNN由来のヒントを介して正常に統合しました。
2. 有効性の定量化: グラフ由来のコンテキストが予測精度を大幅に高める一方で、その利得がデータセットおよびモデルに依存することを実証的に示しました。
3. エージェントによる統治: 本フレームワークは、「二段階のガバナンス」パターンを示しており、SLMが意味的コントローラーとして機能します。SLMはグラフベースの説明を解釈し、（GNNエキスパートが誤っている場合などの）不一致を特定し、ドメインの制約に基づいてエキスパートの出力を受け入れるか拒否するかを決定できます。
4. 実用的な展開: 計算コストの高いハイブリッド・アーキテクチャ（例：MolCA, MolLM）とは異なり、このアプローチはSLMの凍結された重みを保持するため、科学分野における因果に基づいたニューロ・シンボリック・エージェントへの実用的なステップとなります。

著者らは、ツール拡張型のSLMは、ニューラルな予測とシンボリックなグラフ証拠を組み合わせる軽量な経路を提供する一方で、テキスト条件付けされた推論と専門的なグラフモデルの間には依然として隔たりがあり、分子科学におけるグラフの帰納バイアスの継続的な必要性を強調して結論付けています。