Back to Basics: Improving Molecular Understanding in LLMs via SMILES-Graph Translation

技術要約：Back to Basics: SMILES–Graph 変換による LLM における分子理解の向上

問題提起
大規模言語モデル（LLM）は、分子の理解および生成タスクにおいて強力な性能を発揮しているが、現在の手法は信頼できる構造的基盤（structural grounding）を欠いている。本論文は、決定的な乖離を指摘している。すなわち、モデルはダウンストリームのタスクでは成功を収めているものの、標準的な SMILES 文字列から重原子数や結合数を数えるといった基本的な構造認識タスクにおいては失敗している。これは、「構造が機能を決定する」という基本的な化学原則と矛盾している。予備評価の結果、汎用 LLM（GPT、Qwen など）と特化型分子 LLM（MolT5、ChemLLM など）の両方が、これらの基礎的なタスクにおいて低い性能を示しており、これは、逐次的な SMILES テキストと潜在的な 2 次元分子グラフとの間の明示的な等価性を、モデルが捉えられていないことを示唆している。著者らは、単純なテキスト事前学習の後に高レベルの推論へと跳躍する現在のパラダイムは、論理的な解釈可能性に欠け、信頼できる推論に必要な構造的認知を確立できていないと主張している。

手法：MolBasic フレームワーク
これに対処するため、著者らは、分子理解を基礎的な構造理解に根ざさせるための「構造第一（structure-first）」のフレームワークである MolBasic を提案する。この手法は、3 つのコアコンポーネントで構成されている。

1. マルチレベル構造理解ベンチマーク (MSC):
   著者らは、2 次元グラフ知覚を評価・訓練するために、3 つのレベルに整理された 8 つのタスクからなるベンチマークを構築した。

   • ノードレベル: 重原子のカウントおよび元素特定のカウント。
   • エッジレベル: 総結合数のカウントおよび特定の結合タイプのカウント。
   • グラフレベル: 分子式の変換、部分構造の認識、および標準的な SMILES とテキスト形式のグラフ隣接リスト間の双方向変換。
     中核となるタスクは、双方向の SMILES–Graph 変換であり、これによりモデルは逐次的表現とトポロジカルな表現の間の等価性を学習することを強制される。

2. 階段状学習フレームワーク (Staircase Learning Framework):
   学習は、人間の化学者の認知プロセスを反映した、漸進的かつ線形なパス（$v_{struct} \rightarrow v_{prop} \rightarrow v_{opt}$）に従う。この DAG（有向非巡回グラフ）構造のアプローチは、より高次の推論能力が信頼できる構造理解の上に構築されることを保証する。

   • ステージ 1 (構造理解): 基礎的なグラフ知覚の確立。
   • ステージ 2 (構造特性予測): 構造的特徴からの特性（LogP、MW など）の導出。
   • ステージ 3 (目的分子の最適化): 望ましい特性を実現するための分子の改変。
     このカリキュラム学習アプローチは、複雑なタスクによる基礎的な学習への干渉を防ぐ。

3. Chain-of-Thought (CoT) 教師あり学習:
   精度と解釈可能性を高めるため、フレーム-ワークは LoRA ファインチューニングを用いた 2 ステージの学習戦略を採用している。

   • ステージ 1 (回答学習): モデルは、ドメイン知識のアンカーを確立するために、正しい回答 ($a$) を予測することを学習する。
   • ステージ 2 (推論学習): モデルは、強力な推論モデル（具体的には GPT-5）から蒸留された Chain-of-Thought ($z$) を含む完全な応答を学習する。
     学習目的は、推論プロセスと最終結果を共同でモデル化することである：$P_\theta(a, z | S, q) = P_\theta(z | S, q) \cdot P_\theta(a | S, z, q)$。CoT には、回帰タスクのための決定的な中間結果（例：明示的な原子パース）と、「分析–戦略–検証」のパイプラインが含まれる。

主な結果
実験は PubChemSTM データセットおよび様々なダウンストリームベンチマークを用いて行われ、MolBasic を汎用 LLM、特化型分子 LLM、および従来のディープラーニングモデルと比較した。

• 構造理解: MolBasic はすべての MSC タスクにおいて大幅な改善を達成した。特筆すべきは、SMILES からグラフへの変換で 94.65% の精度、グラフから SMILES への変換で 85.66% の精度に達した点であり、これに対し、すべてのベースラインモデル（特化型 LLM を含む）は、これらの双方向変換タスクにおいてほぼゼロに近い性能であった。
• 特性予測: 構造特性予測（MW、LogP、TPSA など）において、MolBasic は LLM ベースの手法の中で最高の性能を示し、ほとんどの特性で 0.97 を超えるピアソン相関係数を達成し、平均絶対誤差 (MAE) は Chemprop のようなタスク特化型モデルと同等またはそれ以上の性能であった。
• 分子最適化: LogP を増加させるタスクにおいて、MolBasic は LLM ベースのモデルの中で最も高い LogP 改善量 (2.27) を達成しつつ、高い妥当性 (98.7%) と多様性 (0.86) を維持した。
• アブレーション研究:
  • 構造理解ステージを除去した場合（"w/o Struct"）、ダウンストリームの性能が単調に低下し、構造的知覚が不可欠な基礎であることを裏付けた。
  • 学習順序をランダム化した場合（"Mixed SFT"）、階段状アプローチよりも低い性能となり、漸進的な順序がタスク間の干渉を防ぐために重要であることが示された。
  • CoT 教師あり学習を除去した場合（"w/o CoT"）、一貫した性能低下が見られ、明示的な中間推論ガイダンスの必要性が浮き彫りになった。

意義と主張
本論文は、基本的な構造理解の欠如が現在の分子 LLM における根本的なボトルネックであると主張している。構造を「基礎に立ち返る（Back to Basics）」ことで、逐次的なテキストとトポロジカルなグラフ構造の整合性を優先することにより、MolBasic は信頼性が高く、解釈可能で、汎用性のある分子推論を可能にする。著者らは、この構造第一のパラダイムが、ダウンストリームでの成功と構造的失敗の間の矛盾を解決し、将来の「AI 化学者」アプリケーションのための堅牢な基盤を提供すると断言している。彼らの研究は、分子グラフを正確に知覚できなければ、高次の推論タスクは本質的に信頼できないものであることを強調している。

限界
著者らは、現在の階段状設計が推論を線形な連鎖としてモデル化していることを認めている。タスクが初期の構造理解ステージから離れるにつれ、構造的知覚の直接的な影響が弱まり、特性予測と比較して最適化における改善が目立たなくなる可能性がある。彼らは、将来の研究において、混合タスク学習で見られた干渉を受けることなく、LLM が多様なタスクの基礎として分子構造を明示的に利用できるような、より柔軟で非線形な推論フレームワークを探索すべきであると示唆している。