SciCore-Mol: Augmenting Large Language Models with Pluggable Molecular Cognition Modules

技術概要：SciCore-Mol

問題定義
大規模言語モデル（LLM）は顕著な推論能力を示していますが、化学のような科学分野に適用される際には根本的なミスマッチに直面します。分子構造や反応条件などの科学データは、本質的に位相的、幾何学的、かつ連続的です。これに対し、LLM は離散的な記号系列のために設計されています。現在の手法は、分子グラフをテキスト文字列（例えば SMILES や SELFIES）に線形化することでこのギャップを埋めようと試みています。しかし、この線形化は化学的推論の中核をなす位相的および幾何学的不変性を明示的に露出させることができず、情報損失、意味的ノイズ、および構造感受性タスクにおける信頼性の低い予測をもたらします。さらに、既存のツール拡張システムは、しばしば科学モジュールを外部のブラックボックスとして扱い、中間データを LLM によって処理される前に再びテキストに圧縮する必要があります。この「テキストレベルのインターフェース」は推論のボトルネックを生み出し、LLM が高密度で連続的な分子情報にアクセスすることを妨げます。

手法：SciCore-Mol フレームワーク
著者は、LLM のバックボーンを 3 つの深く統合されたプラグ可能な認知モジュールで拡張するモジュラーフレームワークであるSciCore-Molを提案します。テキストのみのフィードバックに依存する以前の手法とは異なり、SciCore-Mol はこれらのモジュールを、隠れ状態レベルで学習された表現インターフェースを通じて LLM に結合します。

1. 位相的知覚モジュール: 幾何ベクトルパーセプトロン（GVP）ネットワークを基盤として構築され、このモジュールは（RDKit によって生成された）3 次元分子幾何学を SE(3) 等変換表現に符号化します。メッセージパッシングを通じてスカラー原子レベルの性質と 3 次元座標ベクトルを統合します。得られた幾何学的埋め込みは LLM の隠れ空間に投影され、「仮想構造トークン」として注入され、LLM がテキストトークン alongside 3 次元構造情報に注意を向けることを可能にします。
2. 分子生成モジュール: 自己回帰的 SMILES 生成の低妥当性を解決するため、このモジュールは潜在拡散トランスフォーマー（DiT）を採用します。これは LLM の隠れ状態を条件として、連続的な分子潜在空間で動作します。事前学習された SMILES オートエンコーダーが分子を潜在ベクトルにマッピングし、拡散プロセスはこれらのベクトルを反復的にノイズ除去して構造的に整合性のある分子を生成し、その後 SMILES にデコードします。
3. 反応感知モジュール: 数値感応トランスフォーマーを基盤として構築され、このモジュールは分子間推論を処理します。GVP 由来の幾何学的埋め込み、化学量論的量（モル、質量）、および機能的役割（反応物、触媒など）を組み合わせたマルチチャネル複合符号化を使用して、反応データを階層的に処理します。これにより、反応生成物、収率、および欠落反応物の同時予測が可能になります。

学習戦略
システムは、異種モジュールを LM バックボーンに整合させるために段階的学習戦略を利用します。

• ステージ 1（コンポーネント事前学習）: モジュールは独立して事前学習されます。LLM バックボーンは、凍結されたベースモデルに対する KL 発散正則化を用いて、化学 enriched コーパス（約 4 億トークン）上で継続的事前学習を受けます。これにより破滅的忘却を防ぎます。
• ステージ 2（クロスモーダル整合）: LLM バックボーンを凍結したまま、GVP エンコーダーとアダプターを学習させ、対照的目的関数を用いて幾何学的表現と自然言語記述を整合させます。
• ステージ 3（結合マルチタスク学習）: 合成、物性予測、生成など多様なタスクを網羅する 30 万の指示 - 応答コーパス上で、フルシステムを結合最適化します。
• ステージ 4（タスク固有微調整）: 任意の微調整により、モジュールを選択的に凍結または凍結解除することで、特定のダウンストリームタスクに特化することが可能です。

主要な貢献

• アーキテクチャ革新: 位相認識知覚、潜在拡散生成、反応認識推論を LLM の隠れ状態に直接統合する統一システムであり、テキストのみのツールインターフェースの情報ボトルネックを排除します。
• モジュラー性: 「プラグ可能」な設計により、モジュールを独立して有効化、無効化、またはアップグレード（例：GVP エンコーダーをより強力な 3D アーキテクチャに交換）することができ、システム全体を再学習する必要がありません。
• 性能: 著者は、80 億パラメータの SciCore-Mol システムが、はるかに大規模なプロプライエタリモデル（例：GPT-4o、GPT-5）および他のオープンソース化学モデルと比較して、競争力があり、いくつかの次元では優れている性能を達成することを示しています。

実験結果
SMolInstruct、MMLU-Chemistry、ChemBench4K、ORD、MoleculeNet などのベンチマークを用いて、5 つの能力次元（知識コア、Mol-テキスト翻訳、分子生成、定量的予測、合成推論）で評価されました。

• バランスの取れた性能: SciCore-Mol は同規模のモデルの中で最もバランスの取れた能力プロファイルを示し、分子生成、定量的予測、合成推論においてベースラインを上回る一方で、強力な一般知識を維持しています。
• 構造感受性タスク: 除去実験により、GVP エンコーダーが 3 次元情報を必要とするタスク（Tox21、HIV 分類、QM9 回帰など）の性能を大幅に向上させることが確認されました。これらのタスクではテキストのみのモデルは苦労します。
• 反応推論: 反応感知モジュールを除去すると、生成物および収率予測の妥当性が著しく低下し、反応レベルの推論には構造化されたモデリングが必要であることが確認されました。
• 一般化: 事前学習後にリリースされた DrugR ベンチマークにおいて、モデルは強い分布外一般化を示し、単なる暗記に依存するのではなく、転移可能な構造事前分布を学習していることを示唆しています。

意義と主張
本論文は、SciCore-Mol が、分離され、プラグ可能で、柔軟に編成されたモジュールを通じて LLM に科学的専門知識を付与するための体系的な青写真を提供すると主張しています。著者は、テキストベースの分子表現や緩いツール拡張推論に依存するよりも、専門モジュールの深い埋め込みレベルでの統合の方が効果的であると論じています。このフレームワークは、異種データ統合を必要とする科学基礎モデルのための一般的なテンプレートとして提示されており、創薬、化学合成、およびより広範な科学的発見に直接的な影響を及ぼします。この研究は、現在のシステムが小分子向けに設計されている一方で、モジュラーアーキテクチャが将来のイテレーションにおいてタンパク質やポリマーのようなより大きなエンティティをサポートするための道筋を提供することを強調しています。