SELFormerMM: multimodal molecular representation learning via SELFIES, structure, text, and knowledge graph integration

本論文は、SELFIES、分子構造、テキスト記述、および知識グラフからの生物学的相互作用データを統合するマルチモーダル学習フレームワーク「SELFormerMM」を提案し、従来の単一モダリティモデルを上回る分子特性予測性能と、より豊かで生物学的に根拠のある表現学習を実現したことを報告しています。

要約

分子の「多面的な顔」をすべて読み解く AI：SELFormerMM の紹介

この論文は、新しい薬を見つけるための AI 技術「SELFormerMM」について書かれています。これを簡単に言うと、**「分子という小さな世界を、たった一つの視点ではなく、4 つの異なる『レンズ』を通して同時に観察し、より深く理解しようとする新しい方法」**です。

従来の AI は、分子を「文字列（名前）」だけで見たり、「図（構造）」だけで見たりしていましたが、SELFormerMM はそれらをすべて組み合わせて、分子の「本当の姿」を捉えようとします。

以下に、日常の例えを使ってこの仕組みを説明します。

---

1. 分子とはどんな存在？

分子は、新しい薬を作るための「素材」です。しかし、この分子は非常に複雑で、見る角度によって異なる顔を持っています。

• 名前（文字）: 化学式や名前（例：アスピリン）。
• 形（構造）: 原子がどうつながっているかの立体図。
• 物語（テキスト）: 専門書や論文に書かれた「どんな効果があるか」「どんな副作用があるか」という説明。
• 人間関係（知識グラフ）: 他のタンパク質や遺伝子とどう「交流（相互作用）」しているかというネットワーク。

これまでの AI は、これらの中の1 つか 2 つしか見られず、分子の全体像を捉えきれないことがありました。まるで、**「顔写真だけ見て、その人の性格や趣味まで推測しようとしている」**ような状態です。

2. SELFormerMM のすごいところ：4 つのレンズ

SELFormerMM は、分子を以下の 4 つの「レンズ」で同時に撮影し、それらを 1 つの画像に合成する AI です。

1. SELFIES（セルフ・アイズ）レンズ:
   • 従来の「SMILES」という文字列は、同じ分子でも書き方がバラバラだったり、文法的に間違った文字列ができてしまったりする「不安定な名前」でした。
   • SELFormerMM は**「SELFIES」という、「100% 正しい名前」**を使うことで、分子を確実に認識します。これは、名前を呼ぶたびに「必ず正しい人が現れる」ような魔法の名前リストのようなものです。
2. 構造（グラフ）レンズ:
   • 分子の「骨組み」や「形」を直接見て、どの原子がどこにつながっているかを理解します。
3. テキスト（物語）レンズ:
   • 専門書やデータベースにある「この薬は頭痛に効く」「胃に優しい」といった説明文を読み取ります。
4. 知識グラフ（人間関係）レンズ:
   • その分子が、体内のタンパク質や遺伝子とどう「仲良く（あるいは喧嘩して）」しているかという社会的なネットワークを分析します。

3. 学習の方法：「同じ人」だと教える

この AI は、まず約 300 万種類の分子で勉強します（事前学習）。
勉強の仕方は、**「同じ分子の 4 つの異なる写真（文字、形、物語、人間関係）を見せ、これらはすべて『同じ人』だと教える」**というものです。

• 例え話:
  • 先生が、ある生徒の「顔写真（構造）」、「名前（文字）」、「成績表（テキスト）」、「友達関係（知識グラフ）」をそれぞれ別々に見せます。
  • AI は「あれ？この写真とこの名前とこの成績表は、同じ生徒だ！」と学習します。
  • これを繰り返すことで、AI は「分子の正体」を、どの情報からでも瞬時に理解できる力（汎用性）を身につけます。

4. 実際の成果：薬の発見にどう役立つ？

この AI を使ってみると、以下のようなことがうまくできるようになりました。

• 脳への到達: 「この薬は脳に届くか？」（血液脳関門通過）を、従来の AI よりも正確に予測できました。
  • 例: 注意力を高める薬（デキストロアンフェタミン）は脳を通り抜けると予測でき、逆にパーキンソン病の薬（ベンセラジド）は脳を通り抜けないと予測できました。これは実際の医学知識と一致しています。
• 副作用の予測: 薬を飲んだ時にどんな副作用が出るか（例：めまい、吐き気）を、複数の情報を組み合わせてより詳しく予測できます。
• 水への溶けやすさ: 薬が水に溶ける度合いも、形と知識を組み合わせることで高精度に計算できました。

5. なぜこれが重要なのか？

これまでの AI は「片目」で見ていましたが、SELFormerMM は**「4 つの目」**で見ています。

• 形だけ見ると「似ている」のに、実は全く違う薬だった…という失敗を防げます。
• 名前だけ見ると「良さそう」なのに、実は副作用がひどい…というリスクを減らせます。

まとめると：
SELFormerMM は、分子という複雑な存在を、**「名前」「形」「物語」「人間関係」**のすべてを統合して理解する、非常に賢い「分子の通訳者」です。これにより、新しい薬を見つけるスピードが上がり、より安全で効果的な治療法が生まれることが期待されています。

この技術はオープンソース（誰でも使える状態）で公開されており、世界中の研究者がこれを使って、より良い未来の薬を開発できるようになっています。

技術概要

以下は、提示された論文「SELFormerMM: multimodal molecular representation learning via SELFIES, structure, text, and knowledge graph integration」の技術的な要約です。

1. 研究の背景と課題 (Problem)

計算創薬における分子表現学習は重要ですが、既存の多くのモデルは以下の限界を抱えています。

• 単一モダリティへの依存: 分子のシーケンス（SMILES や SELFIES）やグラフ構造（2D/3D）のいずれか一方のみを入力としており、分子の多面的な性質を十分に捉えきれていない。
• 情報の断絶: 分子の構造的側面、テキスト記述（化学的説明）、生物学的相互作用ネットワーク（知識グラフ）といった補完的な情報を統合した統一的なマルチモーダルフレームワークの構築は困難であり、未解決の課題であった。
• 表現の限界: 単一の視点からのみ学習された表現では、分子の複雑な構造 - 特性関係や生物学的文脈を十分に反映できず、創薬タスクでの汎用性が制限される。

2. 提案手法：SELFormerMM (Methodology)

著者らは、SELFormerMM という新しいマルチモーダル分子表現学習フレームワークを提案しました。これは、4 つの異なるモダリティを統合し、共有潜在空間で表現を学習するものです。

2.1 統合される 4 つのモダリティ

1. 分子シーケンス (SELFIES): 文法的に制約された「SELFIES」表記法を使用。従来の SMILES の欠点（無効な構造の生成など）を克服し、100% 有効な化学構造を保証します。RoBERTa ベースのトランスフォーマー（SELFormer）でエンコードされます。
2. 構造的グラフ (Structural Graph): 分子の 2D 構造グラフ。Uni-Mol（3D 分子事前学習モデル）を用いて、原子の結合と 3 次元構造情報を反映した埋め込みを生成します。
3. テキスト記述 (Text): 分子の自然言語記述（PubChem や GPT 生成要約など）。SciBERT を用いて意味的な埋め込みを抽出します。
4. 知識グラフ (Knowledge Graph, KG): CROssBARv2-KG から得られる生物学的相互作用データ（化合物 - ターゲット、タンパク質 - タンパク質相互作用など）。DMGI (Deep Mutual Graph Infomax) 構造を用いて、化合物の生物学的文脈を埋め込み化します。

2.2 アーキテクチャと学習プロセス

• エンコーダ: 各モダリティ専用のエンコーダ（SELFIES 用は SELFormer、他は事前学習済みモデル）を持ち、それぞれを非線形投影ネットワーク（MLP）を通じて 768 次元の共通空間にマッピングします。
• 事前学習 (Pretraining): 約 300 万分子のマルチモーダルデータセットを用いた教師あり対比学習（Supervised Contrastive Learning）を行います。
  • 目的: 同じ分子の異なるモダリティ間の埋め込みを近づけ（正のペア）、異なる分子間の埋め込みを遠ざける（負のペア）。
  • 損失関数: 複数の正のビューを扱える「SINCERELoss」を使用。
  • 欠損モダリティへの対応: 特定の分子にモダリティが存在しない場合、ゼロベクトルを投影ネットワークに通すことで学習を可能にします。
• ファインチューニング (Finetuning): 事前学習済みのマルチモーダルバックボーンにタスク固有の予測ヘッダーを接続し、分子物性予測タスク（分類・回帰）で微調整を行います。
  • 戦略: 安定性と適応性のバランスを取るため、最初の 9 層のトランスフォーマーブロックは固定し、上位層と投影層、予測ヘッダーを微調整します（部分的な凍結）。

3. 主要な貢献 (Key Contributions)

• 包括的なマルチモーダル統合: SELFIES、構造グラフ、テキスト、知識グラフの 4 つのモダリティを初めて包括的に統合し、単一の潜在空間で学習するフレームワークを構築しました。
• 大規模データセットの構築: 約 300 万分子を対象に、ChEMBL、M3-20M、CROssBARv2-KG などの大規模リソースを統合し、モダリティ間のマッピングを行いました。
• 自己教師あり対比学習の適用: 異種モダリティ間の整合性を保つための SINCERELoss を用いた効率的な事前学習手法を確立しました。
• オープンソース化: コード、データセット、事前学習済みモデルを GitHub で公開し、研究コミュニティへの貢献を行いました。

4. 結果 (Results)

MoleculeNet ベンチマーク（分類タスクと回帰タスク）での評価により、SELFormerMM の有効性が確認されました。

• 分類タスク (Classification):
  • SIDER (副作用予測): 単一モダリティモデルや他のマルチモーダルモデルを上回る ROC-AUC (0.749) を達成。
  • BBBP (血液脳関門透過性): 0.918 という高いスコアを記録し、トップクラスの性能を示しました。
  • BACE, HIV, Tox21: 一部のタスクでは単一モダリティモデルに劣る場合もありましたが、これはテキストや KG データの覆盖率が低いことが一因と考えられています。
• 回帰タスク (Regression):
  • Lipophilicity (親油性): 0.574 (RMSE) で、マルチモーダルモデルの中で最高性能を記録。
  • FreeSolv (水和自由エネルギー): 0.883 (RMSE) で、MvMRL に次ぐ好成績。
  • PDBbind (タンパク質 - リガンド結合親和性): 1.328 (RMSE) で、単一モダリティの SELFormer (1.437) よりも改善され、構造と KG 情報の統合が有効であることを示しました。
• アブレーション研究:
  • 構造グラフ情報の追加が最も一貫して性能向上に寄与しました。
  • テキストや KG は覆盖率が低いため、場合によっては最適化のノイズとなり得ましたが、完全なマルチモーダル設定は特定のタスクで相乗効果を生みました。
  • ファインチューニングにより、事前学習された表現が下流タスクで有効に転用されることが確認されました。

5. 意義と将来展望 (Significance)

• 創薬への応用: 化学的性質だけでなく、生物学的文脈（相互作用ネットワーク）や意味的記述を統合することで、より解釈性が高く、生物学的に裏付けられた分子表現を生成できます。これにより、創薬候補の選定や仮説駆動型の研究が促進されます。
• マルチモーダル学習の進展: 大規模かつ不完全なデータ（モダリティの欠損）を扱うための堅牢な手法を示し、既存の単一モダリティモデルの限界を克服する可能性を提示しました。
• 将来の方向性: 欠損モダリティの処理を改善する動的な損失関数の導入、エンコーダの完全な微調整、より高品質なテキストデータの活用、および実験研究者向けの GUI 開発などが今後の課題として挙げられています。

総じて、SELFormerMM は、化学的・生物学的信号を統合した包括的な分子表現学習の枠組みを提供し、計算創薬の分野において汎用的で強力な基盤技術となり得ることを示しました。