技術概要：ReactEmbed

問題定義

ESM-3 やタンパク質用の ProtBERT、分子用の MolFormer といった最先端の生物学基盤モデルは、それぞれ独立した計算多様体上で動作しています。これらのモデルは、アミノ酸配列と SMILES 文字列という異なるデータモダリティから表現を学習し、特化されたアーキテクチャを採用しているため、その埋め込み表現は互換性がありません。相互作用中心のモデル（DrugCLIP など）や構造中心のモデル（Uni-Mol など）はこのギャップを埋めようとしていますが、仮想スクリーニングやポーズ予測などの特定のタスクに限定される傾向があります。これらは物理的な相補性や 3 次元幾何学に焦点を当てる一方で、広範な機能的意味を捉えることが頻繁に失敗します。これにより、エンティティ間の物理的な適合性よりも、それらの機能的関係がより重要となるシステムレベルの生物学的プロセスのモデリングにおいて、ボトルネックが生じています。

手法

ReactEmbed は、高コストな再学習なしに、凍結された事前学習済みタンパク質および分子の埋め込み表現を、機能的な意識を持つ統一空間に整合させるように設計された、軽量でプラグ＆プレイ可能なモジュールを導入します。中核的な革新は、機能的な文脈を定義する意味的なハブとして生化学的反応ネットワークを利用することです。

1. グラフ構築と PPMI 重み付け

この手法は、Reactome から供給された生化学的反応のデータベースを、重み付きの無向グラフ $G=(V, E, W)$ に変換します。

• 頂点: 反応に関与するすべてのタンパク質と分子を含みます。
• エッジ重み: 単純な共起カウント（ATP や水などの普遍的な「ハブ」ノードによって支配される）の代わりに、ReactEmbed は**正の点別相互情報量（PPMI）**を使用します。
  • $W_{PPMI}(e_i, e_j) = \max(0, \log \frac{P(e_i, e_j)}{P(e_i)P(e_j)})$
  • この重み付けスキームは、一般的なハブの影響を減衰させ、機能的に特異的な関連性を強調します。

2. 関係学習アーキテクチャ

ReactEmbed は、凍結されたモデルからのベース埋め込み（$E^{pre}_p$ および $E^{pre}_m$）を、学習可能な軽量な多層パーセプトロン（MLP）を介して統一された潜在空間に射影する「プラグ＆プレイ」戦略を採用しています。

• P2U（Protein to Unified）および M2U（Molecule to Unified）: 2 層の MLP で ReLU 活性化関数を使用し、ドメイン固有の埋め込みを統一次元にマッピングします。
• 学習目的: このモジュールは、重み付けされた反応グラフを活用する専門的な関係性コントラスティブ学習フレームワークを用いて学習されます。

3. 高度なサンプリング戦略

ドメイン固有の構造を維持しつつ、ドメイン間関係を効率的に学習するために、このフレームワークは高度なサンプリング戦略を利用します。

• ハブ減衰型ポジティブサンプリング: ポジティブペア（アンカーとパートナー）は、PPMI エッジ重みに比例する確率で 1 ホップの近傍からサンプリングされ、モデルが一般的な関連性ではなく機能的に特異な関連性から学習することを保証します。
• グラフベースのハードネガティブサンプリング: ランダムなネガティブの代わりに、モデルは $k$ ホップ近傍（$k \in \{2, 3\}$）から「ハードネガティブ」をサンプリングします。これには以下が含まれます。
  • ドメイン内ネガティブ: 同じドメインからのエンティティ（例：タンパク質 - タンパク質）で、機能的に関連しているが直接のパートナーではないもの。
  • ドメイン間ネガティブ: 反対側のドメインからのエンティティ（例：タンパク質 - 分子）で、グラフ上で遠く離れたもの。
• 損失関数: コサイン距離を用いたマージンベースのトリプレット損失として定式化された、ドメイン内保存損失（$L_{intra}$）とドメイン間整合損失（$L_{cross}$）の重み付き和です。

主要な貢献

1. 結合表現のための新たなパラダイム: 本論文は、物理的な相互作用や構造的類似性を超えて、機能的意味を捉えるためにシステムレベルの生化学的反応ネットワークを利用することを提案しています。
2. ReactEmbed モジュール: 大規模なベースモデルの微調整を必要とせず、既存の凍結された埋め込み表現（ESM-3、MolFormer など）を統合する、計算効率の高いプラグ＆プレイ型の拡張モジュールです。
3. 機能的文脈の検証: 反応ベースの文脈で単一モダリティ表現を強化することが、ドラッグターゲット相互作用、結合親和性、タンパク質 - タンパク質相互作用など、多様なドメイン間ベンチマークにおける性能向上につながることを実証しています。
4. オープンリソース: コードと構築された反応データベースは、オープン利用のために提供されています。

結果と評価

著者らは、分子特性、タンパク質特性、相互作用予測（DrugBank、BindingDB、HumanPPI、YeastPPI など）にまたがる 11 の下流タスクにおいて ReactEmbed を評価しました。

• 性能向上: ReactEmbed は広範な改善を達成し、相互作用中心のタスクで大幅な向上が見られました。例えば、DrugBank のドラッグターゲット予測を最大**10.28%改善し、BindingDB の親和性予測誤差を13.97%**削減しました。
• 汎用性: この拡張は、配列ベース（ESM-3、ProtBERT）および構造ベース（GearNet）のモデルの両方で効果的であり、反応データがベースアーキテクチャに関わらず補完的なシグナルを提供することを示唆しています。
• SOTA との比較: ReactEmbed は、分類タスク（DrugBank）および回帰タスク（BindingDB）の両方において、専門的なマルチモーダルモデル（DrugCLIP、Uni-Mol）および最近のグラフベースアーキテクチャ（DCGAT-DTI、MRHormer）を上回り、両方で最先端の結果を達成しました。
• アブレーション研究:
  • プラグ＆プレイ対微調整: 反応データでベースモデルを微調整すると性能が低下し、軽量な射影アプローチの方がベースモデルの学習済み特徴をよりよく保持することを確認しました。
  • サンプリングの重要性: PPMI 重み付けまたはハードネガティブサンプリングを除去すると性能が大幅に低下し、高度なサンプリング戦略の必要性を検証しました。
  • データ堅牢性: 反応データの 10% だけでモデルは堅牢であり、ラベルノイズに対しても耐性がありました。
• データリーク制御: 著者らは厳格な帰納的分割を実装し、テストセットと高い配列同一性または構造的類似性を持つエンティティを含むエッジを除去しました。これらの厳格な条件下でも、ReactEmbed は強力な予測能力を維持し、潜在的なデータリークを含むモデルを凌駕しました。
• 定性的分析: t-SNE 可視化とシルエット係数分析により、ReactEmbed が配列のみのベースラインでは混在していた機能的に関連するタンパク質ファミリー（イオンチャネル、ペプチダーゼなど）を正常にクラスタリングし、明確な機能的文脈の学習を示していることがわかりました。

意義と主張

本論文は、ReactEmbed が「エンティティがどのように物理的に適合するか」から「それらが機能的に何を達成するか」へと焦点を移すことで、生物学的表現を統合する実用的かつ効率的な方法を提供すると主張しています。生化学的反応ネットワークを機能的文脈の源として実用化することで、ReactEmbed は単一モダリティ表現を強化し、強力なドメイン間性能を可能にする普遍的なシグナルを提供します。

著者らは、この作業を「科学のための AI への民主的なアプローチ」として位置づけ、研究者が最小限の計算コストで数十億パラメータのモデルを強化できるようにしています。彼らは限界を認め、性能は基盤となる反応データベースの品質に依存すること、および現在の対称的なグラフ構築はすべての共参加エンティティを同等に扱うため、基質、生成物、触媒といった特定の役割を失うことを指摘しています。今後の研究では、多関係グラフの導入と、希少疾患に対する少数ショット学習の探求を目指しています。