MOLAR: Learning Multimodal Molecular Representations from Noisy Labels

技術要約：MOLAR – ノイズの多いラベルからのマルチモーダル分子表現学習

問題提起
分子特性予測は、高スループットアッセイ、キュレーションされたデータベース、または脆弱なアノテーション・パイプラインから得られたラベルに依存することが多く、これらはクリーンな生物学的真理を反映しているのではなく、しばしばノイズを含んでいます。グラフベースの構造データ（原子、結合、トポロジー）とテキストベースのセマンティックデータ（SMILES、記述、記述子）を統合するマルチモーダル分子表現学習において、これらのノイズを含む記録されたラベルを信頼できる教師信号として扱うと、モデルが破損した観測値を記憶してしまう可能性があります。この問題はマルチモーダル設定において悪化します。標準的な融合やアライメント戦略は、ラベルに起因するエラーをモダリティ間で伝播させる可能性があり、また、グラフとテキストの不一致を、アライメントの失敗としてではなく、ラベルの破損、一方のモダリティにおける証拠の不足、あるいは真の不確実性の指標として解釈してしまうことがあります。既存のノイズラベル学習手法は主に単一モダルの分類に対処しており、潜在的な分子特性と記録されたノイズラベルを明示的に区別したり、信頼性の低い監督下でのモダリティ固有の証拠を扱うための原理的なフレームワークを提供したりすることはありません。

手法：MOLARフレームワーク
著者らは、潜在的なクリーンな特性の推論と、記録されたラベルの観測を分離するように設計されたノイズ認識フレームワークであるMOLARを提案しています。このフレームワークは、4つの主要なモジュールで構成されています。

1. 分子証拠の初期化:

   • グラフビュー: 分子グラフ $G_i$ は、グラフエンコーダ（例：GIN）を使用して表現 $z^g_i$ にエンコードされます。
   • テキストビュー: テキスト由来のビュー $T_i$（例：SMILES、記述）は、テキストエンコーダ（例：BiomedBERT）を使用して $z^t_i$ にエンコードされます。

2. 残差自然パラメータによる証拠の合成:
   特徴量を結合したりアライメントを強制したりする代わりに、MOLARはグラフおよびテキストのビューを、潜在的なクリーンなカテゴリカル分布に対する残差証拠のソースとして扱います。

   • 学習可能な関数が、表現をクラスごとの残差自然パラメータへとマッピングします：$u^g_i = C(\phi_g(z^g_i))$ および $u^t_i = C(\phi_t(z^t_i))$。ここで、$C$ は共通の加法的オフセットを除去するセンタリング演算子です。
   • ベースベクトル $b$ は、クラスレベルの事前分布を表します。
   • クリーンなロジットは、加法的な合成によって形成されます：$\ell_i = C(b + u^g_i + u^t_i)$。
   • クリーンな事後分布 $p_i$ は、ソフトマックス正規化を介して導出されます。この定式化により、モデルは各モダリティ（$M^g_i, M^t_i$）の相対的な寄与を定量化し、モダリティ固有の証拠を解釈することが可能になります。

3. カテゴリカル・ラベル観測チャネル:
   ノイズを含む記録されたラベル $\tilde{y}_i$ を、それが真の正解（グラウンドトゥルース）としてではなく利用するために、MOLARは潜在的なクリーンなクラス $y_i$ を記録されたラベル $\tilde{y}_i$ へとマッピングする確率的チャネル $O$ を導入します。

   • $O_{ac} = p(\tilde{y}_i = a | y_i = c)$。
   • このチャネルは、対角優位（ラベルの遷移を許容しつつも正しいマッピングを優先する）となるようにパラメータ化されており、学習中に学習されます。
   • 記録されたラベルの分布 $\tilde{p}_i$ は、$O p_i$ として計算されます。モデルは、$p_i$ を $\tilde{y}_i$ に直接適合させるのではなく、この分布の下での記録されたラベルの尤度を最大化するように訓練されます。
   • このチャネルは、記録されたラベルが潜在的なクリーンなクラスと一致する確率を表す事後信頼性スコア $\rho_i$ を自然に生成します。

4. ノイズ認識学習目的関数:
   全損失関数は、以下の3つの項を組み合わせます。

   • 記録されたラベルの尤度 ($L_{sup}$): 周辺化された分布 $\tilde{p}_i$ に基づく記録されたラベルの負の対数尤度。
   • 証拠競合正則化 ($L_{conf}$): グラフビューとテキストビュー間の矛盾する証拠にペナルティを課します。これは、ラベルが信頼できると考えられる場合に、高信頼度の矛盾に対してより重いペナルティを課します。
   • 摂動一貫性正則化 ($L_{pert}$): クリーンな事後分布が、ラベルを保存する分子摂動（例：特徴量のマスキング）の下で安定し続けることを促し、ノイズに対する堅牢性を確保します。

主な貢献

1. 問題の定式化: 本論文は、ノイズの多いマルチモーダル分子学習における3つの核心的な課題を特定し、定式化しました：(a) 潜在的な特性とノイズを含むラベルの分離、(b) ラベル観測チャネルを介したノイズを含むラベルの監督への利用、および (c) 不確実な監督下でのグラフとテキストの不一致の解釈。
2. フレームワーク設計: MOLARは、グラフとテキストのビューをクリーンな事後分布のための残差証拠として合成し、これを学習可能な観測チャネルを通じてノイズを含むラベルに結びつける確率的フレームワークを導入しており、破損したターゲットへの直接的な適合を回避します。
3. 解釈可能性: フレームワークは、事後信頼性スコア ($\rho_i$) やモダリティ固有の証拠の寄与を含む診断ツールを提供し、ラベルの信頼性やモダリティの有用性の解釈を可能にします。
4. 実証的検証: 広範な実験により、自然にノイズを含むベンチマーク（MF-PCBA-Noisy7）および制御されたラベル反転ベンチマーク（MoleculeNet）の両方において、最先端の性能を示すことが実証されました。

実験結果

• データセット: 評価は、MF-PCBA-Noisy7（自然にノイズを含む単回投与スクリーニングラベルを持つ7つのタスクと、よりクリーンな用量反応確認ラベルを持つタスク）および、制御された対称的ラベル反転（最大70%）を含む4つの MoleculeNet ベンチマーク（HIV, BACE, BBBP, ClinTox）を用いて行われました。
• 性能: MOLARは、代表的なベースラインに対し、4つのカテゴリにおいて一貫して優れた性能を示しました：教師ありグラフニューラルネットワーク（GCN, GAT, GIN）、分子事前学習手法（GraphCL, GROVE, Uni-Mol）、マルチモーダル融合手法（Tri-SGD, MMSG, ProtoMol）、および堅牢/ノイズラベル学習手法（OMG, SPORT, RTGNN）。
  • MF-PCBA-Noisy7において、MOLARは最高の平均ROC-AUC（71.30%）を達成し、深刻なラベル不一致があるタスクで大幅な向上を示しました。
  • 30%のラベル反転があるMoleculeNetにおいて、MOLARはすべてのベースラインと比較して優れた性能（平均ROC-AUC 78.45%）を維持しました。
  • 堅牢性分析では、ベースラインの性能がノイズレベルの上昇とともに急速に低下した一方で、MOLARは特にBBBPやClinToxにおいて安定した精度を維持しました。
• アブレーション研究: 競合正則化、摂動一貫性、またはいずれかのモダリティ（グラフ/テキスト）を除去すると性能が低下し、結合設計の必要性が確認されました。また、学習されたチャネルを共有チャネルに置き換えると性能が低下しました。
• 診断:
  • 信頼性: 事後信頼性 $\rho_i$ は、経験的なSD–DR一致率と高いSpearman相関（0.98）を示し、エントロピーや競合スコアよりもラベルの不一致を検出する上で優れていました。
  • 可視化: 反転されたサンプルのケーススタディにより、MOLARは破損した記録ラベルにもかかわらず、クリーンなラベルを正しく予測でき、ノイズを記憶するのではなく特定の分子部分構造に決定を帰属させていることが示されました。

意義
本論文は、MOLARがノイズを含む監督下でのマルチモーダル分子表現学習に対する原理的なアプローチを提供すると主張しています。クリーンな特性の推論とラベルの観測を明示的に分離し、モダリティとラベルの関係を確率的にモデル化することで、フレームワークは破損したデータの記憶のリスクを軽減します。事後信頼性とモダリティ固有の証拠を導出できる能力は、ラベルが本質的に不確実である実際の創薬シナリオにおいて、モデルの挙動を解釈するための診断能力を提供します。これらの結果は、潜在的な特性をノイズを含む観測から分離することが、分子特性予測における汎化性能と堅牢性を向上させるための重要なステップであることを示唆しています。