技術要約：オンデマンド製造ライブラリの効率的な探索のためのドメイン適応型分子言語モデル

問題提起

機能性分子の迅速な発見は、定義された「オンデマンド製造（make-on-demand）」仮想ライブラリ内でのデータ駆動型の意思決定に大きく依存している。事前学習済みの分子言語モデル（MLM）は、構造・物性関係を学習するための強力な基盤モデルとして台頭しているが、反復的な発見シナリオにおけるその実用性は依然として不透明である。重大な問題は、潜在的な**表現とドメインのミスマッチ（representation–domain mismatch）**である。ほとんどのMLMは、薬物様分子（例：PubChem、ChEMBL、ZINC）が支配的なコーパスで事前学習されており、材料科学や触媒におけるターゲットライブラリは、しばしばこれとは異なる、シフトした領域を占めている。

著者らは、この分布のシフトが、モデルの埋め込み空間内において候補分子の識別能を不十分にする（埋め込みの収縮：embedding contraction）可能性があり、それが、特にプロパティ・クリフ（物性の急変）が存在する場合における構造・物性関係の学習効率を制限する可能性があると仮定している。さらに、ネイティブな事前学習済み表現が反復的な発見に十分であるのか、あるいはコストのかかる物性ラベルなしで明示的なターゲットライブラリへの適応が必要なのかは明らかになっていない。

方法論

本研究では、創薬、材料化学、および触媒にわたる6つの仮想ライブラリを用いて、分子表現を評価するための体系的なベンチマーク・フレームワークを採用している：

1. ライブラリ： 3つの創薬ライブラリ（Zinc-AmpC、RO4-OGG1、Enamine-TMPK）および3つの非創薬ライブラリ（有機太陽電池用のHCEP-PCE、レーザー発光体用のLaser-OSC、ホスフィン配位子用のKraken-ES）。
2. 表現：
   • ヒューリスティック・ベースライン： Morganフィンガープリント、Mordred記述子、およびRDKit記述子。
   • 事前学習済みMLM： ChemBERTa、MolFormer、T5Chem、およびSmiTed。
3. 実験設定：
   • 反復的発見： ラプラス近似ニューラルネットワークサロゲートとUpper Confidence Bound（UCB）獲得関数を用いたベイズ最適化によってシミュレート。
   • 予算（Budget）： 2つのレジメンをテストした：「バーチャルスクリーニング」設定（20,000回の評価、バッチサイズ1,000）および「実験的発見」設定（1,000回の評価、バッチサイズ50）。
   • 指標： 最適化効率は、トップ1%のリコールに対するArea Under the Optimization Curve（AUOC）によって測定され、グローバルな表現の効果とライブラリ固有の変動を分離するために階層ベイズ回帰によって分析された。
4. ドメイン適応戦略： 潜在的なミスマッチに対処するため、著者らはターゲットライブラリの構造を用いた（物性ラベルなしでの）3つのファインチューニング戦略をテストした：
   • 継続的事前学習（Continued Pretraining）： マスクされたトークン予測またはスパン・コーラプション（span corruption）。
   • 対照的適応（Contrastive Adaptation）： 類似／非類似の分子のトリプレットを用い、温度スケールされたマルチネガティブ・ランキング損失を使用。
   • 補助ラベル適応（Auxiliary-Label Adaptation）： エンコーダ表現からMorganフィンガープリントのビットを再構成するためのプロジェクションヘッドの訓練。
   • 実装： すべての適応において、パラメータ効率のためにLow-Rank Adaptation（LoRA）を利用した。

主な結果

1. ネイティブ表現の性能は可変的である

• 堅牢なベースラインとしてのMorganフィンガープリント： すべての6つのライブラリおよび両方の予算レジメンにおいて、Morganフィンガープリントは一貫して最強の表現の一つとしてランク付けされた。統計分析により、テストされたすべての分子言語モデルの埋め込み（ネイティブ）は、このベースラインに対して有意な負のグローバル・ポステリア効果を示すことが明らかになった。
• MLMの変動性： ネイティブなMLMの性能は大幅に変動した。MolFormerとT5Chemはいくつかのライブラリでフィンガープリントの性能に接近したが、一貫してそれを上回ることはなかった。ChemBERTaとSmiTedは著しく劣った性能を示し、特にSmiTedは極めて狭い埋め込み分布を示し、これは適応なしではダウンストリームタスクに対する識別情報の喪失を示唆している。
• ドメインシフトとの弱い相関： 非創薬ライブラリは顕著なドメインシフト（ZINC15参照セットに対するTanimoto距離が高い）と埋め込みの収縮を示したが、これらの幾何学的指標は実際の最適化性能とは弱くしか相関しなかった。例えば、言語モデルは、大きなドメインシフトがあるにもかかわらず、Laser-OSCやKraken-ESライブラリにおいて比較的良好に機能した。

2. ドメイン適応は効率を大幅に向上させる

• ファインチューニングの有効性： 明示的なドメイン適応は、分子言語モデルの性能を一貫して向上させた。
• 補助ラベル戦略の優位性： 適応戦略の中で、フィンガープリントを教師とする補助ラベル適応が最大の平均利得をもたらした。この戦略により、適応されたChemBERBer、MolFormer、およびT5Chemは、ネイティブな性能不足を回復するだけでなく、グローバルな効果においてMorganフィンガープリントのベースラインを超えることができた。
• メカニズム： 著者らは、補助ラベルによるファインチューニングが、事前学習によるグローバルな構造概念を保持しつつ、ライブラリ固有のサブ構造や局所的な化学環境へのバイアスを導入していると考えている。この組み合わせは、表現単体や単純な対照学習よりも効果的であることが証明された。
• 対照的適応と継続的事前学習： 対照的適応もネイティブな埋め込みと比較して性能を向上させたが、補助ラベルアプローチほどの利得は見られなかった。元の言語モデリング目的を用いた継続的事前学習は、無視できる程度の改善しか提供しなかった。

意義と主張

本論文は、分子基盤モデルは強力ではあるものの、その「アウト・オブ・ザ・ボックス（そのままの状態）」での実用性はターゲットドメインに強く依存し、多くの場合、従来のフィンガープリントよりも劣ることを確立している。主要な貢献は、明示的なドメイン適応（構造データのみを使用し、物性ラベルは使用しない）を用いることで、表現とドメインのミスマッチを効果的に緩和できることを示した点にある。

著者らは以下のことを主張している：

1. 分子フィンガープリントは、 多様な化学ドメインにおける堅牢性から、反復的発見における強力なデフォルトであり続ける。
2. ドメイン適応されたMLMはフィンガープリントを凌駕することができ、 バーチャルスクリーニングや自律型実験室における、よりサンプル効率の高い最適化への道を開く。
3. 補助ラベル適応（フィンガープリントの再構成）は、 候補ライブラリの構造へのアクセスのみを必要とするため、実用的かつ効果的な戦略であり、数十億分子規模のライブラリへのスケーラビリティを持つ。

本研究は、これらの知見がより効果的なドメイン適応目的関数の開発の基礎となることを示しており、最終的には汎用的な特徴抽出器に頼るのではなく、特定の発見キャンペーンに特化した表現を可能にすると結論づけている。著者らは、結論には限界があることも謙虚に述べており、結果はテストされた特定のライブラリとサロゲートモデルに限定されており、より広範な分子分布にわたるさらなる検証は、創薬以外の分野ではデータの希少性から困難であるとしている。