技術的サマリー：分子生成と物性予測の統合による相乗的利点

問題定式化

本論文は、機械学習における長年の課題である、生成タスクと予測タスクの両方で卓越した性能を発揮するモデルの開発に取り組んでいる。創薬の領域において、成功は未探索の化学空間からの新規分子の生成と、これらの新規分子へ外挿可能な堅牢な物性予測とのバランスに依存する。現在、分子生成と物性予測は主に分離されたアプローチで扱われている。トランスフォーマーベースのモデルは個々のタスクにおいて最先端の性能を示しているが、両者を同時に学習させることは、アーキテクチャと最適化の面で重大な課題を伴う。生成部分と予測部分を単一のモデルに統合すると、過剰な正則化や、生成目的と予測目的間の勾配干渉を招きやすく、その結果、モデルは統合学習がもたらす潜在的な相乗的利点を放棄してしまう。

手法：Hyformer

これらの課題に対処するため、著者らは生成機能と予測機能を単一の共有パラメータセット内で統合する、トランスフォーマーベースの統合モデル「Hyformer」を提案する。

アーキテクチャ

Hyformer は、自己回帰的なトランスフォーマーデコーダーと双方向トランスフォーマーエンコーダーを組み合わせる。中核的な革新は、タスクトークン $[TASK] \in \{[LM], [PRED], [MLM]\}$ によって制御される交互アテンション機構にある：

• **生成モード（$[LM]$）：** モデルは因果自己アテンションマスク（$M_\rightarrow$）を用いてデコーダーとして機能し、各トークンが自身の左側の文脈のみを参照することを制限する。
• **予測/事前学習モード（$[PRED], [MLM]$）：** モデルは双方向自己アテンションマスク（$M_\leftrightarrow$）を用いてエンコーダーとして機能し、完全な文脈へのアクセスを可能にする。

この交互スキームは、統合モデルにおいて典型的な勾配干渉を緩和する。因果マスク下でのソフトマックス関数のヤコビアンは、双方向マスク下とは異なってアテンションモジュールの勾配を変化させるため、更新時に目的関数間の衝突を防ぐ。

学習戦略

Hyformer は 2 段階の学習プロセスを採用する：

1. 統合事前学習： モデルは、組み合わせた損失関数を用いてラベルなしデータで事前学習される：
   $$\ell_{Hyformer} = \ell_{LM} + \mu\ell_{MLM} + \eta\ell_{PRED}$$
   ここで、$\ell_{LM}$ は言語モデル化損失、$\ell_{MLM}$ はマスク言語モデル化損失、$\ell_{PRED}$ は解析的に計算可能な分子記述子（分子量、疎水性など）に基づく予測損失である。タスク間のバランスは、タスク確率ベクトル $p_{[TASK]}$ によって制御される。
2. 微調整： モデルは、ラベル付きの下游タスクで以下の統合損失を用いて微調整される：
   $$\ell_{Hyformer} = \ell_{LM} + \lambda\ell_{pred}$$
   微調整中、モデルはタスク確率に基づいて生成タスクと予測タスクを交互に実行し、下游タスクに焦点を当てつつ生成能力を維持するために、マスク言語モデル化損失を省略する。

サンプリング

Hyformer は、無条件サンプリングと条件付きサンプリングの両方をサポートする：

• 無条件： 自己回帰部分を用いて $x \sim p_\theta(x)$ から分子をサンプリングする。
• 条件付き： 物性条件 $Y$ を満たす分子を生成するために、モデルは $p_\theta(x)$ から $K$ 個の候補をサンプリングし、統合学習された予測器 $p_\theta(y|x)$ がそれらを物性 $Y$ を持つと分類するものを受け入れる。これは、生成と制御の間のより tight な整合性を実現するために、統合された表現空間を活用する best-of-$K$ サンプリングの変種として位置づけられる。

主要な貢献

1. 新規統合モデル： 交互アテンション機構を用いて単一のパラメータセットで生成タスクと予測タスクを統合する Hyformer の導入。
2. 相乗的利点の実証： 以下の点でベースラインを上回る性能を示す Hyformer の実証的証拠：
   • 条件付き分子生成。
   • 分布外（OOD）物性予測。
   • 分子表現学習（プロービングによる）。
3. 性能の同等性： Hyformer が純粋な生成モデルおよび純粋な予測モデルの最先端性能と競合する性能を示すことで、統合学習が個々のタスクの性能を犠牲にする必要がないことを証明。
4. 実世界への応用： 新規抗菌ペプチド（AMP）の発見における使用事例により、創薬における統合モデルの有用性を示す。

実験結果

条件付き分子生成

GuacaMol データセットで評価された、統合微調整済みの Hyformer は、目標物性（QED、SA、logP）において平均絶対偏差（MAD）と標準偏差（SD）の両方で最低値を達成し、高い妥当性を維持した。MolGPT や GraphGPT などの非統合変種やベースラインを大幅に上回り、統合微調整が制御性を高めることを確認した。

分布外（OOD）物性予測

Lo-Hi ベンチマークの Hit Identification タスクにおいて、Hyformer はすべてのデータセット（DRD2、HIV、KDR、Sol）で平均 AUPRC が最高となり、フィンガープリントベースのベースライン（k-NN、GB、SVM、MLP）や深層学習モデル（Chemformer、Graphformer）を上回った。これは、モデルが訓練中に未見の分子骨格へ一般化できる能力を示している。

表現学習

MoleculeNet ベンチマークにおける新規プロービングプロトコルを用いた結果、統合事前学習済みの Hyformer から抽出された表現は、線形プロービングおよび KNN プロービングの両方で最も予測力があった。Hyformer は、線形プロービングで 10 個のデータセット中 4 個、KNN プロービングで 10 個中 5 個で最良の性能を達成し、Uni-Mol などの最先端予測モデルや他の統合モデルを上回った。

無条件生成と AMP 設計

• 無条件生成： GuacaMol および MOSES ベンチマークにおいて、Hyformer は一貫してパレートフロンター上に位置し、分布忠実度（FCD、KL 発散）、妥当性、一意性のバランスを取り、SMILES ベースおよびグラフベースの最先端モデルと競合した。
• 抗菌ペプチド設計： 実世界の創薬タスクにおいて、Hyformer は高い適合度と AMP 確率を持つペプチドを生成し、ベースライン（PepCVAE、AMPGAN、HydrAMP、AMP-Diffusion）を大幅に上回りつつ、競争力のあるパープレキシティと多様性を維持した。アテンション分析により、モデルは抗菌活性に関連する生物学的に重要なアミノ酸（アルギニン、リジン、トリプトファン、プロリン）を優先していることが明らかになった。

意義と主張

本論文は、Hyformer が SMILES ベースの表現に対して分子生成と物性予測を成功裏に統合し、実世界の創薬パイプラインへの統合への道を開いたと主張している。著者らは、生成プロセスへの制御性の向上、分布外データに対する堅牢性、高レベルの予測表現の学習といった、統合学習の相乗的利点は、個々のタスクの性能を犠牲することなく達成可能であると強調している。

著者らは、共有パラメータがタスク固有の専門性を制限する可能性があるという本質的なトレードオフを認めている。また、将来的には、容量をより柔軟に割り当てるための動的またはモジュール型のアテンションアーキテクチャの探求が考えられると示唆している。さらに、これらの相乗的利点が 3 次元構造やトランスクリプトミクスなどの他のモダリティにどの程度適用可能かについては、依然として未解決の課題であると指摘している。本研究は、悪意のある応用への解決策ではなく、新たな潜在的医薬品の設計を促進するツールへの一歩として提示されている。