技術的サマリー：グループ相対方策最適化によるアモルタイズド分子最適化（AMORTIX）

1. 問題定義

創薬において、分子設計はしばしばゼロから分子を生成するのではなく、固定された開始構造（例：スケフォールド装飾、リンカー設計）を修正することを要求します。これらのタスクは、経験則に基づくプロキシから自由エネルギー摂動のような高忠実度シミュレーションに至るまで、高価な「オラクル（スコアリング関数）」を用いて評価されます。

現在の最先端手法は、主にインスタンス最適化のパラダイムに従っています。遺伝的アルゴリズム（Mol GA）や誘導離散拡散モデル（GenMol）などのアルゴリズムは、新しい入力構造ごとに反復的な探索ベースの最適化を実行します。このアプローチは、設計タスクあたり数千回のオラクル呼び出しを必要とし、開始構造の数に比例して増大する高い計算コストをもたらします。

一方、アモルタイズド最適化—推論時にオラクル呼び出しを行わず、単一のフォワードパスで最適化された分子を生成する転移可能な方策を学習すること—は理論的な解決策を提供しますが、既存の手法は実際には困難に直面しています。多様な構造的制約への一般化が失敗するか、あるいは訓練の不安定さに悩まされます。著者らは、その根本原因を最適化の難易度の不均一性であると特定しました。一部の開始構造は高スコアの誘導体を容易に生成しますが、他の構造は化学的に制約されており、修正を行ってもスコアは低く抑えられます。グローバルなベースライン（例：REINFORCE）や学習された価値クリティック（例：PPO）を用いる標準的な強化学習（RL）手法は、異なる開始構造間での報酬信号が比較不可能になるため、この分散下では訓練を安定化できません。

2. 手法：AMORTIX

著者らは、厳密な構造的制約下で推論時のオラクル呼び出しをゼロにして分子構造を最適化するために設計された、アモルタイズドなグラフトランスフォーマーモデルAMORTIXを提案します。

2.1 方策アーキテクチャ

AMORTIX は、分子グラフ表現に直接作用するデコーダのみのグラフトランスフォーマーを採用します。生成プロセスは、階層的なアクション空間を持つ逐次的マルコフ決定過程（MDP）としてモデル化されます：

1. 操作選択: 新たな原子を追加するか、既存の原子を修正するか、終了するかを選択します。
2. ターゲット選択: 現在のグラフ内で接続する特定の原子を選択します。
3. 結合指定: 結合次数（単結合、二重結合、三重結合など）を決定します。

化学的妥当性を確保するため、各ステップで妥当性マスクが適用され、原子の価数規則に違反するアクションをゼロにします。これにより、生成されるすべての構造が構造的に化学的に妥当であることが保証されます。モデルは、RL による微調整前に化学的妥当性を学習するため、ChEMBL データベース上で教師あり教師強制により事前学習されます。

2.2 グループ相対方策最適化（GRPO）による訓練

中核的な革新は、開始構造の不均一性に対処するために、分子ドメインに**グループ相対方策最適化（GRPO）**を適応させる点にあります。

• グループ形成: 各訓練ステップにおいて、開始構造のバッチがサンプリングされます。各開始構造 $S_i$ に対して、方策は $G$ 個の完了軌道（分子）のグループを生成します。
• 相対的アドバンテージ: グローバルなベースラインや価値クリティックを使用する代わりに、構造 $i$ から得られた軌道 $j$ のアドバンテージ $A_{i,j}$ は、その軌道の報酬 $R(O_{i,j})$ を、その特定のグループの平均報酬 $\mu_i$ に対して中心化することで計算されます：
  $$A_{i,j} = R(O_{i,j}) - \mu_i, \quad \text{where } \mu_i = \frac{1}{G} \sum_{k=1}^{G} R(O_{i,k})$$
• 正規化: 著者らは、グループの標準偏差による除算と軌道長さの正規化を省略します。これにより、すべての完了が同様にスコアする構造（極めて容易な場合またはほぼ不可能な場合）が過度の勾配重みを受けたり、簡潔な完了が罰せられたりするのを防ぎます。
• 更新: 方策は、バッチあたり単一の勾配ステップで更新され、すべての生成ステップにわたって寄与を集約します。このアプローチは、学習信号を構造間の難易度変動から切り離します。

3. 主要な貢献

1. 失敗モードの特定: 本論文は、不均一な分子構造の難易度によって引き起こされる報酬信号の高い分散が、構造的に制約された最適化におけるアモルタイズド RL の主要な失敗モードであることを特定しました。アブレーション研究により、グローバルベースラインを用いた REINFORCE も、価値クリティックを用いた PPO も、この設定において訓練を効果的に安定化できないことが示されました。
2. AMORTIX フレームワーク: グループ相対 RL で訓練されたグラフトランスフォーマーベースの方策であり、推論時のオラクル呼び出しなしで分布外（OOD）のスケフォールドに一般化します。
3. 性能の優位性: AMORTIX は、目標指向のスケフォールド装飾タスクにおいて、アモルタイズドなベースラインおよびインスタンス最適化ベースラインの両方を上回り、複数の開始構造にスケーリングする際に、はるかに少ない総オラクル呼び出し数を必要とします。

4. 実験結果

著者らは、AMORTIX を 3 つの異なるタスクで評価しました：

4.1 PMO ベンチマーク（サンプル効率）

PMO ベンチマーク（10,000 回のオラクル呼び出し予算を持つ 22 タスク）において、AMORTIX はインスタンス最適化器として実行されました（単一タスクの de-novo 生成では開始構造の不均一性が存在しないため、グローバルベースラインを用いた標準的な REINFORCE を使用）。

• 結果: AMORTIX は累積トップ 10 AUC スコア16.433を達成し、アモルタイズド方策の中で第 1 位、すべてのパラダイム全体で第 2 位にランクインしました。離散拡散インスタンス最適化器 GenMol に次ぐ結果でした。

4.2 目標指向スケフォールド装飾

この評価は、単一ターゲット（GSK3$\beta$、JNK3）およびマルチターゲット（Kinase MPO）最適化において、見慣れないスケフォールド（分布外）への一般化をテストします。

• 設定: スケフォールドは Murcko 分解とクラスタリングによって分割され、テストスケフォールドが訓練データとトポロジー的に明確に区別されるようにしました。
• 結果: AMORTIX は 3 つのタスクすべてで最高スコアを達成し、アモルタイズドベースライン（LibINVENT、GraphXForm、DrugEx v3）およびインスタンス最適化器（Mol GA、GenMol）を上回りました。
  • Kinase MPO: AMORTIX は0.619のスコアを記録し、LibINVENT（0.455）およびインスタンス最適化器 Mol GA（0.461）と GenMol（0.479）を大幅に上回りました。
  • 安定性: アブレーション研究により、AMORTIX-REINFORCE および AMORTIX-PPO は、安定した AMORTIX-GRPO に比べて、アドバンテージ推定値の標準偏差が高く、深刻な不安定性を示したことが確認されました。
• コスト効率: AMORTIX の固定訓練予算（約 50,000 回のオラクル呼び出し）は、Mol GA に対して約100 個、GenMol に対して150 個のテストスケフォールドを処理することで回収されます。この損益分岐点を越えると、AMORTIX は累積オラクルコストにおいて桁違いの低さを提供します。

4.3 ケーススタディ：プロドラッグ転送

モデルは、プロドラッグ設計による CNS 浸透性の向上という修正ルールを学習するために、わずか 4 つの例示薬物で微調整されました。

• 結果: 52 個の見慣れない親薬物に適用したところ、AMORTIX は構造的にクリーンなプロドラッグを正常に生成しました。明示的な指示なしに、3 つの異なる切断可能モチーフ（アルキルエステル、アルキルカルバメート、ベンジルエステル）を回復しました。
• 性能: 生成物の 31% は「純粋な」プロドラッグ（切断可能な結合のみ）であり、63% は少なくとも 1 つの切断可能ハンドルを含んでいました。予測された血液脳関門（BBB）浸透性の向上平均は +0.26 でした。

5. 意義と主張

本論文は、AMORTIX が分子最適化の計算負担を、推論時の探索から訓練時の学習へ効果的にシフトできることを実証していると主張しています。同じ開始構造を共有する完了のグループ内で報酬を正規化するために GRPO を適応させることで、この手法は不均一な難易度の存在下で学習を安定化します。

著者らは、AMORTIX を反復的探索手法に対するスケーラブルな代替案として位置づけ、反復的なオラクル評価の莫大なコストなしに高スループット設計を可能にします。彼らは、訓練プロセスが依然としてオラクル集約的である一方で、方策のアモルタイズドな性質により、多数の開始構造を伴うシナリオでは非常に効率的であると指摘しています。

6. 限界

著者らは明示的にいくつかの限界を認めています：

• 2D トポロジー: このフレームワークは 2D 分子トポロジーのみに動作し、3D 構造ダイナミクスや立体化学を明示的に捉えていません。
• 接続性: 現在のアクションマスクは、単一の連結された開始スケフォールドを前提としています。非連結部分グラフ（例：フラグメントリンキング）への拡張には、アーキテクチャの変更が必要です。
• 付加的アクション: 生成プロセスは付加的アクション（原子/結合の追加）に制限されています。スケフォールドホッピングなどのタスクに必要な原子の削除や置換はサポートされていません。
• 訓練コスト: 推論は安価ですが、訓練プロセスには数万回のオラクル呼び出しが必要であり、特定のユースケースに対するアモルタイゼーションのトレードオフを正確に定量化するために、さらなる検証が必要です。