技術的概要：GeoCycler

問題定義

環状ペプチドは、その閉じた環状トポロジーにより、安定性とターゲット特異性が向上するため、大きな治療的可能性を秘めています。しかし、深層生成モデルを用いたこれらの分子の de novo 設計は依然として困難です。直鎖状ペプチドとは異なり、環状ペプチドは、疎的で、非滑らか、かつ構成的な幾何学的制約の複雑なセットを満たさなければなりません。有効な候補分子には、離散的な化学的必須条件（例えば、互換性のあるアンカー残基またはリンカーモチーフ）と、連続的な幾何学的制約（例えば、閉環距離、局所結合部の幾何学、および結合した多ループ配置）の両方が必要です。

既存のアプローチは、主にこれらの制約を満たすように事前学習済み拡散モデルを誘導するために、推論時のガイダンス（ Classifier-Free Guidance (CFG) など）に依存しています。著者らは、このアプローチが、実現可能性を生成器が学習する性質ではなく、外部からの修正として扱っていると主張しています。ベース分布が環状閉環に対して弱いバイアスを持つ場合、推論時のガイダンスは、学習された事前分布と望ましい制約多様体との不一致を補償しなければならず、特に疎的または結合した制約下では信頼性の低い結果をもたらします。

手法：GeoCycler

本論文では、環状化の制御を事後サンプリング修正から学習時のポリシーアライメントへ移行させるために設計された、報酬重み付け拡散アライメントフレームワークであるGeoCyclerを提案します。このフレームワークは、条件付き潜在拡散モデルを微調整し、自身の分布下で閉環整合構造を生成する確率を高めるようにします。

コアコンポーネント

1. タイプゲート付き階段報酬 (Type-Gated Stair Reward):

   • 動機: 距離に基づくフィードバックは、必須の残基またはリンカーのタイプが存在する場合にのみ意味を持ちます。化学的に互換性のないアンカーに距離報酬を割り当てると、誤ったシグナルが生じます。
   • メカニズム: 報酬関数 $R(M|C)$ は、二値のタイプゲート $I[C_{type}(M)]$ と距離成分に分解されます。距離成分は有界階段報酬を使用します。
     • 正確な代理閉環が満たされた場合、完全な報酬が与えられます。
     • 「ほぼ実現可能」なサンプルに対しては、形状関数に基づき、中間的で有界なフィードバックが提供されます。
     • 化学的必須条件（例えば、特定のアンカー残基）が満たされていない場合、報酬は割り当てられません。
   • この設計は、化学的に無効な構成からの更新を回避しつつ、高密度な幾何学的フィードバックを提供します。

2. 報酬重み付けアライメント目的関数:

   • GeoCycler は、現在の生成器から終端サンプルを収集し、それらをデコードしてトポロジー固有の報酬でスコア付けします。
   • これらのスコアは、標準的な順方向拡散のノイズ除去更新を再重み付けするために使用されます。アライメント損失は以下のように定義されます。
     $$L_{align}(\theta) = \mathbb{E} \left[ r_i \lambda(t) \| \tilde{\epsilon}_\theta(z_t, t, P, C) - \epsilon \|_2^2 \right]$$
     ここで、$r_i$ は正規化された報酬重みです。
   • このフレームワークは、正のみの報酬重み付けを採用し、異質な負のセットを明示的に適合させることなく、高報酬サンプルを強化します。これは、失敗が多くの無関係な原因から生じうる疎な幾何学的制約に対してより適していると考えられます。

3. マルチトポロジー学習とリプレイ:

   • 単一の条件付き生成器が、4 つの異なるマクロ環状化トポロジー（ステープル型、ヘッダー・ツー・テール型、ジスルフィド型、および双環状）に対してアライメントされます。
   • サンプル効率の向上と学習の安定化のため、FIFO リプレイバッファが終端潜在変数と報酬を格納します。ミニバッチは、新たに収集されたサンプルとリプレイされた高報酬パターンを混合し、オンポリシーサンプリング中に稀な実現可能な閉環パターンの急速な消失を防ぎます。

主な貢献

1. 学習時アライメントフレームワーク: 本論文は、環状ペプチドのマクロ環状化を、疎的でハイブリッドな離散 - 連続アライメント問題として再定義します。これは、制約条件付きの 3D 構造生成に対して順過程拡散強化学習を適応させ、制御を推論時のステアリングから生成器自体の最適化へ移行させます。
2. タイプゲート付き代理報酬: 必須のアンカー互換性と連続的な閉環幾何学を分離する新しい報酬設計です。タイプ条件が満たされた後にのみ距離ベースの形状化を活性化することで、疎な環閉鎖目標に対して化学的に意味のある高密度なフィードバックを提供します。
3. 統合生成器: 異なる化学種に対して個別のモデルを学習する手法とは異なり、GeoCycler は単一の生成器を複数のトポロジー（ステープル型、ヘッダー・ツー・テール型、ジスルフィド型、双環状）に対してアライメントし、幾何学的閉環の規則性が戦略間で共有可能であることを実証しています。

実験結果

このフレームワークは、LNR ベンチマーク（大規模非重複データセット）を用いて評価され、pass@5（5 つの候補のうち少なくとも 1 つが制約を満たせば成功）およびpass@1指標が使用されました。

• 性能向上: GeoCycler は、強力なベースライン（PepGLAD、エネルギーガイダンス付きサンプリング、CP-Composer）と比較して、4 つのトポロジーすべてにおいて最高の pass@5 成功率を達成しました。
  • ヘッダー・ツー・テール型: CP-Composer に対して20.8 パーセントポイント向上（75.27% $\to$ 96.06%）。
  • ジスルフィド型: 85.06% から 94.63% に向上。
  • 双環状型: 3.45% から 11.49% に向上。これは、結合した多ループ制約の難易度を考慮すると、大きな進歩です。
• 分布忠実度: 改善は、重度の分布ドリフトによって引き起こされたものではありませんでした。GeoCycler は、アミノ酸統計（AA-KL）およびバックボーン二面角統計（B-KL）をベースモデルおよび CP-Composer と同等に維持しました。
• アブレーション研究:
  • タイプゲートまたは形状化項を除去すると、性能が大幅に低下し、化学的にゲートされた高密度フィードバックの必要性が検証されました。
  • 正のみのアライメントは、正/負の代替案を上回り、実現可能なサンプルに焦点を当てることは、多様な失敗モードをモデル化しようとするよりも効果的であることを示唆しています。
  • リプレイバッファと統合学習（単一モデル対トポロジー固有モデル）の両方が、平均成功率の向上に寄与しました。
• 事後検証: OpenMM ベースの構造整合性スクリーニングにより、GeoCycler のサンプルは、局所緩和後、ベースラインよりも閉環幾何学を保持し、重度の立体障害を回避する能力が特にヘッダー・ツー・テール型およびジスルフィド型トポロジーで優れていることが確認されました。

意義と主張

本論文は、疎な幾何学的制約への学習時アライメントが、事後サンプリング時修正のみに依存することに対する有望な代替手段であると主張しています。拡散ポリシーを適応させて、閉環整合構造が生成器自身の分布下でより確からしくなるようにすることで、GeoCycler は、非滑らかで構成的な制約を処理する際の推論時ガイダンスの限界に対処します。

著者らは、GeoCycler を新しいバックボーン生成器としてではなく、事前学習済み条件付き拡散モデルをアライメントする手法として位置づけています。結果は、報酬重み付け学習が、学習されたペプチド統計を犠牲にすることなく、効果的に終端バックボーンの閉環を促進し、結合した多エッジ制約（双環状ペプチドに見られるような）を調整できることを示唆しています。この研究は、マクロ環状化の実現可能性が、局所的な化学的タイプの互換性と 3D 幾何学に依存しており、標準的な教師あり微調整ではこの問題を解決するのが不適切であることを浮き彫りにしています。