Generating Structurally Diverse Therapeutic Peptides with GFlowNet

この論文は、報酬を最大化する従来の強化学習が多様性の欠如に陥るのに対し、報酬に比例してサンプリングを行う GFlowNet を採用することで、明示的な多様性ペナルティなしに構造的に多様な治療用ペプチドを生成できることを示しています。

要約

この論文は、**「新しい薬（治療用ペプチド）を見つけるための AI の探し方」**について書いたものです。

一言で言うと、**「一番良いものだけを狙う従来の AI は、似たようなものばかり作ってしまい失敗する。しかし、新しい『GFlowNet』という AI は、良いものから悪いものまで『確率に比例して』幅広く探すことで、驚くほど多様な候補を見つけ出すことができる」**という画期的な発見を報告しています。

わかりやすく、3 つのステップで説明します。

---

1. 従来の問題点：「一番高い山」だけを狙うとどうなる？

新しい薬を作る AI は、通常「報酬（スコア）」を最大化するように訓練されます。
これを**「登山」**に例えてみましょう。

• 従来の AI（GRPO など）：
  「一番高い山（最高スコアの薬）を見つけろ！」と命令されます。
  すると、AI は「一番高い山」がどこにあるか特定すると、その頂上に向かって一直線に走ります。
  問題点： 頂上に着くと、AI は「ここが一番良いんだ！」と満足して、その周辺しか探索しなくなります。結果として、**「頂上には似たような人（似たような薬の候補）が密集しているが、他の素晴らしい山（多様な候補）には誰も行っていない」という状態になります。
  これを専門用語で「モード崩壊（Mode Collapse）」**と呼びます。まるで、ある特定の「流行りの服」しか着ていない人ばかりが集まっているような状態です。

2. 新しい解決策：「GFlowNet」の考え方

この論文で提案されているGFlowNetは、考え方が全く違います。

• GFlowNet の考え方：
  「一番高い山だけに行け」ではなく、**「山の美しさ（スコア）に比例して、すべての山を巡ってこい」**と命令します。
  • 高い山には「多くの人が」行きます。
  • でも、少し低い山や、遠くの山にも「それなりに」人が行きます。
  • 一番低い谷にも、全く人がいないわけではありません。

【アナロジー：お祭りの屋台】

• 従来の AI： 「一番美味しい屋台」だけを探し当てると、その屋台の周りに大勢が殺到し、他の屋台は空っぽになります。
• GFlowNet： 「美味しい屋台には多くの人を、そこそこの屋台には少しの人を」と、美味しさに比例して客を分散させます。
  その結果、**「一番美味しい屋台もあれば、次点の屋台も、隠れた名店も、すべてに客が行き渡っている」**状態になります。

3. なぜこれが薬開発に重要なのか？

薬開発では、「多様性（バラエティ）」が命です。

• 従来の AI のリスク：
  似たような薬ばかり作ってしまうと、もしその「似たような薬」が臨床試験で失敗したら、**「同じ理由で全部失敗する」**というリスクがあります。まるで、同じ弱点を持つ兵士ばかりを戦場に送るようなものです。
• GFlowNet のメリット：
  多様な形や性質を持つ薬の候補を幅広く生み出せるため、**「もし A 族の薬が失敗しても、B 族や C 族の薬が成功するかもしれない」**という「保険（ヘッジ）」が効きます。
  論文の実験では、従来の AI が「特定の繰り返しパターン（RMMRMM...）」ばかり作って破綻したのに対し、GFlowNet は自然で多様なパターンを維持し続けていました。

まとめ：この論文の核心

この研究は、**「AI に『一番良いもの』だけを狙わせるのではなく、『良いもの』を確率的に幅広く探させる」**というアプローチが、薬開発のような複雑な世界では、無理やり「多様性」というルールを課すよりもはるかに効果的であることを証明しました。

• 従来の方法： 「一番高い山」に集中する → 似たような薬ばかり → 失敗リスク大。
• GFlowNet： 「山の美しさ」に応じて広く散らばる → 多様な薬 → 失敗に強い。

これは、AI が「正解」を探すだけでなく、「可能性の広がり」を自然に守ってくれる、非常に賢い新しい方法だと言えます。

技術概要

論文要約：GFlowNet を用いた構造的に多様な治療用ペプチドの生成

Edward Wijaya（StemRIM, Inc.）によるこの論文は、強化学習（RL）を用いた治療用ペプチドの生成において、既存の手法が抱える「モード崩壊（mode collapse）」の問題を解決し、より多様な候補を生成するための新しいアプローチとしてGFlowNetを提案したものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 背景と問題定義

治療用ペプチドは、特異性の点で低分子医薬、製造コストの点で生物学的製剤に優位性を持つ有望な候補です。しかし、創薬プロセスでは、特許ポートフォリオの構築や失敗リスクのヘッジングのために、構造的に多様な候補が不可欠です。

既存の強化学習（RL）ベースの生成手法（例：GRPO など）は、期待報酬 $E[R(x)]$ を最大化するようにポリシーを最適化しますが、以下の重大な欠点があります。

• モード崩壊: 報酬最大化を追求する結果、シーケンス空間の狭い領域に収束し、多様性が失われる。
• 既存対策の限界: 明示的な多様性ペナルティを報酬関数に追加しても、根本的な「モード探索（mode-seeking）」行動を解消できず、微細な分析では特定のモチーフへの偏りが残存する。
• 報酬設計への脆弱性: 多様性を強制するメカニズム（エントロピーゲートなど）を報酬から取り除くと、既存手法は完全に崩壊する。

2. 提案手法：GFlowNet

著者は、期待報酬の最大化ではなく、報酬に比例してシーケンスをサンプリングするという GFlowNet のアプローチを提案します。

• 目的関数:
  $$P(x) \propto R(x)$$
  報酬 $R(x)$ に比例する確率分布でシーケンスを生成します。これにより、報酬 landscape を「モードを探索する」のではなく「モードを網羅的にカバーする（mode-covering）」形でサンプリングします。
• アーキテクチャ:
  • GFlowNet: 0 から学習したカスタム Transformer（4 層、隠れ次元 256、8 アテンションヘッド）を使用。
  • 学習手法: サブ・トラジェクトリ・バランス（Sub-Trajectory Balance, STB）損失を使用。これは部分トラジェクトリに対するバランス制約を計算することで、可変長シーケンス生成における安定した勾配信号を提供します。
  • 正規化: 分割関数（Partition Function）$Z$ を学習し、その学習率を適切に調整することで、モード崩壊を防ぎつつ安定した訓練を実現しています。
• ベースライン（GRPO-D）:
  比較対象として、Group Relative Policy Optimization (GRPO) に明示的な多様性ペナルティ（アミノ酸頻度の希少性と Levenshtein 距離の組み合わせ）を追加した「GRPO-D」を使用しました。GRPO-D は事前学習済みの ProtGPT2-distilled をベースとしており、GFlowNet よりもアーキテクチャ的に有利な条件（転移学習の恩恵）を与えられています。

3. 主要な貢献

1. 微細な多様性分析の導入:
   従来の「シーケンス同一性」などの粗い指標に加え、ジペプチド濃度（上位 10 種のジペプチドの割合）、ジペプチドエントロピー、連続反復の頻度などの微細な指標を導入しました。これにより、粗い指標では見逃されていたモード探索行動を可視化しました。
2. 報酬設計に対する堅牢性の評価:
   多様性強制メカニズム（エントロピーゲートやペナルティ項）を報酬から除去した条件下での評価を行い、GFlowNet が報酬設計の変化に対していかに堅牢であるかを実証しました。

4. 実験結果

実験は、エントロピーゲートあり（ImprovedReward）となし（CompositeReward）の 2 つの報酬設定で行われました。

4.1 粗い指標での比較（エントロピーゲートあり）

• シーケンス多様性（0.945 vs 0.948）やユニーク比率（100%）などの粗い指標では、GFlowNet と GRPO-D は同等の性能を示しました。
• 平均報酬も GFlowNet がわずかに上回りました。

4.2 微細な指標での比較（重要）

粗い指標では同等に見えても、微細な分析では明確な差が現れました。

• サンプリングの均一性: GFlowNet の上位 10 種ジペプチドの濃度は 4.0% でしたが、GRPO-D は 21.7% でした（5.4 倍の差）。GRPO-D は特定のモチーフを過剰に生成していました。
• 品質の安定性: GFlowNet は報酬の分散が小さく（変動係数 0.012）、最低品質（5 パーセンタイル）も GRPO-D より 3.6% 高かったです。
• 反復配列: 連続した同一アミノ酸を持つ配列の割合は、GFlowNet が 5.9% であるのに対し、GRPO-D は 23.1% でした。

4.3 多様性メカニズム除去時のアブレーション

• エントロピーゲートなし（CompositeReward）:
  • GRPO-D: 完全にモード崩壊しました。1,000 個のサンプルすべてが「RMMRMMRMM」というトリペプチドパターンを含み、ジペプチドの 92.4% が特定の 3 種に集中しました。
  • GFlowNet: 自然な多様性（0.937）を維持し、退化したパターンは生成されませんでした。
• 多様性ペナルティなし（Vanilla GRPO）:
  • GRPO-D のペナルティ項を除去すると、GRPO は 52.5% のジペプチド濃度を示し、GFlowNet に比べて 13 倍悪い結果となりました。

5. 考察と意義

5.1 なぜ比例サンプリングが多様性を維持するのか

• モード探索 vs モード網羅: 報酬最大化は確率質量を最大報酬の一点に集中させますが、GFlowNet の比例サンプリングは報酬 landscape に比例して確率を分配します。これは、報酬が指定する範囲内で最大エントロピー（最大不確実性）を維持する分布に相当します。
• 多様性ペナルティの限界: 従来のペナルティは最適化目的と対立する「反力」として機能するため、ハイパーパラメータ調整が難しく、局所的な構造（モチーフ）の偏りを防げない場合があります。一方、GFlowNet は多様性メトリクスを明示的に定義せずとも、サンプリング分布そのものから多様性が自然に生まれます。

5.2 創薬における「構造的ヘッジ」の重要性

創薬プロセスでは、安定性や結合親和性などの既知の性質だけでなく、未知の薬物動態や毒性も重要です。

• GFlowNet は構造的に異なるファミリーの候補を生成するため、あるファミリーが臨床試験で特定の理由（例：血漿中安定性の欠如）で失敗しても、他の構造的に異なるファミリーが成功する可能性（構造的ヘッジ）が高まります。
• これは、単一の候補に依存する脆弱なパイプラインから、レジリエントなポートフォリオへの転換を意味します。

6. 結論

本論文は、治療用ペプチド生成において、GFlowNet の比例サンプリングアプローチが、明示的な多様性ペナルティを用いた従来の RL 手法（GRPO-D）よりも優れていることを実証しました。

• GFlowNet は、報酬の質を犠牲にすることなく、微細なレベルで均一なサンプリングを実現します。
• 報酬設計の変更（多様性強制メカニズムの除去）に対して極めて堅牢であり、モード崩壊を防ぎます。
• このアプローチは、創薬パイプラインにおいて、多様で高品質な候補を効率的に探索するための重要な基盤技術となります。

限界と今後の課題:

• 極端に退化したシーケンスを直接報酬として与えるような「病理的な報酬関数」には両手法とも脆弱です。
• 比較対象の GRPO-D が事前学習済みモデルを使用しているため、アーキテクチャの違いと学習目的の違いを完全に分離した比較は今後の課題です。
• 将来的には、他のシーケンス生成領域（分子、DNA など）への適用や、マルチ目的最適化、実験室フィードバックとの統合が期待されます。