🧬 biology

Pushing Biomolecular Utility-Diversity Frontiers with Supergroup Relative Policy Optimization

本論文は、候補スーパーグループからセットレベルの多様性報酬を構築し、バイオ分子生成タスクにおける有用性と多様性の両方を効果的に分離して同時に最適化することで、さまざまな分子およびタンパク質設計ベンチマークにおいて有用性・多様性のパレートフロンティアを拡張する、柔軟なフレームワークであるスーパーグループ相対方策最適化（SGRPO）を導入する。

原著者： Xinwu Ye, He Cao, Hao Li, Bin Feng, Zijing Liu, Xiangru Tang, Yu Li, Shenghua Gao

公開日 2026-05-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xinwu Ye, He Cao, Hao Li, Bin Feng, Zijing Liu, Xiangru Tang, Yu Li, Shenghua Gao

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ⚕️ これは査読を受けていないプレプリントのAI生成解説です。医学的助言ではありません。この内容に基づいて健康上の判断をしないでください。免責事項の全文を読む

あなたが新しい料理を考案しようとする大料理長だと想像してください。あなたは2つの主要な目標を持っています：

味（有用性）： 料理は美味しくなければならず、特定の基準（例：「低カロリー」「辛味」「グルテンフリー」など）を満たす必要があります。
多様性（多様性）： 同じ辛いパスタの100種類を作りたいわけではありません。多くの異なる、ユニークな選択肢が揃ったメニューを望みます。

問題点：
AI によって生成された分子（医薬品用）やタンパク質（生物学用）の世界において、現在の AI 料理長は「1 つの完璧な料理」を作ることは得意です。しかし、「美味しい」料理を 100 品作ってくださいと頼むと、彼らは往々にしてマンネリに陥ります。彼らは、同じパスタ料理のわずかに異なる 100 種類を作ってしまうかもしれません。「完璧な味」に集中しすぎた結果、多様性を失ってしまうのです。

既存の手法は、AI に「以前作ったものを作らないで」と言うことでこれを修正しようとします。しかし、これは料理長に「昨日使ったから塩を使わないで」と言うようなものです。これは間接的な修正であり、時には料理の味が奇妙になったり、料理長が食用不可能な無意味なものを作り始めてしまう原因となったりします。

解決策：SGRPO（Supergroup Relative Policy Optimization）
この論文は、SGRPOと呼ばれる新しい学習手法を導入します。これは「グループ味見テスト」戦略だと考えてください。

SGRPO は、1 品ずつ料理を評価するのではなく、AI の試行をグループ（100 品の料理の「スーパーグループ」など）に編成します。

厨房の比喩を使って、その仕組みをステップバイステップで説明します：

グループ課題： AI は特定の依頼（例：「辛くて低カロリーの食事を作れ」）に対して、100 品の料理のバッチを作るよう求められます。
グループ評価： システムは「この 100 品の料理は互いにどれほど異なるか？」と問いかけ、バッチ全体を評価します。
- バッチに 100 種類のユニークなレシピ（サラダ、カレー、スープ、タコなど）があれば、そのグループは高い多様性スコアを獲得します。
- バッチに同じパスタの 100 種類があれば、そのグループは低い多様性スコアとなります。
比較： AI はこれらのバッチを複数作成し、それらを比較します。「バッチ A は多様だった；バッチ B は退屈だった」といった具合です。
「1 個除外」のトリック（秘密のソース）： ここが巧妙な部分です。システムはグループ全体を評価するだけでなく、どの特定の料理がグループの多様性を生み出したかを特定します。
- 「この特定のタコをグループから取り除いたら、グループはまだ多様だろうか？」と問いかけます。
- タコを取り除くことでグループが退屈になる場合、そのタコはユニークであるとして大きなボーナスを獲得します。
- タコを取り除いてもあまり変わらない場合（他に 10 個のタコがあるため）、そのタコはより小さなボーナスしか得られません。
報酬： AI は、最高のスコアを得るためには、美味しくありながら、かつグループの多様性に真に貢献するユニークな料理を作る必要があることを学びます。

なぜこれが優れているのか？

「エコーチェンバー」の解消： 従来の手法は、しばしば AI に単に異なるために異なることを強要し、悪い結果を招いていました。SGRPO は有用な多様性を報酬とします。
「パレートフロンティア」： 数学的な用語で言えば、この論文は SGRPO が「フロンティア」を外側に押し広げると主張しています。「味」を X 軸、「多様性」を Y 軸としたグラフを想像してください。
- 従来の AI は、高い味と低い多様性、あるいは高い多様性と低い味のどちらかしか達成できませんでした。
- SGRPO により、AI は同時に高い味と高い多様性を達成できるようになります。これにより、可能な選択肢のメニューが拡大します。

どこでテストされたのか？
著者らは、この「グループ味見テスト」を 3 つの現実世界の料理課題でテストしました：

新しい小分子の発明（医薬品のための新しい化学構造をゼロから創造すること）。
特定のポケットに適合する分子の設計（タンパク質の結合部位など、特定の鍵穴に合う鍵を設計すること）。
新しいタンパク質の設計（新しい生物学的配列を創造すること）。

結果：
3 つのケースすべてにおいて、SGRPO は従来の手法よりも広範で高品質な選択肢を生み出しました。AI を単に「ランダム」にするのではなく、特定の機能の必要性と創造的な多様性の必要性のバランスを取ることを AI をより賢くしました。

要約：
SGRPO は、AI が自己を模倣することをやめるように教える学習手法です。個々の試行を孤立して評価するのではなく、試行のグループを評価し、グループの多様性にそれぞれが新しい価値あるものを加えるバッチを作成した AI に報酬を与えます。これにより、より広く、より有用な科学的発見の選択が可能になります。

技術的概要：超群相対方策最適化による生体分子の有用性 - 多様性フロンティアの拡張

1. 問題定義

生体分子生成は、特定の化学的または生物学的目標を満たす候補（小分子またはタンパク質）を生成することを目的としています。強化学習（RL）は、事前学習済みの生成器を事後学習させて有用性（例：ドラッグライクネス、ドッキングスコア、安定性）を最大化するための標準的なフレームワークですが、有用性のみを最適化すると、生成器が高スコアの候補の狭いファミリーに確率質量を集中させる「モード崩壊」を招くことがよくあります。逆に、多様性を維持することは困難です。なぜなら、多様性はサンプルの集合に対して定義される「集合レベルの性質」であるのに対し、標準的な方策最適化は個々のロールアウトを更新するからです。

既存の多様性促進型 RL 手法は、歴史的サンプルに対する新規性ペナルティやメモリベースのフィルタリングなどの間接的な代理指標に依存することが多いです。これらのアプローチは、有用な高密度モードを過剰にペナルティしたり、分布のドリフトを引き起こしたりする可能性があります。本論文が取り組む中心的な課題は、「個々の生成された候補に有用なクレジットを割り当てつつ、どのようにしてサンプル集合の多様性を第一級の目的として直接最適化できるか？」という点です。

2. 手法：超群相対方策最適化（SGRPO）

著者は、ロールアウトレベルの有用性と集合レベルの多様性のトレードオフを直接最適化する柔軟なフレームワークである「超群相対方策最適化（SGRPO）」を提案します。これは、群相対方策最適化（GRPO）に触発されたものです。

中核メカニズム

SGRPO は、同じ条件下で複数の候補集合（群）をサンプリングし、それらを比較して多様性報酬を再分配することで動作します。このプロセスには 4 つの主要なステップが含まれます。

同一条件超群サンプリング:
与えられた条件 $C$ （例：特定のタンパク質ポケット、または無条件）に対して、方策はそれぞれ $K$ 個の独立して生成されたロールアウトを含む $M$ 個の群をサンプリングします。この集合 $S(C) = \{G_1, \dots, G_M\}$ は $N=MK$ 個の候補からなる「超群」を形成します。比較はこの超群内に制限され、異なる条件の内在的な難易度と方策の質を混同することを避けます。
群レベル多様性スコアリング:
各群 $G_m$ に、ユーザーが指定した指標（例：分子の場合は内部タンモト距離、タンパク質の場合はレビンシュタイン類似度）に基づいて多様性スコア $R_m = D(G_m)$ が割り当てられます。群相対多様性シグナルは、超群内の他の群に対する**除外 1 つ（leave-one-out）**比較によって計算されます。
$A_m^{grp} = R_m - \frac{1}{M-1}\sum_{h \neq m} R_h$
正の $A_m^{grp}$ は、その群が他の選択肢よりも多様であることを示します。
集合認識再分配（除外 1 つの貢献）:
集合レベルのシグナルと個々の方策更新の間のギャップを埋めるために、SGRPO は群の多様性への貢献度に基づいて、群の多様性報酬を個々のロールアウトに再分配します。
- 各ロールアウト $x_{m,i}$ に対して、除外 1 つの貢献が計算されます： $c_{m,i} = D(G_m) - D(G_m \setminus \{x_{m,i}\})$ 。
- これらの貢献は標準化され、符号を考慮したソフトマックス重みを形成するために使用されます。
- 群が多様である場合（ $A_m^{grp} > 0$ ）、正のシグナルは多様性への貢献が高い候補に集中します。群が多様でない場合（ $A_m^{grp} < 0$ ）、負のシグナルは貢献が低い候補に集中します。
- これにより、平均群報酬は維持されつつ、多様性を推進する特定の分子にクレジットが割り当てられます。
超群相対方策更新:
ロールアウトの最終報酬は、その個々の有用性 $r_{m,i}$ と再分配された多様性報酬 $\tilde{R}_{m,i}$ を組み合わせたものです。
$\bar{r}_{m,i} = (1-\lambda)r_{m,i} + \lambda \tilde{R}_{m,i}$
ここで、 $\lambda$ は有用性 - 多様性のトレードオフを制御します。利得関数は、超群内のすべてのロールアウトに対する除外 1 つの基準として計算され、方策は KL 正則化付きのクリップされた PPO 風目的関数を用いて更新されます。

3. 主要な貢献

直接集合レベル最適化: SGRPO は、間接的な新規性代理指標や履歴依存のペナルティに頼るのではなく、生体分子生成において集合レベルの多様性を主要な目的として直接最適化する最初のフレームワークです。
デカップリングされた設計: この手法は、特定の生成器アーキテクチャ（自己回帰型または拡散型）、有用性報酬、多様性指標からデカップリングされており、さまざまな GRPO 風オプティマイザ（例：自己回帰モデル用の標準 GRPO、離散拡散用の結合 GRPO）でのインスタンス化を可能にします。
クレジット割り当てメカニズム: 除外 1 つの多様性貢献メカニズムの導入により、システムは集合の多様性を真に支える個々の候補にクレジットを割り当てることができ、個々の更新で集合の性質を最適化する問題を解決します。
群サイズに対する頑健性: この手法は小さな群サイズでも効果的であり、大規模な生体分子設計に対して計算的に実行可能です。

4. 実験結果

著者は、SGRPO を 3 つの異なる生体分子生成設定で評価しました。

De Novo 小分子設計: GenMol（離散拡散）を使用。
ポケットベース小分子設計: GenMol-P（ポケット条件付き拡散）を使用。
De Novo タンパク質設計: ProGen2（自己回帰型）を使用。

性能指標:
評価は、以下の指標で測定される有用性 - 多様性パレートフロンティアに焦点を当てました。

ハイパボリューム（HV）: 非支配動作点によって支配される面積。
理想点までの距離（DIP）: 理論上の最良の有用性と多様性までの距離。
R2 指標: 平均加重最悪ケースの不足分。

知見:

フロンティアの拡大: すべてのタスクとデコーディングスイープにおいて、SGRPO は事前学習済み生成器、標準 GRPO、メモリ支援 GRPO と比較して、一貫して到達可能な有用性 - 多様性パレートフロンティアを拡大しました。
多様性の維持: 基線（特に GRPO）が深刻な多様性の崩壊に苦しんだ高有用性領域において、SGRPO は著しく高い多様性を維持しました。例えば、ポケットベースの設計において、SGRPO は動作点の軌跡を外側にシフトさせ、同程度の有用性レベルで著しく高い多様性を保持しました。
アブレーション研究: 多様性報酬を除去すると、性能は標準 GRPO レベルに戻りました。除外 1 つのクレジット割り当てを除去すると性能が低下し、多様性シグナルを特定の貢献者に再分配することの重要性が確認されました。
分布ダイナミクス: 配列分布の可視化は、GRPO およびメモリ支援 GRPO が狭い領域に収束するかドリフトするのに対し、SGRPO は複数のクラスターを探索・維持し、配列空間のより広範なカバレッジを示していることを示しました。

5. 意義と主張

本論文は、SGRPO が生体分子生成モデルに利用可能な動作点を拡大するための広く適用可能な事後学習原則を提供すると主張しています。生成された多様な集合を直接報酬付けることで、この手法は有用性 - 多様性フロンティアを外側に押し出し、モデルがカバレッジを犠牲にすることなく、固定された多様性レベルでより良い有用性を達成することを可能にします（その逆も同様です）。

著者は、このアプローチが現在の RL ベースの生体分子設計における根本的な限界、すなわち方策最適化中に多様性を第一級の目的として扱えないという問題に対処していると強調しています。結果は、集合レベルの多様性を直接最適化することが、小分子およびタンパク質生成タスクの両方におけるモード崩壊を緩和するための実用的かつ堅牢な戦略であることを示唆しています。コードは公開され、さらなる研究および異なるドメインでのインスタンス化を促進するために利用可能です。