技術的概要：オラクル予算下でのタンパク質設計に向けた、生物学的に導かれた探索を用いた自己改善模倣

問題定式化

タンパク質工学は、厳格な評価予算の下で「適合度」関数（例：熱安定性、結合親和性）を最大化することを目的とした逐次意思決定最適化問題として定式化される。核心的な課題は、配列空間（$20^L$）の膨大な組み合わせ的規模と、荒々しく疎で非凸な適合度ランドスケープを生み出すエピスタシスの蔓延にある。既存のアプローチは、3 つの持続的な限界に直面している：

1. 価値ベース最適化における不安定性: 価値関数に依存する強化学習（RL）手法は、ハイパーパラメータに対して敏感であり、ノイズの多い代理報酬で訓練された際に誤差の伝播を起こしやすい。
2. 位置を無視した突然変異: 多くの手法は、アミノ酸残基の保存性を考慮することなく突然変異を提案し、機能的に重要な部位の破壊を招くリスクがある。
3. 非効率的な探索: 厳しいオラクル予算の下では、高価値領域を優先したり、冗長な評価を回避したりすることに失敗することが多い。
   目的は、代理モデルを用いて選択を導き、高価なオラクルを最終評価のために温存しつつ、限られたオラクル問い合わせ数（$N$ラウンド、ラウンドあたり$K$問い合わせ）内で、開始配列よりも高い適合度を持つ配列を設計することである。

手法：SILO

著者は、構造化されたサンプリング、生物学的に情報を与えられた選択、および軌道レベルの模倣学習を統合するアクティブラーニングフレームワークであるSILO（生物学的に導かれた探索を伴う自己改善模倣）を導入する。このプロセスは反復ループとして機能する：

1. 階層的編集ポリシーと MDP 定式化

SILO は、候補生成を編集軌道におけるマルコフ意思決定過程（MDP）として提示する。一度に完全な配列を生成する代わりに、トランスフォーマーベースのポリシー$\pi_\theta$は、各突然変異を 2 つの階層的段階に分解する：

• レベル 0: 変更する位置$i \in \{1, \dots, L\}$を選択する。
• レベル 1: 選択された位置に条件付けられた置換アミノ酸$a \in \mathcal{V}$を選択する。
  このポリシーは、進化の事前知識を符号化する凍結された ESM Cambrian 埋め込みを用いて、2 つのポリシーヘッドを持つ軽量トランスフォーマーエンコーダーで訓練される。

2. 構造化サンプリング（増分的 SBS）

多様な候補軌道を生成するために、SILO は**増分的確率的ビーム探索（SBS）**を採用する。標準的なビーム探索とは異なり、SBS はガウンベルノイズで対数確率を攪拌することにより、非復元で軌道をサンプリングする。軌道がサンプリングされた後、その確率質量は除去され、分布は再正規化される。これにより、突然変異予算（$d_{max}$）内で多様な行動軌道が探索されることを保証する。

3. 生物学的に情報を与えられた選択

オラクル評価の前に、候補は代理アンサンブル$f_\phi$と特定の目的関数$S(x)$を用いてスコアリングされる：
$$S(x) = \text{UCB}_{\text{proxy}}(x) + \text{UCB}_{\text{AFS}}(x)$$

• $\text{UCB}_{\text{proxy}}(x)$: 代理の平均予測と不確実性に基づく上界信頼区間（Upper Confidence Bound）であり、探索と利用のバランスを取る。
• $\text{UCB}_{\text{AFS}}(x)$: アラニン・スキャン適合度スコア。この項は、候補のアラニン置換変異体（突然変異部位をアラニンに置換したもの）を評価する。アラニン変異体が高い適合度を持つと予測される場合、それは突然変異部位が機能的に関連しており、中立的な変化に対して耐性があることを示唆する。これは、タンパク質機能を破壊する可能性のある候補の重みを下げるランキングシグナルとして機能する。

4. 軌道レベルの自己改善模倣（SIL）

価値関数を最適化する RL 手法とは異なり、SILO は自己改善模倣学習を使用する。

• データ収集: SBS サンプリングから得られた上位$K$個の候補がオラクルによって評価される。
• 模倣ターゲット: 上位$P$個のオラクルラベル付き配列（BESTFOUND）と、それに対応する行動軌道が選択される。
• 訓練: ポリシー$\pi_\theta$は、BESTFOUND 軌道から導出された履歴 - 次の行動のペア$(h(t), a(t))$に対する交差エントロピー最小化を通じて更新される。これにより、ポリシーはノイズの多い価値推定に依存することなく、トップパフォーマーの行動から直接学習できる。

主要な貢献

1. 構造化サンプリングと生物学的に情報を与えられた選択: 多様な軌道生成のための増分的 SBS と、選択のためのアラニン・スキャン適合度スコア（AFS）の組み合わせが、性能向上の大部分を担う。AFS 項は特に、保存された残基を破壊するリスクを軽減する。
2. オラクル予算設定への SIL の適応: 本論文は、安価な評価で以前にルーティングや分子設計に使用されていた SIL パラダイムを、タンパク質設計の文脈に適応させた。代理値ではなくオラクルラベル付き軌道で訓練することにより、SILO はノイズの多い代理下での価値関数推定に伴う不安定性を回避する。
3. 経験的頑健性: このフレームワークは、8 つのタンパク質適合度ランドスケープ全体で一貫した性能を示し、他のベースラインが劣化する低データ領域やノイズの多い代理条件下でも競争力を維持している。

実験結果

著者は、SILO を 8 つのベンチマークデータセット（AAV, AMIE, E4B, GFP, LGK, Pab1, TEM, UBE2I）において、5 つの強力なベースライン（PEX, AdaLead, GFN-AL-$\delta$CS, MLDE, ProSpero）と比較評価した。

• 性能: SILO は、すべての 8 つのランドスケープにおいて、最高の最大適合度とトップ 100 平均適合度を達成した。アクティブラーニングの初期ラウンドで頻繁に高適合度配列を発見しており、オラクル予算のより効率的な利用を示している。
• 低データ領域: 初期ラベル付きデータを削減した（$D_0$の 10%, 20%, 50%）ストレステストにおいて、SILO は安定し競争力を維持したが、GFN-AL-$\delta$CS などの手法は明らかな劣化を示した。
• ノイズの多い代理: 代理モデルに合成ガウスノイズが追加された場合（SNR レベル -25, -15, -5）、SILO は高い性能を維持したが、ProSpero や PEX などのベースラインは著しく劣化した。
• アブレーション研究:
  • 構造化サンプリングの除去（標準ビーム探索への SBS 置換）は性能を低下させた。
  • AFS 項の除去は性能を低下させ、生物学的に導かれた選択の価値を確認した。
  • 「凍結ポリシー」バリアント（模倣更新なし）は競争力を維持したが、これはサンプリングと選択が向上の相当部分を担っていることを示唆するが、反復的な模倣は特に AAV と Pab1 において追加の改善を提供した。

意義と主張

本論文は、SILO が学習、サンプリング、生物学的に導かれた選択を成功裡に統合することにより、オラクル予算タンパク質配列最適化の有効な方向性を表していると主張する。

• 安定性: 価値関数推定を回避し、オラクルラベル付き軌道のクロスエントロピー模倣に依存することで、SILO はノイズの多い代理報酬を持つ設定における RL に対するより安定した代替案を提供する。
• 効率性: この手法はベースラインよりも高適合度候補を迅速に特定するため、実験的評価が高価なシナリオに適している。
• 生物学的関連性: アラニン・スキャン適合度スコアの組み込みにより、探索が生物学的原理によって導かれることを保証し、非機能変異体を生成する可能性を低減する。

著者は、SILO がin silicoベンチマークで優れている一方で、将来の研究はより大きな突然変異予算下での手法の評価と、オラクルと生物学的現実の間の潜在的なドメインシフトに対処するためのウェットラボ環境での性能検証に焦点を当てるべきであると結論付けている。