テクニカル・サマリー：SPICE – ネイティブ・ラベルの範囲を超えて学習するためのシミュレータとしての教師

1. 問題提起

物理科学における機械学習モデルは、その学習コーパスの被覆限界によって制約を受ける。実測条件下で学習されたモデルは、ラベル付けされた領域の外側で動作する際、監督（supervision）を欠くことが多い。物理シミュレータ（例：全原子分子動力学）は、直接的なラベルが存在しない条件を評価できるが、通常はオフラインのフィルタリングや、完了した予測のスコアリングとしてのみ使用される。このようなオフラインのアプローチは、探索をリアルタイムで方向付けることができず、無関係な状態に対して計算リソースを浪費したり、新たな失敗モードを見逃したりする可能性がある。

本研究が取り組む核心的な課題は、直接的な実験ラベルが乏しい、あるいは存在しない連続的な物理条件（pH、温度、イオン強度など）において、物理シミュレータを単なる事後的な検証器としてではなく、後続の探索や介入を導くためのオンラインの教師として用いることで、学習システムがいかにして探索を可能にするかである。

2. メソドロジー：SPICEフレームワーク

SPICE（Simulator as Teacher for Learning Beyond Native-Label Coverage）は、閉ループ型のシミュレータ監督学習フレームワークを実装している。これは、学習された構造的事前分布（structural prior）、強化学習（RL）コントローラ、および全原子分子動力学（MD）エンジンを統合したものである。

2.1 教師–学習者–審判–リサイクル ループ

本フレームワークは、以下の4つの明確な段階を経て動作する。

1. 事前分布の初期化（Prior Initialization）： 動的なTransformerモデルが、タンパク質構造コーパス（PDB）を用いて事前学習され、「構造的事前分布」を提供する。このモデルは、高精度なネイティブフォールド予測器ではなく、粗い$C_\alpha$座標と変異確率を出力するトポロジカルな種（seed）として機能する。
2. 物理的スクリーニング（経路A）： MDエンジン内に親配列が構築される。システムは、環境条件（pH、温度）を摂動させることで環境空間を探索する。Soft Actor-Critic（SAC）コントローラが、連続的なバイアス力と環境オフセットを適用する。シミュレータは、段階的な物理的観測量（ポテンシャルエネルギー、回転半径のドリフト、二次構造の喪失、原子の衝突、表面電荷のミスマッチ）を返す。軌道が崩壊した場合（例：エネルギーの爆発）、特定の環境条件（$e_{fail}$）が記録される。
3. 介入（経路B）： 崩壊条件が特定されると、進化戦略（ES）のマクロループが離散的な配列介入（変異）を提案する。これらの候補は、特定の$e_{fail}$条件において評価される。SACアクター（経路Aから凍結されたもの）は軌道内の制御を担当し、一方でESは配列空間を探索する。
4. 判定とリサイクル（Adjudication and Recycle）： 設定されたMDウィンドウを完了し、構造保持基準（Qゲート、$Q \geq 0.5$）を通過した候補が保持される。それらの時間平均座標は、**信頼度重み付き疑似ラベル（confidence-weighted pseudo-labels）**としてリサイクルされ、学習ストリームを更新することで、元のネイティブ・ラベルを超えた監督を効果的に拡張する。

2.2 主要コンポーネント

• シミュレータ（教師）： 改良されたRustベースの全原子MDエンジン（Amber ff19SB力場、OPC水モデル）。これは「審判」として機能し、物理的観測量と失敗信号を返す。一定の$pK_a$値に基づく近似的なプロトン化割り当てを使用しており、定常pHダイナミクスは使用しない。
• クリティック（Critic）： シミュレータの生の観測量（ポテンシャルエネルギー、物理的指標）を、アクターへの行動価値フィードバックへと変換する。極めて重要な点として、アクターは生の物理的指標を直接見ることはできず、配列表現と環境に基づいて行動を調整することを学習しなければならない。これにより、アクターが単に瞬時の診断をコピーしてしまうことを防いでいる。
• コントローラ： ES（離散的な変異提案用）とSAC（連続的な環境および力バイアス制御用）のハイブリッドである。
• 採用ルール： 候補は、破滅的なエネルギー失敗を起こすことなくMDウィンドウを完了し、かつネイティブな接触の十分な割合（$Q$）を保持した場合にのみ採用される。

3. 主な貢献

• シミュレータ・イン・ザ・ループ学習： 本論文は、物理シミュレータがオンラインの教師として機能し、静的なオフライン・ラベル生成器としてではなく、探索をリアルタイムで方向付けるための方向性のあるフィードバックを提供するワークフローを確立した。
• ハイブリッド最適化： 単一のループ内で、進化戦略（配列レベルの介入用）とSoft Actor-Critic RL（連続的な環境条件付け用）を組み合わせている。
• 疑似ラベルのリサイクル： 受理された生存コンフォメーションを疑似ラベルとしてリサイクルすることで、元の訓練分布の外側で生成された物理的に許容可能な状態から学習することを可能にした。
• 事前分布スケールによる実現可能性のアブレーション： 本研究は、データが極めて限定的な事前分布（10チェーンで学習）と大規模な事前分布（約45,000チェーンで学習）の両方からループを開始できることを示し、シミュレータによる監督探索が事前分布のスケールの違いに対して堅牢であることを示した。ただし、結果として得られる提案される化学組成や採用数は異なる。

4. 結果

本フレームワークは、7QF3 (miniSOG)、リゾチーム (6QQE, 8D8F)、およびRNase A (1JVT) を用いた、ラベルが乏しいタンパク質配列–環境設定において検証された。

• 環境探索： システムは、pH 2–10および260–330 Kの有界ドメインを正常に探索した。運用上の失敗は、pHのエッジ付近（特にpH 10.0）に集中したが、内部でも発生した。
• 介入仮説： 経路Bは、崩壊条件に対する具体的な配列介入仮説を生成した。例えば、pH 10付近では、電荷を除去または反転させるためのN末端のE2位置での置換を含む候補が受理された。pH 2付近では、descendants（子孫）は $E2 \to Q$ や $K3 \to T$ といった特定の置換に富んでいた。これらは、実験的に検証されたレスキュー変異ではなく、計算上の仮説として報告されている。
• 事前分布スケールの比較：
  • N=10 の事前分布は、418件の採用レコード（338個のユニークな配列）を生成し、中央値Qは0.849であった。
  • N=45,000 の事前分布は、338件の採用レコード（253個のユニークな配列）を生成し、中央値Qは0.819であった。
  • 両方の構成がシミュレータ・スクリーンへの進入に成功しており、このループが最小限のデータから開始できることを確認した。ただし、N=45,000の事前分布は、N=10の事前分布と比較して、より強い接触レベルの信号（CASP14ターゲットに対するContact AUC 0.877）を保持していた。
• 疑似ラベルのリフロー： 受理されたコンフォメーションを疑似ラベルとしてリサイクルすることで、N=45,000のチェックポイントにおけるホールドアウト座標メトリック（GDT-TS）を0.041から0.048に向上させつつ、接触AUCの安定性を維持した。

5. 意義と主張

本論文は、その貢献を、具体的なタンパク質配列–環境設定における特定の計算パターン（教師–学習者–審判–リサイクル）の提示として控えめに定義している。

• 代替ではない： SPICEは、高精度なネイティブ条件の構造予測（AlphaFoldのようなもの）、Rosettaスタイルの設計、あるいは長時間の熱力学的安定性の推定に取って代わるものではないと主張している。
• 補完的な役割： SPICEは、シミュレータ由来の監督を、データ由来の監督に対する補完的なものとして位置づけている。構造コーパスは効率的な事前分布を提供し、シミュレータとの相互作用は非ネイティブな条件下での報酬と採用結果を生成する。
• 汎用性： 著者は、以下の3つの条件が満たされる場合、このループを他のラベルが乏しい科学システムにインスタンス化できると主張している。(1) 評価可能なシミュレーションが存在すること、(2) 受容可能な結果と不適切な結果を分離する計算可能な採用目的関数が存在すること、(3) ターゲットのレジームが、インタラクティブなシミュレーションを正当化するほど十分にラベルが乏しいこと。
• 監査可能な仮説： SPICEによって生成された推奨事項は、「監査可能な計算仮説」として枠付けられている。公開されたアーティファクト（ログ、疑似ラベル、エンジンコード）は、提案分布と採用基準のレベルでの監査を可能にするが、その物理的な妥当性は、使用された力場およびプロトコルに依存する。

本研究は、軌跡の記録は生物学的進化ではなくアルゴリズム的な探索を記録しているものの、物理的スクリーニングと採用ルールがいかにしてラベルが乏しいレジームにおける探索を形成し、ネイティブ・ラベルの限界を超えて監督を拡張できるかを、フレームワークが成功裏に示したものであると結論付けている。