STRIDE: 編集軌跡（Edit Trajectories）を通じた生体配列の推論と最適化のためのポストトレーニング LLM

本論文は、離散的な生体配列（タンパク質や小分子）の最適化問題に対し、LLM を「編集軌跡（Edit Trajectories）」を推論するエージェントとして再構築する新しいポストトレーニングフレームワークSTRIDE（Sequence Trajectory Refinement via Internalized Denoising Emulation）を提案しています。

以下に、問題設定、手法、主要な貢献、結果、および意義について詳細をまとめます。

---

1. 問題設定と背景

背景

生体配列の設計・最適化（タンパク質や小分子）は、創薬や酵素工学において中心的な課題です。多くの実用的なシナリオでは、ゼロから生成（de novo generation）するのではなく、既存の機能を持つ前駆体（プレカーサー）から、特定の性質を向上させるために少数の編集（置換、挿入、削除）を行う「目的指向の微調整（Goal-directed refinement）」が求められます。

課題

このタスクは以下の制約と難しさを含みます：

1. 厳密な構文制約: タンパク質のアミノ酸制約や、SMILES 文法（化学構造式）など、中間段階でも構造的に有効な配列である必要があります。
2. 離散空間と可変長: 挿入・削除を含む場合、配列長が変化し、編集のインデックス管理が複雑になります。
3. 既存手法の限界:
   • 拡散モデル: 段階的なノイズ除去による改善は可能ですが、明示的で制御可能な離散的編集操作（INSERT/DELETE/REPLACE）を直接露出させるのが難しく、中間ステップでの制約遵守が困難です。
   • 自己回帰型 LLM: 構文的に有効な配列を生成できますが、標準的なデコーディングでは「近視眼的（myopic）」になりがちで、制約された編集予算内で長期的な最適化計画を立てる能力が不足しています。

2. 提案手法：STRIDE

STRIDE は、離散的な生体配列の最適化を「編集空間における軌跡計画（Trajectory Planning）」として定式化します。LLM は、ソース配列を最適化された候補に変換するための、実行可能な原子レベルの編集操作（INSERT/DELETE/REPLACE）の明示的な列（軌跡）を生成するように訓練されます。

2.1. 最適化編集軌跡の構築（DP によるバックトラッキング）

トレーニングデータの作成において、ソース配列 $x_{src}$ とターゲット配列 $x_{tgt}$ のペアに対して、Levenshtein 距離（編集距離）を用いた動的計画法（DP）を適用します。

• 最短編集パス: 最小コストの編集スクリプト（軌跡）を決定論的に生成します。
• 実行可能性: 生成された軌跡は、現在の配列状態に基づいてインデックスが再評価されるように設計されており、逐次実行可能です。
• データ形式: 入力（ソース配列＋指示）に対して、モデルは思考プロセス（編集軌跡）と最終出力（ターゲット配列）を生成するように学習します。

2.2. 2段階トレーニングパイプライン

STRIDE は以下の 2 つの段階で LLM を微調整します。

Stage I: 有効性と最小編集の内部化（SFT）

• 手法: 教師あり微調整（Supervised Fine-Tuning, SFT）。
• 目的: Levenshtein 距離に基づく最短編集軌跡の模倣を通じて、モデルに「有効な配列を生成する」という事前知識と「最小限の編集で済ませる」というバイアスを注入します。
• 効果: 制約付きデコーディングなしでも、構文的に有効な配列を生成できる基盤を構築します。

Stage II: 報酬との整合性（GRPO によるポストトレーニング）

• 手法: グループ相対方策最適化（Group Relative Policy Optimization, GRPO）および KL 正則化。
• 目的: 生成された編集軌跡をタスク固有の報酬（蛍光強度、薬物類似性など）と整合させます。
• 報酬設計:
  • タンパク質: 蛍光強度の向上と、編集回数（1〜3 回）の制約。
  • 分子: 有効性（RDKit による解析）、目標性質の達成度、入力との類似性（Tanimoto 係数）、および非目標性質の悪化（オフターゲットドリフト）に対するペナルティ。
• 整合性チェック: 生成された軌跡が実行不可能な場合、または実行結果が最終出力と一致しない場合は、低い報酬を与えて学習を抑制します。

3. 主要な貢献

1. 実行可能で可変長の編集軌跡最適化:
   離散生体配列の微調整を、INSERT/DELETE/REPLACE という原子操作の軌跡計画として定式化し、インデックス整合性のある可変長編集を可能にしました。
2. Levenshtein バックトラッキングによる軌跡監督:
   決定論的な DP アルゴリズムを用いて、アライメントされたペアからインデックスに基づく編集スクリプトを生成し、最小編集かつ有効性を保持する編集事前分布を導入しました。
3. 編集スクリプトのための報酬整合ポストトレーニング:
   グループベースの方策最適化（GRPO）と KL 正則化を用いて、軌跡生成をタスク報酬と整合させつつ、Stage I で学習した一貫した編集ロジックを維持しました。
4. 厳密な制御制約下での経験的優位性:
   タンパク質蛍光最適化と指示条件付き分子最適化のベンチマークにおいて、既存手法と比較して成功率と多様性（新規性）を大幅に向上させました。

4. 実験結果

4.1. タンパク質蛍光最適化（TAPE データセット）

• 置換のみ（Replace-only）: STRIDE は成功率 61%、新規性 53/59 を達成し、ゼロショット（53/9）や単純な SFT（55/28）を上回りました。
• 完全な動作空間（Insert/Delete/Replace）: 可変長編集の難易度が高いこの設定でも、STRIDE は成功率 89%、新規性 76/78を達成しました。
  • 対照的に、Vanilla SFT は成功率 42% に低下しました。
  • 拡散モデルベースの Edit Flow は成功率 79% を達成しましたが、新規性（13/51）は STRIDE よりも低く、探索能力に劣ることが示されました。

4.2. 分子最適化（DrugAssist ベンチマーク）

• 制御性と安定性: 指示条件付きの分子編集において、STRIDE-GRPO は厳密な成功率 78.2% を達成しました。
• オフターゲットドリフトの抑制: 直接生成を行う Vanilla SFT は高い成功率を示しましたが、非目標性質の悪化（Shift Rate 0.948）が顕著でした。一方、STRIDE-GRPO はシフト率 0.755に抑えつつ成功率を維持し、編集軌跡を介した RL 学習がより安定した制御を実現することを示しました。
• 有効性: STRIDE-GRPO は生成された分子の妥当性（Validity）を 75.0% から 90.9% まで大幅に向上させました。

5. 意義と結論

STRIDE は、生体配列の最適化において、LLM に「編集の軌跡」を推論させることで、解釈可能性と制御性を両立させる新しいパラダイムを提示しました。

• 透明性: 編集のステップ（どこを、何を、どのように変更するか）が明示されるため、設計プロセスの透明性が高まります。
• 柔軟性: 挿入・削除を含む可変長の編集を、インデックス管理の整合性を保ちながら実行可能です。
• 実用性: 厳格な構文制約（SMILES 文法やタンパク質構造）を維持しつつ、多様性と新規性を兼ね備えた高品質な候補を生成できます。

将来的には、より長いゲノム文脈への拡張や、編集に強いオラクル（予測モデル）の開発、さらには実験的検証との連携が期待されます。このアプローチは、創薬や合成生物学における発見プロセスの加速と、信頼性の高い科学 AI システムの発展に寄与する可能性があります。