技術要約: TadA-Bench

問題提起

科学的発見のためのAI分野は、「エージェンティック（agentic）」なワークフロー、すなわちモデルが静的なデータセットに受動的に適合するのではなく、反復的な意思決定に能動的に参加するワークフローへと移行しつつある。タンパク質工学においては、これはウェットラボの履歴を読み取り、データを分析し、将来の実験に向けた候補を優先順位付けできるシステムを意味する。しかし、既存のベンチマークは、過去の実験ラウンドから将来のラウンドへと汎化するモデルの能力を評価することに失敗していることが多い。標準的なベンチマークは通常、ランダムなデータ分割に依存しており、これは補間（既知の分布内での予測）をテストするものであり、極めて重要なタスクである「将来ラウンドの発見（future-round discovery）」（後の実験ラウンドでのみ出現する変異体をランク付けすること）をテストするものではない。現在のベンチマークには、記録された過去のエビデンスに基づいて将来のウェットラボの結果を優先順位付けできるかどうかをテストするために、実際のディレクテッド・エボリューション（指向性進化）キャンペーンの時系列構造を保持した、再現可能で大規模なベンチマークが不足している。

メソドロジー

1. ベンチマークの構築: TadA-Bench

著者らは、31ラウンドのTadA（アデノシンデアミナーゼ）の指向性進化から派生した、固定データによるウェットラボ・リプレイ・ベンチマークであるTadA-Benchを導入する。

• 規模: データセットは約100万個の次世代シーケンシング（NGS）によって観察された変異体をカバーしている。
• ビュー: DNA、RNA、およびタンパク質の配列ビューが整列された状態で提供されており、ゲノム、トランスクリプト、およびタンパク質言語モデルを同一のキャンペーン上で評価することを可能にする。
• プロトコル: ベンチマークは「将来ラウンド・リプレイ」タスクを定義する。モデルは、初期のラウンド（$D_{\le k}$）の変異体と測定値を用いて学習し、後のラウンド（$D_{> k}$）にのみ現れる変異体をランク付けする能力を評価される。主要な事例では、モデルはラウンド1〜27で学習し、ラウンド28で検証を行い、ラウンド29〜31でテストを行う。メモリ化を防ぐため、分割は配列が重複しない（sequence-disjoint）ようになっている。

2. データの統合: Seq2Graph

主要な手法論的貢献は、ノイズの多い多ラウンドの濃縮測定値を一貫した活性ラベルに統合するために設計されたグラフベースのパイプラインであるSeq2Graphである。

• 課題: 生の選択データには、バッチ効果、ノイズの多い濃縮推定値、および31ラウンドにわたる局所的なペアワイズの不整合が含まれている。
• メカニズム:
  • グラフ構築: 各ラウンド内において、変異体はリードカウントの濃縮度によってランク付けされる。エッジはソートされたリスト内の隣接する変異体を結び、局所的な濃縮比によって重み付けされた有向グラフが構築される。
  • アンカリング: 複数のラウンドにまたปรากฏする変異体（配列のオーバーラップ）が、「アンカー」として機能し、キャンペーン全体の局所的なランキンググラフを接続する。
  • 不整合の排除: 矛盾するサイクル（例：$A > B > C > A$）の除去を、**重み付きフィードバック弧集合（Weighted Feedback Arc Set）**問題として定式化する。貪欲法を用いたヘリスティックにより、信頼度の低いエッジを除去し、グラフを有向非巡回グラフ（DAG）へと変換する。
  • 活性の割り当て: 活性スケールは参照変異体（TadA8e = 1.0）にアンカーされる。スコアは、参照から他のすべてのノードへの最短エッジパスを介して、対数ドメイン（乗法的比率）で伝播される。
• 出力: これにより、生物学的な祖先や系統樹を推論することなく、DNA、RNA、およびタンパク質ビューに対する配列定義の相対活性ラベルが生成される。

3. 評価フレームワーク

評価では、生物学的言語モデルをエージェンティック・ループの「ランキングモジュール」として扱う。

• モデル: 本研究では、DNAモデル（Evo 2, Nucleotide Transformer）、RNAモデル（OmniGenome）、およびタンパク質モデル（ESM2, ProtTrans, ESMC）を評価する。
• プロトコル:
  • 凍結エンコーダ（Frozen Encoder）: 主要な評価では、事前学習済みのエンコーダを凍結し、ダウンストリームの回帰ヘッドを学習させる。
  • 適応チェック: プロトコルのアーティファクトを排除するため、フルファインチューニングとプロンプトチューニングを含む。
  • 指標: スピアマンの順位相関係数（$\rho$）、Recall@10%、およびnDCG@10%。
  • 発見モード（Discovery Mode）: 有限の予算（標準的なプレートサイズをシミュレートした96および384個の変異体）の下での候補の優先順位付けを評価する。

主な結果

1. 将来ラウンドのギャップ（The Future-Round Gap）

代表的な生物学的言語モデルは、補間と将来ラウンドの発見との間に顕著な性能差を示す：

• 補間（ランダム分割）: 8:1:1のランダム分割の下では、タンパク質モデルは高いスピアマン相関（$\rho \approx 0.8$）を示し、ラベル空間が学習可能であることを示している。
• 将来ラウンドの発見: 固定された時系列分割の下では、性能が急激に低下する。DNA、RNA、およびタンパク質ビュー全体で、スピアマン相関は $\rho \approx 0.03$–$0.05$ まで低下する。
• 適応: フルファインチューニングやプロンプトチューニングを行ってもこのギャップを埋めることはできず（最良でも $\rho \approx 0.06$）、これは問題が回帰ヘッドではなく、表現自体が将来のエビデンスを優先順位付けする能力にあることを示唆している。

2. 発見モードにおける優先順位付け

限られた数の候補（例：96個）のみをテストできる「発見モード」の設定において：

• モデルは真の高活性な将来の変異体を濃縮することに失敗する。
• 上位5%の候補におけるヒット率は、ランダムな確率（期待値5%に対し、実際は約3–5%）に近い。これは、現在のモデルが次の実験ラウンドに向けて有望な変異体を効果的に特定できないことを示している。

3. 進化的カバレッジ vs 局所的密度

著者らは、訓練データの組成が将来ラウンドの性能にどのように影響するかを調査した：

• 密度: 同じ進化ラウンドからサンプル数を単に増やすこと（ランダムなサブサンプリング）は、収穫逓減をもたらす。
• カバレッジ: 進化的カバレッジを優先するサブセット（多様なラウンドから変異体を選択するか、ターゲットとなる検証セットとの類似性を最大化するもの）は、限定されたラウンドからのより大規模で密なサブセットよりも優れた性能を示す。
• 結論: TadA-Benchにおいて、将来ラウンドの発見のためには、局所的なデータ密度を高めることよりも、広範な進化的または機能的な領域をカバーすることの方が情報量が多い。

4. 堅牢性

• 生物学的妥当性: 主要な変異体に対する直交的な低スループットGFPレポーターアッセイは、高スループットNGS由来のラベルと強い一致（$\rho > 0.99$）を示した。
• 計算論的堅牢性: ブートストラップ解析（サブサンプリングされたラウンドまたは配列）により、Seq2Graphパイプラインが安定したスコア（$\rho > 0.90$）を生成することが確認され、ラベルの一貫性が検証された。

意義と主張

本論文は、コストのかかるクローズドループのウェットラボ・キャンペーンに展開される前に、将来のエージェンティックなタンパク質工学システムの「ランキング」コンポーネントをテストするための再現可能な基盤としてTadA-Benchを位置づけている。

• ボトルネックの露呈: このベンチマークは、現在の生物学的基盤モデルが、補間には成功しているものの、将来の実験ラウンドで出現する変異体をランク付けするという特定のタスクにおいては、著しく苦戦していることを明らかにしている。これは、反復的なタンパク質工学ワークフローにおける具体的なボトルネックとして特定されている。
• ベンチマークのデザイン: タンパク質発見のためのベンチマークは、すべての変異体を独立したデータポイントとして扱うのではなく、キャンペーンの構造（時系列およびラウンド間の整合性）を保持しなければならないと主張している。「局所的密度」と「進化的カバレッジ」の区別は、重要な設計原則として強調されている。
• 範囲: 著者らは、TadA-Benchがランキングの問題を分離して評価していることを明示している。これは、プランニング・ポリシー、ツールの使用、または自律的な実行を評価するものではなく、記録された実験履歴を利用して将来の候補を優先順位付けできるかどうかをテストするための、安定した固定データによるテストである。

著者らは、この特定の記録された実験軌跡におけるモデルの比較を再現可能にするために、Hugging FaceおよびGitHubでデータ、コード、およびベースライン・プロトコルを公開している。