技術要約: ABC-Bench: バイオセキュリティのためのエージェンティックな生物学的能力ベンチマーク

問題提起

大規模言語モデル（LLM）および生物学的AIモデルは、文献の合成から実験データの解釈に至るまで、生物学的研究に関連する能力を急速に獲得しつつある。これらの進歩は科学的発見の機会を提供する一方で、同時にバイオセキュリティのリスクの様相を変化させている。具体的には、「AIエージェント」——LLMにソフトウェアツールと実行環境を付加したもの——は、かつて経験豊富な人間の生物学者が必要としていた複雑でエンドツーエンドの生物学的タスクを実行できる能力をますます高めている。

ウォーターマーキング、アンラーニング、核酸合成スクリーニングといった現在のバイオセキュリティ上の防護策は、関連するAI能力を確実に測定できる能力に依存している。しかし、既存の生物学ベンチマークは、主に短答式や多肢選択式の質問を通じて知識をテストすることに重点を置いている。これらは、バイオインフォマティクス・パッケージを自律的に使用し、データを分析し、実験室の自動化を制御するためのソフトウェアを記述することができる現代のエージェントの能力を捉えるには不十分である。エージェント的な生物学的能力（特に、AIが悪意のあるアクターに対して有害な生物学的実体を設計することを助長する可能性のあるデュアルユースのリスクに関わるもの）を測定するためのベンチマークが切実に求められている。

手法

著者らは、良性およびデュアルユース（軍民両用）の生物学的タスクの両方についてAIエージェントを評価するために設計された一連のタスクであるABC-Bench（Agentic Bio-Capabilities Benchmark）を導入する。このベンチマークは、7つの設計原則に基づいている：デュアルユース能力の測定、ツールへのアクセスを持つエージェントとしてのAIのテスト、多様な能力とリスクチェーンの評価、客観的かつ再現可能なスコアリング、高スループットな評価のサポート、および精密に規定された人間によるベースラインの包含。

ベンチマーク・タスク

ABC-Benchは、有害なDNA配列を取得するための潜在的な経路の各ステップに対応する、以下の3つの具体的なタスクで構成されている：

1. 断片設計（Fragment Design）: エージェントが短いDNA断片を設計するためのPythonコードを記述しなければならないイン・シリコ（in silico）タスク。これらの断片は、商用の合成ベンダーから注文可能であり、かつGibson Assemblyを介してターゲット配列へと組み立てられるものである必要がある。
2. スクリーニング回避（Screening Evasion）: エージェントが一般的な核酸合成スクリーニング（NASS）手法を回避するように短いDNA断片を設計しなければならない、創造的な着想タスク。エージェントは、元のターゲット配列へと再構築できることを保証しつつ、検出を避けるために配列を難読化しなければならない。
3. 液体ハンドリングロボット（Liquid Handling Robot）: Gibson Assemblyプロトコルを実行するためのOpenTrons OT-2液体ハンドリングロボット用のPythonスクリプトを記述することを要求される自動化タスク。このタスクは、生物学的プロトコルを実行可能なコードへと翻訳するエージェントの能力を評価する。

評価プロトコル

• AIエージェント: Python REPL、Bash、Bio-codingライブラリ、Web検索、およびOpenTronsシミュレータへのアクセスを持つエージェンティックなスキャフォールドにおいて、8つのフロンティアモデル（Claude Sonnet 4、Claude Opus 4、Gemini 3.1 Pro Preview、GPT-5.4、Qwen3.5、Kimi K2.5を含む）を評価するために使用された。
• 人間によるベースライン: 文脈付けを行うため、著者らは12〜13人の専門家（分子生物学または計算生物学の博士号を持ち、2年以上のPython経験を有する者）を募集した。ベースライナーには各タスクにつき5時間が与えられ、タスクごとに200ドルが支払われ、AIによる支援を防ぐための厳格な監視が行われた。
• スコアリング: タスクは、事前指定された基準（例：コードの実行成功、試薬の正確な量、組み立ての成功）に基づいてアルゴリズム的にスコア化された。拒絶率も追跡された。
• ウェットラボ検証: 液体ハンドリングロボットのタスクについては、OpenTrons FlexロボットとNEBuilder® Hi-Fi DNA Assemblyキットを用いた特定の検証実験が行われた。モデル（GPT-o4-mini-high）は、視覚的なデッキレイアウトとベンダーの指示に基づいてスクリプトを生成し、それが物理的なハードウェアによるDNA組み立てを実行した。これは全プラスミドシーケンシングによって検証された。

主な結果

• 人間によるベースラインに対する優位性: テストされたすべてのフロンティアAIエージェントは、3つのタスクすべてにおいて、中央値としての人間による専門家ベースラインを上回った。
  • 液体ハンドリングロボット: Claude Sonnet 4.6やGemini 3.1 Pro Previewなどのモデルは、すべての実行において完全なスコア（1.00）を達成した。中央値の人間によるベースラインのスコアは0.20 ± 0.09であった。
  • 断片設計: Claude Opus 4.6は完全なスコア（1.00）を達成した。中央値の人間によるベースラインは0.33 ± 0.12であった。
  • スクリーニング回避: モデルのパフォーマンスはここが最も低く、スコアは0.39から0.78（Gemini 3.1 Pro Preview）の範囲であった。中央値の人間によるベースラインは0.22 ± 0.07であった。特筆すべき点として、いくつかのモデル（Claude Opus 4.6やGPT-5.4を含む）は、そのデュアルユースの性質により、このタスクのすべてのサンプルに対して拒絶を行った。
• パフォーマンス特性: エージェントは、公開された知識や文書化されたプロトコルに基づくタスク（断片設計、液体ハンドリング）において高い習熟度を示した。新規のバイオインフォマティクス的推論や、原理の創造的な適用を必要とするタスクでは、パフォーマンスが低下した。
• ウェットラボ検証: 3回の独立した実験において、GPT-o4-mini-highは、完全なGibson Assemblyワークフローを実行する機能的なOpenTronsスクリプトを正常に生成した。3回の実験すべてにおいて、シーケンシングによって確認されたDNA組み立てが成功した。モデルは、エラーメッセージが提供された際、単一のイテレーション内でAPI構文エラー（例：ラボウェア識別子）を修正した。
• 拒絶率: 拒絶率は大きく変動した。スクリーニング回避は最も高い拒絶を引き起こし（一部のモデルで最大100%）、安全性へのアライメントメカニズムが機能していることを示している。液体ハンドリングロボットの拒絶は最小限であった。

重要性と主張

本論文は、ABC-Benchが、知識の検索を超えて、実践的な多段階の生物学的タスクの実行を評価する、初の厳格なエージェンティックなバイオセキュリティ・ベンチマークを提供すると主張している。

• 能力評価: 結果は、エージェンティックな生物学的能力が高度であることを示す明確な証拠を提供している。フロンティアAIエージェントは、DNA断片の設計や実験室の自動化の制御において、専門家の人間のパフォーマンスに匹каけ、あるいはそれを上回ることができる。
• デュアルユースの影響: これらのタスクを専門家レベルで実行できる能力は、悪用のための専門知識の障壁を下げていることを示唆している。モデルは生物医学研究を加速させる有望性を持っている一方で、ガバナンスと悪用への備えの進展を必要としている。
• ガバナンスへの有用性: ABC-Benchは、脅威モデルを策定し、どのような場合に防護策を起動すべきかを決定し、アンラーニングのような保護措置の有効性を評価するために設計されている。このベンチマークは、すでに主要なAI企業によって、リリース前のモデルテストに使用されている。
• 限界: 著者らは、現在のベンチマークがコーディング中心であり、専用の設計ツールではなくスクリプトを記述することに慣れているはずの人間による専門家を過小評価している可能性があることを認めている。将来のイテレーションでは、非コーディング成分や、より広範なリスクチェーンのステップをカバーすることを目指している。

本論文は、これらの能力が科学的発見を加速させる一方で、有害な生物学的実体の設計における専門知識の障壁を下げ、デュアルユース能力への階層的なアクセスや、合成スクリーニングの強化といった適切な防護策の開発の緊急性を強調していると結論付けている。