AI Models Excel at Orchestration but Falter at Biological Judgment: Findings from an Agentic Gene Annotation Study

技術要約：AIモデルはオーケストレーションには長けているが、生物学的判断においては躓く

問題提起
大規模言語モデル（LLM）エージェントは、解析を指示し結果を解釈するために、生物学的なワークフローへの導入が進んでいる。しかし、これらのシステムは通常、2つの異なる機能を混同している。それは、ワークフロー制御（不確実性を減らすために次にどの解析を実行すべきかを決定すること）と、生物学的判定（蓄積された証拠に基づいて最終的な生物学的結論に達すること）である。現在のエンドツーエンドの評価では、モデルの成功が効率的なオーケストレーションによるものなのか、それとも信頼できる生物学的推論によるものなのかを判別することが困難である。さらに、最先端のLLMが持つ汎用的な推論能力がワークフロー制御に必要不可欠なのか、あるいは制約のある決定モデルで十分なのか、また、LLMが最終的な生物学的決定レイヤーとして信頼に足るものなのかについても明らかになっていない。

手法
本研究では、配列の測定、ワークフロー制御、および最終判定を分離するために設計された、細菌の遺伝子アノテーションのためのエビデンス制約型フレームワークであるGenome Skepticを導入した。

• アーキテクチャ: 配列レベルの測定は、決定論的なバイオインフォマティクスツール（BLAST+, MMseqs2, DIAMOND, HMMER）のみによって生成された。コントローラーは、定義済みのレジストリからフォローアップ解析を要求することのみが可能であり、新しい測定値を生成したり、既存のデータを変更したりすることはできなかった。
• コホート: tet(A) および tet(B) 遺伝子の有無のバランスをとった、前向きにロックされたブラインド・コホートである20の細菌ゲノムが選択された。真実（正解）は、2つの独立したエビデンス経路（リファレンスパネル比較およびHMMプロファイル／系統学的配置）を通じて確立された。
• 実験的アーム:
  1. コントローラー比較: 固定されたルールベースの判定器を使用し、4つの戦略を評価した：固定制御（Fixed control）、網羅的制御（Exhaustive control）、Jev（非LLMのRLCDベースの型決定モデル）、およびGPT-5.6 Sol（プランナーおよびクリティックとして機能するLLM）。
  2. ロールスワップ（役割の入れ替え）: 判定の影響を分離するため、GPT-5.6 Solの制御下で生成された同一のエビデンス記録を、変更を加えない状態で、ルールベースの判定器または最終決定者としてのGPT-5.6 Solに渡した。新しい解析は実行されず、同一のエビデンス状態の解釈のみが変化した。
• 指標: 正解率、感度、特異度、フォローアップ解析の回数、レイテンシ、およびコスト。未解決（UNRESOLVED）の判定は、事前指定された計画に従って誤りとスコアリングされた。

主な結果

1. オーケストレーションの効率性: ワークフローコントローラーとして、GPT-5.6 Solは固定および網羅的戦略と同等の精度（20中18正解）を達成したが、それぞれ32%および47%少ないフォローアップ解析で済んだ。非LLMコントローラーであるJevは、Solと同等の効率性と精度を実現しながら、大幅に低いレイテンシとコストで動作した。
2. 判定の失敗: 同一のGPT-5.6 Solモデルに最終決定権を与えた際、精度は20中18から11中20へと大幅に低下した（McNemar P = 0.016）。
   • 特異度は1.00から0.30に低下した。
   • モデルは、ルールベースの判定器が行った2つのエラーを修正できなかった。
   • 主な失敗モードは、偽陽性を生成することではなく、正しい陰性判定（ABSENT）を**未解決（UNRESOLVED）**に変換することであった。9件の最終的な不一致はすべて、陰性判定を未解決へと移行させたことで発生しており、そのうち7件はルールベースのシステムが正しく陰性と特定していたケースであった。
3. 前駆研究: 60ケースの前駆研究において、コントローラーを変更することでエビデンス記録は30〜45ケース変化したが、最終的なエンドポイント（結論）の変化はゼロであった。これにより、コントローラーの違いはエビデンスの取得には影響するものの、判定レイヤーが固定されている場合の最終決定には影響しないことが確認された。

主な貢献

• エージェントの役割の分離: 本研究は、ワークフローのオーケストレーションと生物学的判定が、異なるパフォーマンス要件を持つ、分離可能な計算問題であることを実証的に示した。情報を得るためのアクションを選択することに長けたモデルが、必ずしも証拠を最終的な生物学的判定に変換することに長けているとは限らない。
• 非LLMコントローラーの評価: Jevの導入により、制約のある非LLM決定モデルが、定型的なワークフローのルーティングにおいて最先端のLLMと同等の効率性と精度を発揮できることが示された。これは、明確に定義された生物学的コンテキストにおけるツール選択において、汎用的な言語推論が必ずしも必要ではないことを示唆している。
• 失敗モードの分析: LLMが判定器として機能する場合、決定論的なルールで解決可能なケースに対して、エラーを修正したり見逃された陽性を特定したりするのではなく、棄権（UNRESOLVEDを出力）する傾向があるという特定の失敗モードを特定した。

意義と主張
本論文は、科学的エージェントの設計において、オーケストレーションと判定を別個のレイヤーとして扱うべきであると論じている。その主張は以下の通りである：

• LLMはオーケストレーションにおいて価値を加える（不確実性を減らすためにどの解析を実行するかを効率的に選択する）が、明示的で監査可能な決定ルールと比較した場合、最終的な生物学的判定においては価値を加えず（むしろ信頼性を低下させる可能性がある）。
• 階層型アーキテクチャ: 堅牢な科学的エージェントのアーキテクチャは、測定と最終判断には決定論的なシステムを、定型的なルーティングには軽量または制約のあるコントローラーを割り当て、LLMはより高次のオーケストレーションやオープンエンドな解析選択のために予約すべきである。
• 評価基準: エンドツーエンドの科学的自動化に関する主張は、個々のエージェントの能力（プランニング、検索、判定）を個別に評価した上で行われるべきである。エンドツーエンドの指標は、重要な決定レイヤーにおける失敗を隠蔽してしまう可能性がある。

著者は、本研究が単一の遺伝子ファミリーのエンドポイントと一つのLLM構成に焦点を当てたものであることを踏まえ、その範囲について謙虚な姿勢を維持している。LLMが生物学的解釈に普遍的に不適切であると主張しているのではなく、オーケストレーションにおける能力が判定における能力を意味するものではなく、これらの役割は独立して評価されなければならないという点を強調している。