BioSecBench-Surveillance: A Verifiable Benchmark for AI Agents in Pathogen Genomic Surveillance
本論文は、最も高度な現在のAIエージェントであっても、多様なタスクにおいてわずか50%程度の精度しか達成できず、病原体監視のためのゲノム解析パイプラインを確実に推論することに苦慮していることを示す、検証可能なベンチマークであるBioSecBench-Surveillanceを導入するものである。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
公衆衛生の世界を、大規模で極めて重要な任務を負った探偵事務所だと想像してみてください。彼らの仕事は、パンデミックのような世界的なパーティーの乱入を防ぐために、目に見えない悪党――ウイルス、細菌、その他の病原体――を事前に察知することです。これを行うために、科学者たちは「ゲノム・サーベイランス」という超強力な顕微鏡を使用します。単にレンズ越しに微生物を見るのではなく、その設計図（DNAまたはRNA）全体を読み解くことで、それが一体何であり、どこから来たのか、そしてどれほど危険な可能性があるのかを正確に突き止めるのです。
長い間、困難だったのは、こうした設計図を十分に手に入れること自体でした。しかし現在、機械の性能が向上したことで、私たちは膨大なデータに溺れています。真のボトルネックは、「手がかりを見つけること」から、「謎を解くこと」へとシフトしました。ここでAIエージェントが登場します。彼らは、超スマートで疲れを知らない「新人刑事」のような存在です。彼らは数百万ページもの情報を数秒で読み取ることができます。しかし、ここで大きな疑問が生じます。果たしてAI刑事は本当に事件を解決できるのでしょうか、それとも単に図書館の中で迷子になるだけなのでしょうか？ 彼らは、人間の専門家と同じように、乱雑に積み上げられた遺伝的な手がかりの山を見て、「よし、この答えを見つけるためには、この特定のツールを、この特定の設定で使う必要がある」と判断できるのでしょうか？
この論文「BioSecBench-Surveillance」は、これらAI刑事たちに対する、非常に厳格で大規模な「最終試験」のようなものです。研究者たちは、100通りの異なるシナリオを含む「検証可能なベンチマーク（標準化されたテスト）」を作成しました。そこでは、AIエージェントに生の遺伝子データと、特定のサーベイランスの文脈（例えば「これは都市の下水である」や「これは病院からのサンプルである」など）が与えられます。AIは、答えを与えられることなく、ゼロから適切な解析パイプライン（どのデータベースをチェックし、どのフィルターを適用し、どの閾値を設定すべきか）を導き出さなければなりません。
この試験の結果は、一種の現実を突きつけるものでした。テストされた16種類のAIモデルとソフトウェアツールの組み合わせのうち、最も優れたものでさえ、正解率はわずか50.2%でした。つまり、最も賢いAIエージェントであっても、半分は失敗したということです。トップの成績を収めたのは、Opus 4.8というモデルとPIというツールの組み合わせ、そしてGPT-5.5とCodexの組み合わせで、共に50.2%を記録しました。これに僅差で続いたのは、Opus 4.7（49.6%）とSonnet 4.6（48.6%）でした。一方で、最も成績が悪かった構成（一部のGrokのバージョンなど）は、タスクの**14%から16%**程度しか正解できませんでした。
論文によると、AIエージェントが失敗する主な理由は、どのツールを使うべきかを知らなかったからではありませんでした。実際、彼らはほぼ常に、正しい「探偵道具」（DNAを読み取るための正しいソフトウェアなど）を選択していました。彼らのミスは「細かい記述」の部分にありました。彼らは誤った参照文献を選んだり、感度の閾値を誤って設定したり、あるいはデータの正規化における計算を間違えたりしていたのです。それはまるで、指紋スキャナーが必要だと分かっていながら、感度を高く設定しすぎて指紋を見逃したり、逆に低く設定しすぎて汚れを一致と判定してしまう刑事のようなものです。
テストの難易度は、ケースの種類によって大きく異なりました。AIにとって最も容易だったタスクは、ソース・トラッキング（サンプルの由来特定）と分類学的分類（生物の名前特定）であり、それぞれ約50%と46%の正解率でした。しかし、AIは異常検知（奇妙で予期せぬ信号の察知）において苦戦し、正解率はわずか20%でした。また、遺伝子工学的な特性評価（ウイルスが人工的に改変されているかどうかの検出）についても苦戦し、スコアは35%にとどまりました。興味深いことに、サンプルの種類（下水か臨床サンプルかなど）よりも、DNAを読み取るために使用された「技術」の方が、AIへの影響が大きかったようです。ロングリード・シーケンシング・データは、ショートリード・データ（正解率41%）と比較して、AIにとって非常に扱うのが困難でした（正解率26%）。
また、研究者たちは一部のAIモデルが「内気すぎる」ことにも気づきました。特定のモデルは、**27%から31%**の割合で、回答できないとして質問への回答を拒否しましたが、他のモデルはほとんど拒否しませんでした。この「拒否率」は、モデルが実行しているソフトウェアの「ハーネス（枠組み）」によって大きく変動しました。
最終的に、この論文は、AIエージェントは向上しているものの、病原体サーベイランスにおいて唯一の意思決定者として信頼するには、まだ信頼性に欠けるという結論を下しています。彼らは解析を実行することはできますが、その「実行方法」についての微妙な判断において間違いを犯すことが多いのです。AIが、どのリファレンスを信頼すべきか、あるいはどの閾値を設定すべきかといった、こうした微細な選択を確実に判断できるようになるまでは、次なるアウトブレイクを防ぐためにAIに全面的に頼ることはできないと著者らは示唆しています。今のところ、事件の最終的な決定権を握っているのは、依然として人間の専門家なのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。