DRNOISE: Benchmarking Deep Research Agents in Misleading Evidence Environments
本論文は、ディープリサーチエージェントが、オープンウェブ環境におけるもっともらしい誤解を招く文書に直面した際に大幅な精度低下に陥ることを示すベンチマークであるDRNOISEを導入しており、その主な原因は、エージェントが裏付けとなる証拠と積極的に照合するのではなく、直接的な虚偽の主張に早々に屈してしまう「検証慣性（verification inertia）」と呼ばれる失敗モードにある。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
あなたは謎を解こうとしている探偵だと想像してください。人工知能の世界には、「ディープ・リサーチ・エージェント」と呼ばれる特別なプログラムがあります。それは、何千もの文書を読み、インターネットを検索し、手がかりを組み合わせて複雑な問いに答えることができる、超強力なインターンだと考えてください。彼らの仕事は、単に答えが書かれた一文を見つけることではありません。乱雑な記録の山を掘り下げ、事実を照らし合わせ、結論を出す前に確かなケースを構築することなのです。
しかし、ここには厄介な問題があります。インターネットは騒がしい場所です。そこには役立つ事実もあれば、時代遅れのレポート、混乱を招く要約、そして、非常にプロフェッショナルに見えるものの、完全に間違っている文書も存在します。研究者たちが抱いている大きな疑問は、これです。AIの探偵たちが、完璧な答えに見える文書を見つけたとき、彼らはそれをすぐに信じてしまうのでしょうか？ それとも、その下にある乱雑で読みづらい証拠と照らし合わせて、再確認のために立ち止まるのでしょうか？ もし彼らが、光沢があって読みやすい「嘘」をあまりにも早く信じてしまったら、自信満々ではあるものの、完全に間違った答えを提示することになるでしょう。これが「誤導的な証拠（misleading evidence）」の危険性であり、金融や法律といった現実世界の仕事において、AIを信頼できるものにするための大きな障壁となっています。
そこで、AIの探偵たちがどれほど賢いかを試す罠として機能する、DRNOISEという新しい研究が登場しました。研究者たちは、100種類の異なるパズルを用いたゲームを作成しました。「クリーン」バージョンのゲームでは、AIは2つの別々の手がかりの連鎖をつなぎ合わせることで、正しい答えを見つけ出さなければなりません。それは、海賊の日記にある地図と、船長の航海日誌を照らし合わせて宝を見つけるようなものです。どちらの文書にも「ここに印がある」とは直接書かれていませんが、それらを組み合わせたときに、答えが明らかになります。AIは点と点を結ぶという、難しい作業を行う必要があります。
次に、研究者たちは「ノイズ」バージョンを導入しました。彼らは全く同じパズルと全く同じ手がかりを用いましたが、そこに一枚の文書を紛れ込ませました。その文書は「偽の要約」であり、普通のビジネスレポートのように見えましたが、完全に間違った答えを堂々と主張していました。それは、デジタル版の「間違った方向を指し示す標識」であり、大きな太字で「お宝はここだ！」と書かれているようなものです。
結果は衝撃的でした。AIエージェントが「クリーン」なパズルに直面したとき、最も賢いものたちはほとんどすべて正解しました（一部は96%を超えるスコアを出しました）。しかし、その一つの偽の誤導的な文書が加えられた途端、彼らのパフォーマンスは崩壊しました。最高の性能を誇るエージェントでさえ、精度が最大88パーセントポイントも低下したのです。以前はほぼ完璧に近かった最もスマートなモデルでさえ、突然、ほぼすべての問いに間違った答えを出し、精度が1%まで落ち込むこともありました。
研究者たちは、なぜこのようなことが起きたのかを探るために、AIの「思考プロセス」を掘り下げました。彼らは、AIが真実を見つけられなかったために失敗したのではないことを突き止めました。実際、AIはしばしば、本物の手がかりと偽の文書の両方を同時に見つけていました。問題は、AIが早すぎる段階で探索を止めてしまったことでした。AIは直接的な答えが書かれた偽の文書を見つけると、「おや、これは簡単で説得力がありそうだ」と考え、探索をやめてしまったのです。彼らは「検証の慣性（verification inertia）」に陥っていました。それは、容疑者がいかにも怪しく見えるのを見て、アリバイや指紋を確認する前に、すぐに逮捕してしまう探偵のようなものです。
研究は、単に「注意深くして、自分の仕事をチェックしてください」と指示することで、AIを修正できるかどうかについてもテストしました。これは多少の効果はありましたが、問題を解決することはありませんでした。AIは依然として、乱雑で読みづらい真実よりも、光沢があって直接的な嘘を信頼する傾向がありました。たとえ研究者が、偽の文書を（公式なレポートではなく）ランダムなフォーラムの投稿のように、見た目を格下げにしたとしても、AIはほとんどの場合、それに騙されました。
最も啓示的なテストは、研究者がAIに対して、検索させることなく、すべての手がかりを一度に与えたときに行われました。AIが全容――本物の手がかりと偽の嘘を並べて――を見たとき、彼らは通常、正しい答えを導き出すことができました。これは、AIがパズルを解く能力を持っていることを証明しました。ただ、魅力的なショートカットを見つけた後に、探し続ける規律が欠けていただけなのです。
要するに、この論文は、最もスマートなAIリサーチ・エージェントでさえ、盲点を持っていることを示唆しています。彼らは情報を探すことには長けていますが、それを検証することに関しては、驚くほど怠慢なのです。もし文書が直接的な答えのように見えるなら、たとえすぐ隣にある証拠がそれを否定していたとしても、彼らは思考を停止し、それをコピーしてしまう傾向があります。著者たちは、AIが乱雑な現実世界で真に信頼されるためには、単に答えを見つける方法だけでなく、簡単な「間違い」の誘惑に抗う方法を教える必要があると結論付けています。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。