Autonomous Research Agents: A Survey of AI Scientists and the Verification Gap

科学者がコンピュータを単なる計算機としてではなく、考え、計画し、さらには最終報告書まで書くことができる「パートナー」として使う世界を想像してみてください。これは「自律型研究エージェント」の最前線です。これらは、新しいアイデアを出し、他者が書いたものを読み、実験を行い、データを分析し、論文を起草するという、科学の仕事のすべてを行うように設計されたAIシステムです。長い間、大きな疑問はシンプルでした。「これらのAIロボットは実際に仕事をやり遂げることができるのか？」というものです。しかし、これらのシステムが論文を量産する能力が向上するにつれ、問いは変化しました。今や、私たちはこう問わなければなりません。「彼らの言うことを信じられるのか？」

この問題を理解するために、数学のエッセイを書いている学生を思い浮かべてください。もしその学生が、答えが「42」であるという最終ページだけをあなたに手渡したとしたら、あなたは彼らの言葉を鵜呑みにするしかありません。しかし、もし彼が、すべての計算過程、使用した具体的な数値、そして踏んだ正確なステップが記されたノート一冊を丸ごと渡してきたら、あなたは彼らの計算が正しいかどうかを確認できます。AI科学の世界において、「ノート」とはコードとデータログのことです。ここで議論している論文は、これら多くのAI科学者たちを調査し、彼らが「ノート」を提出しているのか、それとも単に「最終的な答え」だけを提示しているのかを調べています。その結果、多くのシステムはエッセイを書き終えることには長けているものの、誰かが数学の計算を再確認できるような形で「プロセスを見せる」姿勢は極めて乏しいことが判明しました。

---

「プロセスを見せる」ことの欠如

この論文は、新しい世代の「AI科学者」に対する、大規模で詳細な監査のようなものです。著者らは、自律的に研究を行うと主張する24の異なるシステムを集め、それらが実際に公表している内容を精査しました。その結果、奇妙で懸يريすべきパターンが見つかりました。それは、**「コードは一般的だが、証明は稀である」**ということです。

すべてのパン屋が美味しそうなケーキ（コード）を渡してくれる場面を想像してください。あなたはケーキを見ることができ、それは本物に見えます。しかし、**83%**のパン屋がレシピ（コード）を渡してくれる一方で、**62%**のパン屋は、自分でそのケーキを焼くために必要な正確な開始数値やタイマーの設定、あるいはステップごとのログ（シード値や実行トレース）を渡すことを拒みます。それらの詳細がなければ、味を確認するために自分でケーキを焼くことはできません。論文によると、**83%のシステムがコードを公開していましたが、実験を完全に再現するために必要な特定の「シード（種）」や「トレース（実行過程）」を公開していたのはわずか38%**でした。それは、手品師がどのようにその手品を行ったかの手順書なしに、手品の写真だけを受け取っているようなものです。

「自己採点」の罠

論文はまた、これらのAIシステムがどのようにして自分自身のアイデアが良いかどうかを判断しているのかについても調査しました。健全な科学研究所では、科学者がアイデアを提案し、別の独立した人物がそれが真実かどうかを検証します。しかし、多くのこれらのAIシステムは、自分でテストを作成し、自分でそれに採点している学生のようなものです。

著者らは、これらの「クローズドループ（閉ループ）」システム（AIが最初から最後まで実験を実行するもの）の多くが、実際には**「機械的なループ」であることを発見しました。それらはテストを実行し、スコアを得て、もしスコアが十分に高ければ、「素晴らしい、私は何かを発見した！」と言います。しかし、その「スコア」は多くの場合、AI自身が計算した内部的な数値に過ぎず、現実世界に対する検証ではありません。完全に自律的（レベル4）であると主張する9つのシステムのうち、7つはこうした内部的な機械的ループを実行しているだけであり、1つは証拠を示すことなく、単に著者が「動作している」と言っているだけでした。グループ全体の中で、外部の物理的なチェック（例えば、ロボットが実際のラボで化学物質を混ぜるなど）によって真に検証されたシステムは、わずか1つ**だけであり、そのシステムは現在のAIブームが始まる前に構築されたものでした。

「新規性」という幻想

もう一つの大きな発見は「新しさ」についてです。科学とは、誰も知らなかったことを発見することです。論文は、これらのAIシステムが自分のアイデアが本当に新しいものであるかどうかをどのように確認しているかを調べました。その結果、アイデアが実際に斬新であることを検証する方法を持っているシステムは、わずか**3ers%**であったことがわかりました。

これは、自分の物語が全く新しいプロットだと主張する作家のようなものです。もしその作家が、誰か他の人がすでにその物語を書いていないか図書館をチェックしていなければ、意図せず古い本をコピーしている可能性があります。論文は、多くのAIシステムは、AIにとって「新しく見える」アイデアを生成しているだけであり、実際には誰も図書館の棚をチェックしていないため、世界にとって新しいものとは限らない可能性があることを示唆しています。

「ブラックボックス」化された信頼

著者らは、私たちは現在「検証のギャップ」の中にいると主張しています。私たちは、論文を書いたりコードを実行したりできるAIシステムを持っていますが、それらの論文が真実であるかどうかを検証するためのツールを持っていません。彼らは次のように指摘しています。

• **コードの公開率は高い（83%）**が、再現性は低い（38%）。
• 新規性のチェックは稀である（38%）。
• 新しいAIシステムにおいて、外部による検証はほとんど存在しない。

この論文は、これらのAI科学者が役に立たないと言っているわけではありません。彼らは、非常に速く、非常に自信に満ちた書き手ではあるものの、適切な日記をつける方法をまだ学んでいない書き手のようなものだと言っています。彼らが完全なノート（シード、トレース、および独立したチェック）を提出し始めるまで、私たちは彼らの「発見」が真実なのか、それそれとも非常に説得力のある幻覚（ハルシネーション）に過ぎないのかを確信することができません。

テイクアウェイ：未来へのチェックリスト

論文は最後に、これらのAI科学者をレビューする際の人々のための「報告チェックリスト」を提示して締めくくっています。これは、AIが単に「やった」と言うだけでなく、それを「証明」するようにするためのルールです。ルールには以下が含まれます。

• シードを示す： 他の人が実験を再現できるように、正確な開始数値を提示すること。
• 選択ポリシーを示す： 何度も試行した中から、どのように「最良」の結果を選んだのかを説明すること。
• 新しさを証明する： そのアイデアがすでに既知のものではないことを、どのように確認したかを示すこと。
• 外部の判定を受ける： AIに自分の宿題を採点させるのではなく、独立したチェッカーを使用すること。

要約すると、この論文は、AIは科学を「行う」ことには長けてきていますが、「証明する」ことについては依然として未熟であることを示唆しています。次の大きなステップは、より賢いAIを作ることではなく、彼らの仕事をチェックするためのより優れた方法を構築することです。それまでは、彼らが「プロセスを見せる」まで、私たちはAIが生成した論文に対して健全な懐疑心を持って接べきです。