NatureBench: Can Coding Agents Match the Published SOTA of Nature-Family Papers?
本論文は、Nature系の出版物から派生したベンチマークであるNatureBenchを紹介しており、現在のAIコーディングエージェントが、真の科学的発見のタスクにおいて既存のSOTA（最先端技術）を凌駕することに苦戦していることを明らかにしているが、それらは主に真の創造ではなく手法の翻訳を通じて成功しており、手法選択の誤りや計算予算の制限によって失敗している。
原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
想像してみてください。大規模で、非常に高いステークス（賭け金）がかかった料理コンテストを。審査員（研究者たち）は、世界で最も権威のある科学雑誌（Natureファミリーの学術誌）から集められた、90もの驚くほど複雑なレシピが詰まった料理本を持っています。これらは単なる「トーストの作り方」ではありません。「タンパク質構造の解体」や「新しい薬物分子がどのように振る舞うかの予測」といった、極めて緻密な料理です。
このコンテストの出場者は、AIコーディングエージェントです。これらは、コードを書き、問題を解決するために設計されたスマートなコンピュータプログラムです。
ここで、ひねりが加えられます。出場者は元のレシピを見てはいけません。彼らに与えられるのは、生の食材（データ）と、最終的な料理がどのような味であるべきかという説明（ゴール）だけです。彼らの仕事は、元の受賞作と同じ、あるいはそれ以上の素晴らしい料理を作り出すための独自のメソッドを編み出すことです。
これは、AIが単にレシピを「コピー」することから、新しいレシピを「発明」することへと移行できるかどうかをテストするために設計された、新しいテスト、NatureBenchの物語です。
問題点：「コピー＆ペースト」の罠
このテスト以前の多くのAIベンチマークは、学生に数学の問題とその解答を与え、その上で「解法を示せ」と求めているようなものでした。もし学生が解答をそのままコピーしただけであれば、合格となってしまいます。しかし、真の科学とはコピーすることではなく、発見することなのです。
作成者たちは、従来のテストには問題があることに気づきました。時として「キッチン」（コンピュータ環境）が壊れていたり、食材が足りなかったりして、AIが失敗した理由が「AIがバカだから」なのか、それとも「テストの設定が不備だったから」なのかを判別できないことがあったのです。
これを解決するために、彼らはNatureGymを構築しました。NatureGymは、高度に組織化され、自動化されたキッチン・クルーだと考えてください。
- フィルター： 彼らは数千の論文をスキャンし、公平で、すべての食材が揃っており、機械による採点が可能な90件のみを選び抜きました。
- ファイアウォール： 彼らはAIの周囲に「ガラスの壁」を築きました。AIは食材とゴールを見ることはできますが、元のシェフのメモや、勝利した料理に使われた秘伝のソースを見ることはできません。
- コンテナ： すべてのタスクは、個別の、完璧に封印された小さなキッチン（コンテナ）に入れられます。これにより、AIが外部のツールやインターネットを使ってズルをすることを防ぎます。
コンテスト：AIはどうだったのか？
彼らは、10の最も賢いAI「シェフ」（Claude Opus 4.7、GPT-5.5、Gemini 3.5など）を招き、これら90の料理に挑戦させました。ルールは厳格でした。**「ググること（Google検索）は禁止」**です。彼らはゼロからすべてを理解しなければなりませんでした。
結果は、非常に厳しいものでした：
- 「十分合格」クラブ： 最も優れたAIであっても、元の受賞レシピに匹敵するレベルに到達できたのは、わずか**48%**の時だけでした。
- 「オリジナルを超える」クラブ： AIが元のレシピよりも「より良い」料理を作り出せたのは、わずか**18%**のケースのみでした。
- 現実の突きつけ： 残りの82%のケースでは、AIは元のレシピよりも質の低い料理を作ったか、あるいは最後まで完成させることができませんでした。
なぜ成功（あるいは失敗）したのか？
研究者たちは、AIがどのように結果を出したのかを理解するために、AIシェフの動きを詳細に分析しました。
勝利の戦略：「翻訳のトリック」
AIが成功したとき、それは通常、画期的な新しい科学的発見をしたわけではありません。代わりに、**「手法の翻訳（Methodological Translation）」**と呼ばれるトリックを使用していました。
- 比喩： 元のレシピが複雑なフランス風スフレ（難しい科学的問題）だったとしましょう。AIはスフレを作ろうとはしませんでした。代わりに、食材を見て、「おや、これは私が知っているピザに似ているぞ！」と言ったのです。AIは、困難な科学的問題を、自分がこれまでに何百万回も見てきた単純で馴染みのある数学の問題へと変換したのです。
- 成功の**45%**は、AIが科学を標準的な「答えを推測するゲーム」へと変えたことによって起こりました。AIは新しい科学を発明したのではなく、単に古いテクニックを新しいデータに適用しただけでした。
敗北の戦略：「道具の間違いと時間の枯渇」
AIが失敗した理由は、指示を理解していなかったからではありません。
- 間違った道具 (45%)： AIは間違った「キッチングッズ」を選んでしまいました。ホイッパー（泡立て器）が必要な場面で、ブレンダーを使おうとしたのです。そのタイプの問題に対して、根本的に間違った手法を選択していました。
- 時間切れ／予算不足 (24%)： AIは調理を開始しましたが、料理を完成させるために必要な4時間の制限時間、あるいはコンピュータの計算資源（予算）が足りなくなりました。
- 誤解 (稀)： AIが「どのような料理を作るべきか」を理解できていなかったというケースは、極めて稀でした。
難易度
レシピによって難易度は異なりますでした。
- 簡単な料理： 「関係推論（点の接続）」や「タンパク質生物学」に関するタスクは、AIにとって最も容易でした。
- 難しい料理： 「物理モデリング（物理現象のシミュレーション）」や「分子設計」は、最も困難でした。
- 「フランケンシュタイン」的な料理： 最も難しかったのは、2つの異なる分野を混ぜ合わせたタスク（生物学と物理学の混合など）でした。AIは、異なる「料理ジャンル」の知識を組み合わせることに苦戦しました。
大きな教訓
NatureBenchは、AIコーディングエージェントが、指示に従ったりバグを修正したりすることには非常に長けているものの、まだ真の科学的発明家ではないということを教えてくれます。
彼らは、複雑な科学的問題を受け取って、「これに対する近道を知っているよ！」と言うことには非常に長けています。しかし、問題を見て、「これまでに誰も考えつかなかった全く新しいアイデアがある！」と言うことは、まだできていないのです。
論文は次のように結論づけています。AIが真に科学を助けるためには、単に「勝者の模倣」を求めるのではなく、どのように適切な道具を選び、単なるコーダーとしてではなく、科学者として考えるかを教える必要があるのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。