高度に知的な、超高速のロボット（大規模言語モデル、LLM）のグループを想像してみてください。彼らはプログラミングコードを書くように訓練された、優秀な見習いです。彼らは世界中のほぼすべての料理本を読み終えた熟練の料理人のようなもので、あなたが欲しい料理（コードの断片）を説明するだけで、すぐに一皿（コード）を作り上げることができます。

ドイツの研究者たちは、これらのロボットが本当にどれほど優れているのかを確認するために、一連の厳格な「料理コンテスト（ベンチマーク）」に彼らを参加させることにしました。単に誰が最も多くのメダルを獲得したかを見るのではなく、なぜこれらのロボットが、エキスパートであるはずなのに、特定の料理を何度も焦がしてしまうのか、その「理由」を突き止めたいと考えたのです。

研究結果は、以下のように分かりやすくまとめられています。

1. セットアップ：料理コンテスト

研究者たちは、これらのロボットをテストするために使われる4つの有名な「料理競技会（ベンチマーク）」を選びました。

• HumanEval & MBPP: これらは基本的なレシピテストです。「ケーキを作って」「玉ねぎを切って」といったものです。短くてシンプルです。
• LiveCodeBench & BigCodeBench (Hard): これらはハイレベルな調理チャレンジです。「見たこともない食材を使い、キッチンが火の海である中で、ゲストのアレルギーに適応した10コースのフルコースを作れ」といった内容です。これらは非常に難易度が高いものです。

彼らは6つの異なる「シェフ（AIモデル）」を、数百のタスクでテストしました。

2. 第1の問い：単にレシピが難しすぎるからなのか？

研究者たちはこう疑問に思いました。「ロボットが失敗するのは、料理が複雑すぎるからではないか？」

これを検証するために、彼らは正解のレシピ（解決コード）の「複雑さ」を測定しました。具体的には、以下の要素を調べました。

• レシピに何ステップあるか？（コードの長さ）
• 何回意思決定を行う必要があるか？（循環的複雑度）
• ネスト（入れ子）構造の指示がどれほど深いか？（ネストの深さ）

驚きの事実:
簡単なコンテスト（HumanEvalとMBPP）では、レシピの難易度はあまり重要ではありませんでした。ロボットは、簡単なタスクであっても、難しいタスクと同様に失敗していました。それは数学が難しかったからではなく、他に何か問題が起きていたのです。

しかし、最も難しいコンテスト（LiveCodeBench）では、関連性が見られました。レシピが複雑になればなるほど、ロボットがミスをする可能性が高くなるのです。しかし、そこでも複雑さだけがすべてではありませんでした。

3. 第2の問い：なぜ実際に失敗するのか？

研究者たちは、すべてのロボットが失敗した特定の114のタスクを詳しく調査しました。その結果、ロボットたちが共通して持つ4つの「悪い癖」を見つけ出しました。

• 「メニューの間違い」（問題のマッピングミス）:
  お客様が「スパイシーなスープ」を頼んだのに、ロボットがそれを「スパイシーなシチュー」と聞き間違えて、シチューを作り始めてしまうようなものです。ロボットは、タスクが自分がよく知っているカテゴリーに属していると思い込み、細かな詳細を無視してしまいます。

  • 例: タスクは特定の種類のブラケット（括弧）列を求めていましたが、ロボットは記憶している標準的な「バランスの取れたブラケット」のレシピを使用してしまい、ユニークなひねりを見落としました。

• 「生焼け」のレシピ（アルゴリズムの欠陥）:
  ロボットは全体的な概念は理解していますが、重要なステップを一つ忘れています。それは、ケーキを焼く必要があることは知っているのに、オーブンの予熱を忘れてしまうようなものです。

  • 例: ロボットは売上トレンドを予測しようとしましたが、売上が減少する場合のシナリオへの対処を忘れてしまいました。

• 「エッジケース」への盲目:
  ロボットは通常の状況には強いですが、珍しい、あるいは特殊な状況にはめっぽう弱いです。それは、晴天の高速道路では完璧に運転できるけれど、雨が降り出したりリスが道路を横切ったりした瞬間にクラッシュしてしまうドライバーのようなものです。

  • 例: ロボットはメインフォルダ内のファイルを整理することはできましたが、サブフォルダの中まで見ることを完全に忘れていました。

• 「偏食」の間違い（フォーマット）:
  ロボットは完璧な料理を作りましたが、審査員は「料理が白い皿ではなく青い皿に乗っていた」という理由で却下しました。論理は合っていましたが、出力の形式がわずかに違っていたのです。

  • 例: タスクは数字を言葉として（例：「23」）出すよう求めていましたが、ロボットは単に数字（23）を出力しました。

4. 逆転劇：時には「単純な」ロボットが勝つ

ここが最も興味深い部分です。研究者たちは、「賢い」ロボット（Claude Sonnet-4など）が、逆に「単純な」ロボット（Llama-3.3-70B）が解けたタスクで失敗することに気づきました。

なぜか？
賢いロボットは、タスクに対して**考えすぎてしまった（オーバーシンキング）**のです。彼らは現実世界では合理的であろうとして、勝手に「前提条件」を付け加え、それが厳格なテストのルールを壊してしまったのです。

• 比喩: もしテストが「すべてのIPアドレスをリストアップせよ」と言った場合、賢いロボットは「ああ、標準的な慣習に従って、ネットワークアドレスはスキップしておくべきだ」と考えてしまいます。その結果、間違いとなります。一方で、単純なロボットは指示通りに「すべてのIPアドレスをリストアップせよ」と文字通りに実行し、正解したのです。

5. テスト自体の問題

研究者たちは、時として「料理コンテスト」自体に欠陥があることも発見しました。

• 曖昧なプロンプト: 指示があまりに不明瞭で、ロボットが審査員の意図を推測しなければならないケースがありました。
• 隠されたルール: テスト側が、書かれていない特定の詳細をロボットが察することを期待している場合がありました。ロボットが正しく推測できれば合格でしたが、間違えば不合格となりました。これはロボットの脳の失敗ではなく、テスト設計の失敗でした。

まとめ

この論文は、AIコード生成器が驚異的である一方で、完璧ではないことを教えてくれます。彼らは単にタスクが難しいから失敗するのではありません。以下の理由で失敗します。

1. 過去に見た経験に基づいた「思い込み」をしてしまう。
2. 珍しい、特殊なシナリオを見落としてしまう。
3. 細かなフォーマットの詳細に足元をすくわれる。
4. 時には賢すぎて、指示通りに動くべきところで「最適化」をしすぎてしまう。

研究者たちは、この分析がより優れたロボットと、より優れたテストを構築する助けとなることを期待しています。そうすることで、スープを焦がすのをやめ、完璧な料理を提供できるようになることを目指しています。