あなたは、パズルを解くために訓練された超スマートなロボットのチームを指導するコーチだと想像してください。誰が一番優秀かを見るために、あなたはテストを実施します。最初は、スコアはバラバラです。40%を取るロボットもいれば、80%を取るもの、そして95%に達する天才的なものもいます。これは素晴らしいことです！誰が勝っていて、誰がもっと練習を必要としているのかが明確に分かります。しかし、しばらくすると、奇妙なことが起こります。すべてのロボットが99%や100%を叩き出すようになるのです。スコアは動かなくなります。「優れた」ロボットと「偉大な」ロボットの差が消えてしまうのです。テストが、違いを見分けるには簡単になりすぎてしまったのです。AIの世界では、これを「サチュレーション（飽和）」と呼びます。これは、ビデオゲームのレベルのようなものです。プレイヤーが何度もクリアしすぎてしまったため、開発者がより難しいレベルを考案しなければならなくなるか、さもなくばリーダーボード（順位表）が使い物にならなくなる状態のことです。

「When AI Benchmarks Plateau（AIベンチマークの停滞）」と題されたこの論文は、まさにこの問題について深く掘り下げています。研究者たちは、AI言語モデルの賢さを測るために使われている60種類の異なるテストを調査しました。彼らは、なぜ一部のテストはすぐに機能しなくなる一方で、他のテストは何年も有用であり続けるのかを知ろうとしました。彼らは、スコアがどれほど平坦化してしまったかを正確に測定するために、特別な「サチュレーション・メーター（飽和計）」を構築しました。彼らの大きな発見は、古くて最も多く使われてきたテストこそが、最初に壊れてしまうというものでした。単に答えを隠すこと（テストを「非公開」にすること）や、選択肢形式にすることは、テストが使い物にならなくなるのを防ぐ解決策にはならないことが判明しました。テストを新鮮に保つ真のヒーローは、膨大な数の問題を持つこと、そして専門家が難解なテストを注意深く設計することでした。もしテストが古く、規模が小さいならば、優れたAIとそれ以外のAIを区別できなくなる天井に突き当たることはほぼ避けられません。

止まったスコアボードの物語

AIベンチマークの世界を、巨大でハイステークスなスポーツリーグだと想像してみましょう。毎年、新しいチーム（AIモデル）がリーグに加わり、自分たちが最高であることを証明しなければなりません。そのために、彼らは一連のレース（ベンチマーク）を行います。短距離走のようなレースもあれば、マラソンのようなレース、あるいは障害物競走のようなレースもあります。

長い間、これらのレースは完璧に機能していました。新しい、より速いランナーが現れると、彼らは古い記録を塗り替え、誰もが歓声を上げました。しかしその後、リーグは奇妙な傾向に気づき始めました。ランナーたちは皆速くなっていましたが、ゴールラインが混雑してきたのです。やがて、トップ5のランナーたちは、ミリ秒単位でほぼ同時にゴールラインを駆け抜けるようになりました。スコアボードは止まってしまいました。レースが短すぎたか、あるいはタイミングの精度が曖昧すぎたために、誰が本当に速いのかを判別できなくなったのです。

これが、この論文の著者たちが解決しようとした問題です。彼らはこう問いかけました。「なぜこれらのレースは機能しなくなるのか？それはランナーが上手くなりすぎたからなのか、それともレーストラックの設計が悪かったからなのか？」

大規模な調査：顕微鏡の下の60のレース

研究者たちは単に推測したわけではありません。彼らは大規模な探偵任務に乗り出しました。彼らは、最大のAI企業や研究者によって使われている「レース」である、60種類の異なるAIベンチマークからデータを収集しました。彼らは、レースがいかに古いか、いくつの質問があるか、答えが公開されているか秘密か、そして誰が質問を書いたのか（人間かコンピュータか）など、あらゆる要素を調べました。

スコアボードの「止まり具合」を測定するために、彼らは**サチュレーション・インデックス（飽和指数）**と呼ばれる巧妙なツールを考案しました。これは「ノイズ検出器」のようなものだと考えてください。

• トップランナーたちの差が、「ノイズ」（タイミングにおけるランダムな誤差）と比較して非常に大きい場合、指数は低くなり、レースはまだ公平です。
• トップランナーたちの差が、ノイズよりも小さくなった場合、指数は上昇します。レースは「飽和」しています。それは、ハリケーンの中でささやき声を聞こうとするようなものです。風がうるさすぎて、誰が話しているのか判別できません。

彼らは、調査した60のレースのうち、ほぼ半分がすでに飽和していることを発見しました。中には、トップモデル同士が事実上区別がつかないほど飽和しているものもありました。

彼らが打ち破った神話

この研究の前、人々はレースを長く公平に保つ方法について、いくつかの考えを持っていました。研究者たちはこれらのアイデアを検証しましたが、そのいくつかは間違っていることが分かりました。

神話1：「答えを隠せば、レースはより長く公平に保たれる」
多くの人は、テストの質問を秘密（「非公開」のテストセット）にすれば、ロボットは答えを暗記できないと考えていました。研究者たちは、公開テストと非公開テストを比較することで、これを検証しました。

• 結果： それは関係ありませんでした。非公開テストも公開テストと同じ速さで「止まって」しまいました。一度テストが有名になると、たとえ答えが秘密であっても、AIモデルはその質問の「スタイル」をあまりにも完璧に学習してしまうため、全員が同じ高いスコアを出してしまうのです。テストを隠すことは、霧の中にゴールラインを隠すようなものです。結局、誰もがそこがどこにあるかを見つけ出してしまいます。

神話2：「選択肢形式の質問が問題である」
AIに単にA、B、C、Dを選ぶのではなく、長い自由記述の回答を書かせれば、テストは長持ちするという考えもありました。

• 結果： いえ、違います。研究によると、選択肢形式のテストも、自由記述の文章によるテストも、ほぼ同じ割合で飽和することが分かりました。回答の形式は、テストを救うことはできませんでした。

神話3：「英語のみのテストは、多言語のテストよりも早く壊れる」
ほとんどのAIは主に英語で訓練されているため、英語だけのテストは簡単になりやすい、という論理的な推測がありました。

• 結果： 英語のテストの方が早く壊れているように見えましたが、研究者たちはこれが「時間のトリック」であることに気づきました。英語のテストは単に古いだけだったのです。多言語のテストは新しいものであるため、まだ十分に実行されておらず、飽和していなかっただけなのです。同じ年齢のテストを比較した場合、言語は予想ほど重要ではありませんでした。

真の犯人：年齢と規模

では、答えを隠したり形式を変えたりしても効果がないのであれば、実際に何がテストを壊す原因となるのでしょうか？研究者は2つの主要な悪役を発見しました。

1. 年齢（時間）： これが最大の要因でした。テストが古いほど、飽和している可能性が高くなります。これは、人気の曲のようなものです。初めて聴いたときは新鮮ですが、千回聴けば、すべての音符を知ることになります。AIモデルも同じです。年月を経てテストが使われ続けるほど、モデルはその特定のタイプのパズルに対して、暗記するのではなく、単に「エキスパート」になることで、そのテストを「攻略」することを学習します。研究では、60ヶ月より古いテストは、新しいテストよりも飽和する可能性がはるかに高いことが示されました。

2. 規模（質問の数）： これが2番目に大きな要因でした。質問が非常に少ないテスト（小さなテストセット）は、はるかに早く飽和しました。例えば、ハードルが3つしかないレースを想像してください。もし1つでつまずいたら、それは大きな影響を与えます。しかし、ハードルが100個あれば、1回のつまずきは勝者に影響しません。小さなテストは「ノイズ」が多いのです。AIがいくつかの質問で運良く正解すれば、スコアが跳ね上がり、まるで天才のように見えます。しかし、数千の質問を持つ巨大なテストであれば、運は関係なくなります。研究では、より多くの質問を持つテストは、最も賢いモデル間の微細な違いを捉えることができるため、より長く公平かつ有用であり続けることが分かりました。

良いニュース：より良いレースの作り方

この論文は単に「すべてが壊れている」と言っているわけではありません。長く続くテストを作るためのレシピを提示しています。

• テストを巨大にする： テストを長く有用にしたいのであれば、AIに数十問ではなく、数千問の質問を与えてください。これにより「ノイズ」が減り、真の違いを見極めることができます。
• 新鮮さを保つ： 同じ質問を永遠に使い続けてはいけません。最高のテストとは、変化し続け、新しい質問を追加し、あるいはAIを欺く方法を知っている専門家によって設計されたものです。
• 秘密に頼らない： テストを隠すことは魔法の盾ではありません。たとえAIがルールを知っていたとしても、勝つためには努力が必要なレベルまで、テストを高度に設計する必要があります。

結論

著者たちは、高いスコアを出すことが常に悪いことではない、と慎重に述べています。もしテストが単純なものを測るように設計されており、すべてのAIが100%を取るのであれば、それは素晴らしいことです！それは問題が解決されたことを意味します。しかし問題は、テストが「良いAI」と「偉大なAI」の違いを示すべきであるにもかかわらず、テストが古すぎるか小さすぎるために、それができなくなった時に発生します。

この研究は、これらのテストを「永久的なトロフィー」として扱うのではなく、「生き物」として扱う必要があることを示唆しています。私たちの作っている超スマートなロボットに追いつくためには、テストは成長し、変化し、そして大きくなっていかなければなりません。そうでなければ、私たちのリーダーボードはただの平坦な線となり、誰が本当に最強なのかを知る術がなくなってしまうのです。