WorldCup Arena: Prospective, Leakage-Free Evaluation of Frontier LLMs on a Live Tournament

あなたは、まだ起きていない犯罪を解決しようとしている探偵だと想像してください。AIの世界では、私たちはしばしば、コンピュータに「2022年のワールドカップの勝者は誰か？」といった、すでに起こった出来事についての質問をして、その「賢さ」をテストしています。問題は、これらのプログラムが、実際に自分で考え出したのではなく、単にインターネット上の答えを暗記しているだけかもしれないということです。もし、ある「脳」が本当に賢いかどうかをテストしたいのであれば、まだ存在しない未来を予測させる必要があります。未来はググることはできません。これが「予測（フォアキャスティング）」という領域の最前線であり、そこでは、機械が未知の答えへと自らの推論によって辿り着けるのかどうかが試されるのです。

WORLDCUP ARENA と題されたこの論文は、そのアイデアを大規模なリアルタイムの実験へと発展させたものです。研究者たちは、過去に終わった試合の勝者を推測させる代わりに、2026年FIFAワールドカップというライブ・トーナメントを設定しました。彼らは、世界で最も高度な6つのAIモデルをスポーツアナリストとして招待しました。毎試合、キックオフが行われる前に、これらのAIはチーム、天候、審判、そして最新のニュースを分析し、7つの異なる予測（勝敗、総得点、正確なスコアなど）を行わなければなりませんでした。ここでのポイントは、試合はまだ行われていないということです。答えはどこにも存在しませんでした。つまり、AIはスコアにアクセスすることはできず、実際に「考える」必要があったのです。

研究者たちは、これらの超高性能コンピュータが、的中率を上回る成果を出せるのか、それとも単に大衆に従うだけなのかを知りたいと考えました。その結果、AIは印象的ではあったものの、魔法のような存在ではありませんでした。平均して、彼らは試合結果の約**63.9%**を的中させました。これは優れた数字に聞こえますが、ブックメーカー（賭け屋）が予想した勝者に盲目的に賭けた場合とほぼ同じです。実際、AIは非常に慎重であり、引き分けが頻繁に発生しているにもかかわらず、引き分けを予測することは滅多にありませんでした。また、彼らは何度も同じ退屈なスコア（2–1）を繰り返し予測し続けました。

最も驚くべき点は、これら6つの異なるAIモデルが、思考においてほぼ同一であったことです。彼らは**76%**の確率で互いに一致していました。もし彼らに勝者を投票させたとしても、「多数決」による結果は、単独の最高のAIよりも優れた結果をもたらしませんでした。現在の2026年における高度な「思考」モデルは、すべて同じプレイブック（定石）に従っていることが判明しました。彼らは大きな枠組み（どの国がトーナメント全体で優勝するかなど）を予測することには長けていますが、個別の、混沌とした細かな試合を予測することには苦戦するのです。この論文は、現在のところ、これらのAIシステムは互いに明確な違いはなく、人間による専門的な予測よりも、計算機を使った人間のエキスパートによる予測よりも、単に市場のパターンを模倣することに長けているだけであると結論付けています。

実験：精神のライブ・トーナメント

研究者たちは、「リークのない（情報の漏洩がない）」アリーナを構築しました。通常のテストでは、AIが学習データから答えを「リーク（漏洩）」させているのではないかと科学者は懸念しなければなりません。しかし、ここでは試合が2026年にリアルタイムで行われていたため、質問が投げかけられた時点では、答えは文字通り存在していなかったのです。セットアップは厳格でした。

• プレイヤー: 6つの最先端AIモデル（Claude, GPT, Gemini, Kimi, GLM, Seed）。
• ルール: 各モデルは、自身の「拡張思考（extended thinking）」モード（利用可能な最も深いレベルの推論）を使用し、独自のウェブ検索ツールを用いて最新のニュース、負傷者報告、オッズを読み込まなければなりませんでした。
• タスク: トーナメントの全104試合について、AIは「勝敗」「正確なスコア」「総得点」など7つのマーケットを含む「予測カード」を記入しなければなりませんでした。
• データ: AIには各チームの「ドシエ（詳細資料）」が与えられ、それは毎日更新され、トーナメント終了時には100万文字を超える膨大なファイルへと成長しました。

分かったこと： 「群れ」のメンタリティ

結果は、これらのAIがどのように考えているかを示す、明確で、少し滑稽な姿を描き出しました。

1. クリスタルボールではなく、大衆に従う
AIはブックメーカーを出し抜くことはできませんでした。彼らは単に、ブックメーカーが支持するチームに**85.6%から90.4%の割合で同調しただけでした。彼らの平均的中率は63.9%**であり、これは機械的に本命チームを支持した場合（64.4%）と統計的に差がありませんでした。彼らは新しい洞察を見出していたのではなく、市場を反映していたに過ぎませんでした。

2. 「引き分けへの盲目」
AIは引き分けの予測が苦手でした。トーナメントでは27試合が引き分けに終わりましたが、モデルが予測したのはわずか8から14件でした。彼らは引き分けを恐れるあまり、サッカーにおいて頻繁に起こる現象であるにもかかわらず、それをほとんど考慮しませんでした。

3. 「2–1」への執着
正確なスコアを予想する際、モデルはマンネリに陥りました。すべてのスコア予測の28.0%が、単一の結果である2–1に集中していました。彼らは膨大な種類の可能なスコアを無視し、一つの「典型的な」結果に予測を詰め込みました。

4. マクロの強さとミクロの弱さ
モデルは「マクロには強いが、ミクロには弱い」性質を持っていました。

• マクロ: 彼らはトーナメントの優勝国やグループリーグの順位を予測することには優れていました。
• ミクロ: しかし、接戦においては崩壊しました。実力が拮抗しているラウンド32では、的中率は**86.5%でした。しかし、ドシエの情報が最も豊富で、かつチームの実力が拮抗していた準決勝では、その的中率は8.3%**へと急落しました。情報をより多く知れば知るほど、接戦の勝者を当てる能力は低下したのです。

5. 「群れ」の効果
6つのモデルは、互いに**76.0%**の確率で一致していました。彼らは皆、非常に似た思考プロセスを持っていたため、彼らに投票させたとしても、精度向上には繋がりませんでした。「多数決」を用いても、精度に何も加わらなかったのです。彼らは皆、同じループに陥っていました。

リーダーボード：僅差のレース

最終スコアは極めて僅差であり、現在の世代のAIが明確に差別化されていないことを示しています。

• Claude が897ポイントで1位となりました。
• GLM が813ポイントで最下位となりました。
• 1位と最下位の差はわずか84ポイント（約10.3%）でした。

研究者が、勝者が真に優れているかどうかを確認するために「ブートストラップ・インターバル（再サンプリングによる信頼区間）」と呼ばれる統計テストを行ったところ、結果は不安定でした。Claudeが勝利したのはシミュレーションの再実行において**53.6%**のケースであり、トップモデル間の差はしば-しば誤差の範囲内でした。例えば、1位と2位の差は非常に小さく、もしトーナメントをもう一度行えば、順位が入れ替わる可能性がありました。

まとめ

この研究は、今日の最も高度なAIモデルが、情報を収集し推論するための強力なツールではあるものの、過去のパターンから脱却して真に未来を予測する術をまだ学んでいないことを示唆しています。彼らは既知の情報を要約することには長けていますが、答えがまだ存在しない真に不確実な出来事に直面すると、安全策をとり、大衆に従い、最も「平均的な」結果を推測する傾向があります。

論文は、現在のフロンティア・システム（最先端のシステム）は、互いに明確な違いを持っていないと結論付けています。彼らは皆、同じ強み（マクロな思考）と、同じ弱点（引き分けへの恐怖、平均的なスコアへの執着）を共有しています。AIによる「予見の魔法」とは、現時点では、非常に洗練されたバージョンの「ベッティング・オッズに従うこと」に過ぎないようです。