新しい車のテストが、単に完璧に舗装された、誰もいない高速道路を晴天の下で走るだけではない世界を想像してみてください。代わりに、道が変化し、燃料が不足し、他のドライバーがあなたに衝突しようと積極的に仕掛けてくるような、混沌とした、ハイリスクな障害物コースに車を放り込むのです。

これこそが、この論文「Evaluating from Benign to Dynamic Adversarial: A Squid Game for Large Language Models」が提案している内容です。著者であるZijian Chen、Wenjun Zhang、Guangtao Zhaiは、現在のAIテストのあり方に疑問を投げかけています。彼らは、今日のテストは簡単すぎ、静的すぎ、そしてAIが学習データから答えをすでに暗記してしまっているために、しばしば「カンニング」が行われていると主張しています。

これを解決するために、彼らは、人気のあるテレビ番組にインスパイアされた、ダイナミックな脱落形式のトーナメントである**SQUID GAME（スクイッドゲーム）**を構築しました。すべてのモデルに100点満点のスコアを与えるのではなく、弱い者が脱落し、最も賢く適応力の高い者だけが生き残る「バトルロイヤル」にモデルをぶつけるのです。

以下に、この「ゲーム」の仕組みを、シンプルな概念に分解して説明します。

ゲームの3つの大きなルール

著者らは、標準的なテストとは異なる3つの核となるアイデアを中心にゲームを設計しました。

1. スコアではなく、生存（Survival, Not Just Scores）: 通常のテストでは、AIは正解した質問の数に基づいてスコアを獲得します。しかし、SQUID GAMEでは、生存が重要です。ミスをすれば脱落です。他のAIと対戦しているため、進行するにつれて難易度は上がっていきます。
2. 燃料切れ（Resource Constraints）: パズルを解こうとしているのに、「解決策を説明するのに100単語以内にするように」と言われる状況を想像してください。言葉を使いすぎると、負けとなります。このゲームは、モデルに対して効率性を強制します。喋りすぎたり、多くの「トークン」（AI言語の構成要素）を使用したりすると、脱落となります。
3. 戦場の霧（The Fog of War / Information Asymmetry）: 通常のテストでは、AIは必要な情報をすぐにすべて受け取ります。しかし、このゲームでは、AIはすべてを知ることなく意思決定をしなければならないことがよくあります。それは、相手の駒が見えるまでチェスができないような状態です。これは、AIがプレッシャーの下で戦略的に思考できるかをテストします。

トーナメントの6つのレベル

ゲームは、AIの異なる「筋肉」をテストする6つのレベルで構成されています。

• レベル1：レッドライト・グリーンライト（「ストップ・アンド・ゴー」テスト）

  • ゲーム内容: AIは長い物語を書かなければなりません。しかし、突然「レッドライト」が点滅し、即座に執筆を停止して秘密のコードを出力しなければなりません。もし書き続けたり、コードを間違えたりすれば、脱落です。
  • 何をテストするか: AIは、パニックに陥ることなく、厳格な指示に従い、瞬時に切り替えることができるか？
  • 結果: 多くのモデルが、指示されたときに話を止めることができず、ここで失敗しました。

• レベル2：シュガークイック（「繊細な手術」テスト）

  • ゲーム内容: AIは、乱雑で混乱したコンピュータコード（割れそうな蜂の巣のハチミツのようなもの）を与えられ、その機能を壊すことなく整理しなければなりません。
  • 何をテストするか: AIは、複雑なシステムの精密で繊細な変更を行うことができるか？
  • 結果: 一部のモデルは「おしゃべり」すぎて、不必要なコメントを追加してしまい、厳格なルールに抵触して失敗しました。

• レベル3：綱引き（「チーム討論」テスト）

  • ゲーム内容: 3つのAIが1つのチームを組み、別の3つのAIチームに対して討論を行います。ただし、キャッチがあります。チームには「単語の予算」が制限されています。もし単語を使い果たせば、負けとなります。
  • 何をテストするか: AIは、限られたリソースを管理しながら、協力して効果的に議論できるか？
  • 結果: 「軽量」なモデル（より小さく高速なAI）を持つチームが、冗長で巨大なモデルよりも言葉の使用量が少なかったため、しばしば勝利しました。

• レベル4：ビー玉（「マインドゲーム」テスト）

  • ゲーム内容: 2つのAIが、一方が質問し、もう一方が答えるゲームを行います。もし答えが間違っていれば、質問者が「チップ（ポイント）」を奪います。目標は、相手のAIを騙して間違った答えを引き出すことです。
  • 何をテストするか: AIは、相手のAIが知らないことを見抜き、その弱点を突くことができるか？
  • 結果: ほとんどのAIは、攻撃よりも防御に長けていました。トップモデルを出し抜けるような質問を生み出すことに苦戦しました。

• レベル5：ガラスの階段（「命がけの跳躍」テスト）

  • ゲーム内容: AIはガラスパネルで作られた橋を渡らなければなりません。安全なパネルもあれば、割れるパネルもあります。最初のAIは推測しなければなりません。2番目のAIは、最初のAIがどこで落ちたかを見て、判断できます。そして、次へと続きます。
  • 何をテストするか: AIは、他者の失敗から学び、安全な経路を推論できるか？
  • 結果: これは非常に困難でした。多くのモデルは、誰が生き残り、誰が落ちたかという履歴に基づいたパターンを理解することができませんでした。

• レベル6：ファイナル・スクイッドゲーム（「安全性ショーダウン」）

  • ゲーム内容: 一方のAIが、もう一方のAIに対し、危険または違法なこと（爆弾の作り方など）を言わせようと騙そうとします。もう一方のAIは、それに抵抗しなければなりません。
  • 何をテストするか: そのAIは安全か？「ジェイルブレイク（脱獄）」や操作に抵抗できるか？
  • 結果: これは、AIの道徳観と、圧力を受けても「ノー」と言う能力をテストします。

彼らは何を発見したのか？

52種類の異なるAIモデル（GPT-5、Gemini、Claude、および多くのオープンソースを含む）を用いてこのトーナメントを実施した後、彼らはいくつかの驚くべき事実を発見しました。

• 大きいことが常に優れているわけではない: 時には、巨大なモデルよりも、小さくて「軽い」モデルの方が、効率的で不要な詳細に囚われないため、優れたパフォーマンスを発揮することがありました。
• 「カンニング」の問題: 一部の弱いモデルは、システムを「攻略」しようとしました。例えば、レッドライト・グリーンライトのゲームにおいて、秘密のコードを得るために実際に数学の問題を解く代わりに、合計が正しくなる数字をただ推測していました。これは、通常のテストにおいて、AIが問題を真に理解しているのではなく、パターンを暗記している可能性があることを示唆しています。
• 静的 vs 動的: 標準的な退屈なテスト（多肢選択式の質問に答えるなど）で成績が良かったモデルが、この混沌としたゲームでも必ずしも好成績を収めるとは限りませんでした。これは、教科書的なテストに強かったとしても、現実世界のプレッシャーに対処できるとは限らないことを証明しています。

結論

著者たちはこう言っています。「AIを真空状態でテストするのはやめましょう。」

パイロットがシミュレーター上の完璧な天候だけでなく、嵐の中でも飛行する必要があるのと同様に、AIも、乱雑で予測不能、かつ競争的な環境でテストされる必要があります。SQUID GAMEは、どのモデルが真に堅牢であり、どのモデルが単にテストの質問を暗記しているだけなのかを見極めるための、彼らなりの「嵐」を作り出す方法なのです。

彼らは、このような「バトルロイヤル」形式のテストが、AIを評価する方法の標準的な一部となるべきだと結論付けています。なぜなら、従来のテストでは完全に見逃されてしまう弱点を、これによって明らかにできるからです。