BeyondBench: Contamination-Resistant Evaluation of Reasoning in Language Models

この論文は、トレーニングデータによる汚染を防ぎつつ言語モデルの推論能力を公平に評価するため、アルゴリズム的に動的に生成される数学的基盤を持つ問題セット「BeyondBench」を提案し、101 種類のモデルを対象とした評価を通じて複雑度の上昇に伴う推論能力の限界とツールの有用性を明らかにしたものである。

要約

論文「BEYONDBENCH」の解説：AI の「本当の頭脳」を測る新しいテスト

こんにちは！この論文は、人工知能（AI）の「論理的思考力」を正しく測るための、画期的な新しいテスト方法「BEYONDBENCH（ビヨンドベンチ）」を紹介するものです。

これまでの AI のテストには大きな「嘘」が潜んでいました。この論文は、その嘘を暴き、AI が本当に賢いのか、それともただの「暗記屋」なのかを見分けるための新しいルールを提案しています。

以下に、難しい専門用語を使わず、日常の例え話で解説します。

---

1. 従来のテストの問題点：「暗記した生徒」の罠

これまでの AI のテスト（GSM8K や MATH など）は、**「固定された問題集」**を使っていました。
これは、学校の先生が「この 100 問だけを解いてね」というテストを毎年出しているようなものです。

• 問題点： 現代の AI は、インターネット上の膨大なデータで学習しています。そのため、テスト問題そのものが、AI が学習したデータの中にすでに含まれている可能性が高いのです。
• 結果： AI は「考える」のではなく、「答えを暗記して」高得点を取ってしまいます。まるで、**「過去問を丸暗記した生徒が、新しい問題が解けないのに、テストだけ満点を取っている」**ような状態です。これでは、AI が本当に賢いかどうかがわかりません。

2. BEYONDBENCH の解決策：「無限に変わる迷路」

BEYONDBENCH は、この問題を解決するために、**「問題そのものをその場で作り出す」**というアイデアを採用しました。

• イメージ： 従来のテストが「固定された迷路」だとしたら、BEYONDBENCH は**「AI が通るたびに、壁の配置がランダムに変わる迷路」**です。
• 仕組み：
  • 問題の数は100 兆個以上（10^15 以上）あります。
  • 人間が暗記できる量を超えているため、AI が「過去問を覚える」ことは物理的に不可能です。
  • 正解は数学的に厳密に証明されているため、「たまたま当たった」かどうかは即座にわかります。

つまり、**「暗記」ではなく「迷路を解く力（論理的思考力）」**だけが試されるテストなのです。

3. テストの難易度：「子供から天才まで」の 3 つのレベル

このテストは、3 つの難易度に分かれています。

1. イージー（Easy）： 足し算や引き算、リストの並べ替えなど。小学生レベルの基礎計算です。
2. ミディアム（Medium）： 数列のパターンを見つけるなど。中学生〜高校生レベルの推理が必要です。
3. ハード（Hard）： 将棋の「N-Queens（N 人の王様を並べる）」や「ハノイの塔」など。これは**「NP 完全問題」**と呼ばれる、計算量が爆発的に増える超難問です。

特に「ハード」レベルでは、AI が**「思考の壁」**にぶつかることがわかりました。

4. 驚きの発見：AI の「限界」と「嘘」

このテストで 101 種類の AI を試したところ、いくつかの衝撃的な事実が明らかになりました。

① 頭脳は「暗記」ではなく「道具」を使う

• 発見： 最も高性能な AI（GPT-5 など）でも、「計算機（電卓）」や「コード実行」という道具を使わないと、難しい問題は解けません。
• 例え話： 人間の天才数学者でも、複雑な計算をすべて頭の中でやろうとするとミスします。でも、電卓を使えば正解できます。AI も同じで、「頭で考える」のではなく、「道具を使って計算する」のが得意なことがわかりました。道具を使わないと、性能が半分以下に落ちる AI もいました。

② 「考える時間」を長くしても、賢くはならない

• 発見： 最近の AI は「もっと考えてから答えよう」とする機能（思考プロセス）を持っています。しかし、このテストでは、「考える時間を長くしても、正解率はほとんど上がりませんでした。」
• 例え話： 迷路で迷ったとき、ただ「もっと長く立ち止まって悩む」だけでは出口は見つかりません。AI は、「正しい手順（アルゴリズム）」を知らない限り、どれだけ考えても無駄だったのです。

③ 数学の専門家コースは、逆に「バカ」になる？

• 発見： 数学の問題に特化して学習させた AI は、このテストでは逆に成績が悪化しました。
• 例え話： 特定の教科書（数学）だけを暗記しすぎた生徒は、「新しいパズル」や「論理的な迷路」を解く力が低下してしまったようです。特定の分野に特化しすぎると、汎用的な思考力が損なわれる可能性があります。

④ 性能の限界は「パラメータ数」だけでは解決しない

• 発見： AI のサイズ（パラメータ数）を大きくしても、難しい問題の正解率は**「30%〜35%」で頭打ち**になりました。
• 例え話： 頭の良い学生を何百人も集めても、「根本的な解き方（アルゴリズム）」を知らない限り、難問は解けません。 単に AI を大きくするだけでは、本当の意味での「人工知能」には近づけないようです。

5. 結論：AI 開発の未来はどうなる？

この論文が伝えたいメッセージはシンプルです。

「AI に『考える力』を身につけさせるには、単にデータを増やしたり、大きくしたりするだけではダメです。『道具（電卓や計算機）』を正しく使いこなす『エージェント（自律的な行動者）』としての仕組みを作る必要があります。」

AI はもはや、単なる「おしゃべりな本」や「暗記屋」ではありません。これからの AI は、**「難しい問題に出会ったら、自分で道具を探して使い、論理的に解決する」**という、人間のような「賢い行動」ができるようにならなければなりません。

BEYONDBENCH は、その「本当の賢さ」を測るための、公平で汚染されていない新しい物差しなのです。

技術概要

BEYONDBENCH: 言語モデルの推論能力を評価するための汚染耐性フレームワーク

技術的サマリー

本論文は、ICLR 2026 にて発表された「BEYONDBENCH」という新しい評価フレームワークを提案するものです。既存の静的ベンチマークがトレーニングデータによる汚染（データリーク）の問題に直面している現状に対し、アルゴリズム的な問題生成を用いて「汚染に耐性のある」推論評価を実現する手法を提示しています。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義：静的ベンチマークの限界とデータ汚染

現在の大規模言語モデル（LLM）は、GSM8K や MATH などの静的な推論ベンチマークで高いスコアを記録していますが、これらの評価は信頼性が低下しています。

• データ汚染: 学習コーパスがインターネット規模に拡大するにつれ、テストデータがトレーニングデータに含まれる確率が極めて高くなっています。モデルは真の推論能力ではなく、特定の解答を「暗記」している可能性があります。
• 動的ベンチマークの不足: 既存の動的ベンチマーク（DyVal など）はタスク分布を変化させますが、数学的に「一意の解」や「完全な解集合」が保証されていない場合があり、評価の曖昧さやヒューリスティックなマッチングに依存せざるを得ない課題があります。
• トークン制約の無視: 多くの評価はモデルの出力トークン数制限（コンテキストウィンドウ）を考慮せず、モデルが解くべき問題が構造的に解けない場合でも評価対象として含めてしまう不公平さがあります。

2. 手法：BEYONDBENCH フレームワーク

BEYONDBENCH は、アルゴリズム的な問題生成と数学的な検証に基づいた評価フレームワークです。

2.1 アルゴリズム的な問題生成と数学的基盤

• 無限に近い問題空間: 各タスクに対して、設定可能なパラメータ（数値範囲、制約サイズなど）とランダムシードを用いて問題を生成します。各タスクの組み合わせ空間は $10^{15}$以上であり、現実的なトレーニングコーパス（$10^{12}$程度）との完全な一致確率は$10^{-3}$ 未満に抑えられます。これにより、汚染が数学的に証明可能に無視できるレベルになります。
• 解の検証: 生成された問題に対して、ブール充足可能性（SAT）や制約充足問題（CSP）ソルバー（python-constraint, pysat など）を使用して、以下のいずれかを厳密に検証します。
  1. 一意解の保証: 問題が厳密に 1 つの解を持つこと。
  2. 完全解集合の列挙: 複数の解が存在する場合、すべての有効な解を列挙し、モデルの回答がその集合に含まれるかを確認する。これにより、非標準的だが数学的に正しい回答も正解として扱われます。

2.2 トークン制約を考慮した評価プロトコル

• 適応的な難易度調整: モデルごとの最大出力トークン数（コンテキストウィンドウ）を事前に把握し、問題のサイズ（例：ハノイの塔のディスク数、ソルバの盤面サイズ）を動的に調整します。
• トークン見積もり: 問題の複雑さ（例：ハノイの塔の移動回数 $2^n-1$）に基づき、必要なトークン数を推定し、モデルの出力制限（例：32K トークン）を超えない範囲で問題を生成します。これにより、モデルが構造的に解けない問題で不当に評価されることを防ぎます。

2.3 難易度スケーリング（3 つのスイート）

タスクは 44 種類、117 種類のバリエーションに分類され、3 つの難易度レベルで構成されます。

• Easy Suite (29 タスク): 基本算術、統計、比較など。多項式時間 ($O(n^k)$) で検証可能。
• Medium Suite (5 タスク、49 変種): フィボナッチ数列、幾何級数、素数列など。指数関数的な成長パターンを含む。
• Hard Suite (10 タスク、68 変種): NP 完全問題や制約充足問題。ハノイの塔、N 皇后問題、グラフ彩色、ブール SAT、数独など。解空間が指数関数的に膨大で、バックトラックや制約伝播が必要。

3. 主要な貢献

1. 汚染耐性評価フレームワークの提案: 数学的に検証可能な一意解または完全解集合を持つ動的生成タスクにより、トレーニングデータとの重複を排除した評価を実現。
2. トークン制約を考慮した評価プロトコル: モデルのアーキテクチャ制限（出力トークン数）に合わせた適応的な問題生成と評価により、公平な比較を可能に。
3. 大規模な実証研究: 0.5B から 141B パラメータまでの 101 種類の言語モデル（85 種類のオープンソース、16 種類のクローズドソース）を対象とした包括的な評価を実施。

4. 結果と知見

101 モデルの評価結果から、以下の重要な知見が得られました。

• 複雑度閾値を超えた性能の急激な低下: モデルは問題の複雑さが特定の閾値を超えると、徐々に劣化するのではなく、急激に性能が崩壊（クラッシュ）します。例えば、4x4 の数独では 80-90% の精度ですが、9x9 では 10% 未満に低下します。
• パラメータスケーリングの限界: モデルサイズを大きくしても、推論能力の向上は対数的に鈍化します。特にオープンソースモデルの多くは、ハードタスクで 30-35% 程度の性能天井に達しています。
• 「思考」モデルの限界: 推論を強化したモデル（Thinking Models）は、ベースモデルに対して有意な性能向上を示さず、むしろ過剰な思考（Overthinking）により状態管理を誤り、エラーを導入する傾向が見られました。
• 数学的ファインチューニングの逆効果: 数学的データでファインチューニングされたモデルは、GSM8K などの静的ベンチマークでは高スコアですが、BEYONDBENCH のアルゴリズム的タスクではベースモデルより性能が低下しました。これは、数式操作の最適化がアルゴリズム的推論（状態管理、バックトラック）とは異なるためです。
• ツール利用の重要性: 高性能なプロプライエタリモデル（GPT-5 など）は、コード実行や計算ツールを適切に使用することで大幅な性能向上を示しました。ツールなしでは性能が劇的に低下し、真の推論能力ではなく「ツールの使い分け」が成功の鍵であることを示唆しています。

5. 意義と結論

BEYONDBENCH は、LLM の「推論能力」を評価する際、単なる暗記やパターンマッチングではなく、真のアルゴリズム的推論（状態管理、バックトラック、制約充足）を測定できることを実証しました。

• 評価の公平性: 動的生成と数学的検証により、データ汚染による評価の歪みを排除し、モデルの真の能力を測る基準を提供します。
• AGI への示唆: 現在の言語モデル単体では、NP 完全問題などの複雑な推論には根本的な限界があることが示されました。真の汎用人工知能（AGI）の実現には、言語理解とツール利用（計算機、ソルバーなど）を統合した「エージェント型アーキテクチャ」の開発が不可欠であるという結論に至っています。

このフレームワークは、オープンソースとして公開されており、将来のモデル評価における新たなゴールドスタンダードとなる可能性を秘めています。