🤖 AI

Explore Before You Solve: The Speed--Depth Trade-off in Epistemic Agents for ARC-AGI-3

本論文は、速度と深さのトレードオフの脆弱性により些細な非知能的戦略で解けてしまう ARC-AGI-3 公開ベンチマークを批判し、行動効率と情報獲得のバランスを取る適応型「解決前に探索」フレームワークを採用して優れた性能を達成する AERA エージェントを提案する。

原著者： Liew Keong Han

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC0 1.0

原著者： Liew Keong Han

原論文は CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) のもとパブリックドメインに提供されています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、論文「Explore Before You Solve（解く前に探索せよ）」を簡単な言葉と日常的な比喩を用いて解説したものです。

全体像：「当てっこゲーム」の問題

ある部屋に入り、鍵のかかった箱を目の前にしたと想像してください。あなたは合言葉を知りませんし、箱が何をするのかも知りません。箱を開けるための試行回数は限られています。間違ったコードを推測しすぎると、あなたは負けてしまいます。

これがまさにARC-AGI-3ベンチマークの仕組みです。AI に新しい未知のゲームを課し、プレイするだけでそのルールと目的を解き明かすよう求めます。AI の評価基準は効率性です。人間が解くのに 10 手かかる問題を、AI が 20 手かければ、AI のスコアは非常に低くなります。100 手かければ、ほぼゼロの点数しか得られません。

この論文は、現在の AI システムがこの点で極めて劣っていることを指摘しています。なぜなら、それらはまず探索することなく、即座にパズルを解決しようとするからです。ひらめきに基づいて答えを推測し、間違っていれば、すべての試行回数を無駄にしてしまいます。

核心的な発見：公開されたゲームは「欠陥」があった

彼らの解決策を構築する前に、著者たちは驚くべきことをしました。最も「愚か」な戦略を用いて、公開されている 25 個のゲームをすべて解こうとしたのです。

その結果、25 個の公開ゲームのすべてが、いかなる知性もなしに突破可能であることが判明しました。

「魔法のボタン」: 18 のゲームでは、特定のボタンを押す（または特定の場所をクリックする）だけで、コンピュータエラー（クラッシュ）を引き起こし、システムに勝利したと誤認させることができました。
「スパム」戦略: 8 のゲームでは、同じボタンを 50 回から 200 回連続で押すだけでよかったです。
「盲目の推測」: 残りのゲームでは、ランダムな推測か、単一のプローブ（探査）で機能しました。

結論: 公開テストは欠陥があります。超知能ロボットと、単に運が良かっただけ、あるいはボタンを連打しただけのロボットを区別できません。真のテストは、まだ見ることができない非公開の 55 個のゲームセットです。

解決策：AERA（「好奇心旺盛な探偵」）

公開されたゲームは、だますには容易すぎたため、著者たちは実際に適切に探索を学習できるかどうかを確認するために、新しい AI エージェントAERAを構築しました。これは推測マシンではなく、人間の探偵のように振る舞うように設計されました。

AERA は、スピードと深さのトレードオフと呼ばれる 3 段階のプロセスに従います。

探索（「プローブ」フェーズ）:
- 比喩: 暗い部屋にいると想像してください。あるドアがあると思い込んで盲目に走って行くのではなく、まず棒で壁を叩き、障害物がどこにあるかを確認します。
- 仕組み: AERA は何が起こるかを見るために、いくつかの小さく安全な行動を取り、「これをすれば、何が変化するのか？」と問いかけます。そして、ルールの精神的な地図を作成します。
- 「予算」: 著者たちは、許された総移動回数の約**40%**を探索に費やすことが最適点であることを発見しました。探索が少なすぎれば誤った推測をし、多すぎれば実際にパズルを解く前に移動回数が尽きてしまいます。
検証（「二重確認」フェーズ）:
- 比喩: ドアが本棚の後ろにあると考えているとします。そこへ走る前に、角を覗いて間違いがないか確認します。
- 仕組み: AERA は、その最善の推測が通用するか確認するために、いくつかの特定の行動でテストします。推測が失敗すれば、ステップ 1 に戻ります。
計画（「スプリント」フェーズ）:
- 比喩: 配置がわかった今、あなたはドアに向かって全力で走ります。
- 仕組み: AERA が確信を持てば、探索を停止し、スコアを最大化するために素早く解決策を実行します。

結果：なぜ「愚か」な AI は失敗するのか

著者たちは、この「好奇心旺盛な探偵（AERA）」を 2 種類の他の AI と比較してテストしました。

ランダム AI: 単にランダムにボタンを押す。（スコア：0）
「非探索」AI: 何も確認せずに即座にパズルを解こうとする。（スコア：0）

なぜ「非探索」AI は失敗したのか？
地図を持っていなかったからです。見たこともない迷路を通るルートを計画しようとしたのです。すぐに立ち往生してしまいました。

AERA はどうだったか？

5 個のゲームによる小規模テストでは、AERA はそのうち 2 つを解決しました（0 から大幅な改善）。
公開された 25 個のゲーム全体では、AERA は 4 つを解決しました。
決定的なことに、AERA は0.21のスコアを達成しましたが、「愚か」な戦略のスコアは0.00でした。

これは、探索が欠落している要素であることを証明しています。AI は raw brain power（生身の脳力）の面で「賢く」なる必要はありませんでした。必要だったのは、より好奇心を持つことでした。

「スピード対深さ」の比喩

この論文は、スピードと深さのトレードオフと呼ばれる概念を導入しています。

スピード: パズルを完了する速さ（移動回数が少ないこと）。
深さ: 各移動でルールについてどれだけ学ぶか。

著者たちは、評価システム（RHAE）が遅さに対して二次関数的に罰則を与えることを指摘しています。つまり、人間がかけた手数の 2 倍の手数がかかれば、点数が半分になるだけでなく、4 分の 1になってしまうのです。

良いスコアを得るためには、「パレートフロンティア」に位置する必要があります。時間を無駄にしないために十分な深さ（学習）を身につけるが、移動回数が尽きてしまうほど多くは学ばない、という完璧なバランスです。AERA はこの完璧なバランスを自動的に見つけようとします。

「モデルサイズ」の驚き

著者たちは、AI の脳（モデル）のサイズについて奇妙な発見をしました。

小さな脳（0.5B パラメータ）: 探索を強制されると、即座に計画を立てようとしたときよりも実際には良い結果を出しました。それは「愚か」すぎたため、ランダムなことを試すうちに偶然正しいボタンに当たってしまったのです。
大きな脳（1.5B パラメータ）: 探索を強制されると、単に推測したときよりも悪い結果を出しました。それは「賢すぎ」て、間違った推測に自信を持っていたため、幸運な突破口を見つけるために十分なランダムな試行をしなかったのです。

教訓: 賢いことが常に探索において優れているとは限りません。時には、少しの「混乱」こそが、全く新しい世界で正解にたどり着くのを速くするのです。

まとめ

問題: 現在の AI ベンチマークは「チート」しやすく、AI システムはルールを学ぶ前に推測することにあまりにも熱心すぎます。
解決策: 解決策にコミットする前に、（暗い部屋を棒で叩くように）立ち止まって探索する AI を構築します。
結果: この「探索してから解決する」アプローチにより、たとえ小さな AI モデルであっても、「賢い」が我慢できないモデルが解けないパズルを解くことができます。
現実確認: 公開テストのゲームは非常に単純で、たとえ「クラッシュバグ」や「ボタンの連打」であっても勝利できてしまいました。知性の真のテストは、これらのトリックが通用しない、隠された非公開のゲームセットに残されています。

この論文は結論として、真の知能とは単に答えを知っていることではなく、何もない状態から答えを見つける方法を知っていることであると述べています。

技術的サマリー：ARC-AGI-3 における認識エージェントの速度と深さのトレードオフ

1. 問題定義

本論文は、ARC-AGI-3ベンチマーク内における対話的規則帰納の課題に取り組む。静的ベンチマークとは異なり、ARC-AGI-3 はエージェントを、ルールと勝利条件が隠された新規のターンベース環境に置く。エージェントは、事前の指示なしに、行動と観測を通じた相互作用によってこれらのルールを発見しなければならない。

性能指標であるRHAE（人間行動数と AI 行動数の比率の二乗）は、非効率性に対して厳格な二次関数的ペナルティを課す。エージェントが人間の中央値の 2 倍の行動数を要する場合、評価は 25% しか得られない。著者らは、現在の最先端モデルがこのベンチマークに失敗する理由は推論能力の欠如ではなく、認識的規律の欠如にあると主張する。すなわち、計画を策定する前に不確実性を低減するために環境を探索する能力が不足しているという点である。

さらに、論文は公開評価セット（25 ゲーム）に重大な欠陥があることを特定している。それは、知的な探索と単純なヒューリスティックを区別できない点である。著者らは、すべての公開ゲームが非知的な戦略（例：盲目的な単一行動、十分な予算による反復行動、またはライブラリレベルの null 座標脆弱性の悪用）によって解決可能であることを実証している。したがって、公開セットはエージェントが真の探索的知性を有しているかどうかを検証することはできず、有効なテストとなるのは非公開の 55 ゲームセットのみである。

2. 手法

理論的枠組み：速度と深さのトレードオフ

著者らは、速度（行動効率、 $1/A_E$ ）と深さ（行動あたりの情報利得、 $\Delta H(b)/a$ ）の相互作用を形式化した。

パレートフロンティア：最適な方策は、速度と深さの間のパレートフロンティア上に存在すると仮定する。
凸性仮説（A1）：フロンティアが凸であると仮定すると、RHAE 指標はこのフロンティアからの逸脱に対する二次ペナルティとして機能する。
含意：探索をスキップする（深さ = 0）か、過度に探索する（過剰な速度コスト）エージェントは、二次関数的ペナルティを被る。最適な戦略は、探索予算が人間のベースラインに比例する「速度と深さ」のバランスを含む。

アーキテクチャ：AERA（適応的認識推論エージェント）

AERA は、速度と深さのトレードオフを navigat するために設計された 3 フェーズのアーキテクチャを実装する。

EXPLORE（深さモード）：エージェントは信念エントロピー（ $H(b_t)$ $H (b_{t})$ ）を低減するために行動を行う。行動は、期待情報利得を最大化するように選択される。このフェーズは、エントロピーの代理指標（LLM 出力内の UNCERTAIN フィールドの長さ）が閾値 $\theta$ $θ$ 以下になるまで継続する。
- 予算ヒューリスティック：探索予算 $B_{max}$ は、経験的に人間の中央値の行動数の約 40%（ $\alpha \approx 0.4$ ）に設定される。
VERIFY：エージェントは、現在の最大事後確率（MAP）仮説を反証するために 1〜3 回の標的行動を行う。もし反証された場合、EXPLORE フェーズに再進入する。
PLAN + EXECUTE（速度モード）：不確実性が低くなった後、エージェントは検証された仮説に基づいて計画を策定し、実行に移す。予期せぬ観測が発生した場合、実行は中止され、EXPLORE に再進入する。

実装詳細

モデル：実験にはQwen2.5-0.5BおよびQwen2.5-1.5Bが使用される。
エントロピー代理指標：形式的な粒子フィルターの代わりに、AERA は LLM の構造化された UNCERTAIN 出力の長さを、信念エントロピーのヒューリスティック代理指標として使用する。
競技エントリー：LLM API を使用せず、「PLAN 前の EXPLORE」という原則を同じく実装する別の提出物（オフライン事前解決キャッシュを備えた BFS ソルバー）は、非公開セットで RHAE=0.30 を達成した。

3. 主要な結果

公開ゲームにおける実証的パフォーマンス（25 ゲーム）

AERA（0.5B, b=1）：RHAE = 0.2116 を達成し、4/25のゲーム（VC33, FT09, LP85, S5I5）を解決した。
ベースライン：
- Random：RHAE = 0.0000（0/25 解決）。
- No-Explore（B1）：RHAE = 0.0000（0/25 解決）。0.5B モデルは、探索中に明示的な仮説が形成されない限り、計画を生成できない。
モデル能力の相互作用：
- 5 ゲームのサブセットにおいて、探索あり（b=1）の 0.5B モデルは RHAE=0.5290 を達成するのに対し、探索なしの 1.5B モデルは 0.2645 である。
- 驚くべきことに、1.5B モデルに強制された 1 ステップ探索（b=1）は0.0000をスコアし、探索なしの対照群よりも悪いパフォーマンスを示した。著者らは、より大規模なモデルは行動分布がより集中しており、より拡散した 0.5B モデルと比較して、FT09 の単一行動勝利のような幸運な勝利条件を偶然引き起こす可能性が低いと仮説を立てている。

ベンチマーク妥当性の分析

25 のすべての公開ゲームの体系的な調査は以下のことを明らかにした。

10 ゲームは、単一の盲目的なステップで解決可能（5 つは ACTION6 経由、5 つは他の盲目的な行動経由）。
5 ゲームは、単一のプローブ後に ACTION6 を必要とする。
1 ゲームは、多様な探索を必要とする。
1 ゲームは、ACTION1 の反復によって解決可能。
8 ゲームは、単一の行動を 50〜200 回繰り返すことで（予算制約付き）解決可能。
18 ゲームは、null 座標脆弱性（x=None, y=None で ACTION6 を呼び出すと、ライブラリ例外が勝利として誤分類される）を介して 1 ステップで回避可能。
結論：公開セットは、知的な探索と単純なヒューリスティックを区別できない。真の知性テストは、非公開の 55 ゲームセットのまま残っている。

競技結果

リンクされたコードトラックのエントリー（探索優先原則に基づく BFS ベースの実装）は、55 ゲームの非公開評価全体でRHAE = 0.30を達成し、執筆時点での報告されたコミュニティ最高値である約 12.58% を上回った。

4. 意義と主張

本論文は 3 つの主要な貢献を行う。

理論的：二次関数的 RHAE 指標を速度と深さのパレートフロンティアペナルティとして解釈する。凸性仮説（均一情報環境のクラスに対して証明済み）の下では、この指標は情報利得と行動効率のバランスを欠くエージェントを数学的に罰する。
アーキテクチャ的：信念エントロピーに基づいて探索から計画への遷移を明示的に制御するAERAを導入する。これは、より小規模なモデル（0.5B）が非ゼロの RHAE を達成するために探索が必要であることを示し、一方、より大規模なモデル（1.5B）は事前知識に依存できるが、探索が誤って強制された場合は依然として苦戦することを示す。
実証的/ベンチマーク批判的：ARC-AGI-3 公開評価セットに対する厳密な批判を提供し、すべてのゲームが非知的な戦略で到達可能であるため、探索の測定には無効であることを示す。著者らは、人間と AI のパフォーマンスの格差は推論の格差ではなく、認識的規律の格差であると主張する。

控えめな主張：

著者らは、AERA が一般的な ARC-AGI-3 問題を解決するか、85% の目標に到達すると主張していない。
探索予算ヒューリスティック（ $\alpha \approx 0.4$ ）は、導出された法則ではなく、経験的な適合である。
凸性仮説（A1）はすべての環境で証明されたものではなく、特定のクラスに対してのみ証明されている。
「null 座標」勝利は、知的な戦略ではなくベンチマークの脆弱性として報告され、正当な RHAE 比較からは除外される。

本論文は、「PLAN 前の EXPLORE」という原則が、新規環境における初接触行動のための基本的なメカニズムであると結論付け、AGI への将来の進展には、情報収集と行動効率の間のトレードオフを明示的に管理するアーキテクチャが必要であると述べている。