技術要約: Tycho – ARC-AGI-3のためのプログラム的ワールドモデルを用いた能動的抽象化

問題定義

本論文は、エージェントが観察と行動のみを通じて、未知のゲームのルール、隠れた状態、および目標を推論しなければならないインタラクティブなベンチマークであるARC-AGI-3に取り組んでいる。静的な推論タスクとは異なり、ARC-AGI-3は厳格な**アクション・バジェット（行動予算）**を課している。すなわち、あらゆる動きがスコアに影響するため、エージェントは探索（証拠の収集）と搾取（レベルの完了）のバランスを取らなければならない。

核心となる課題は**能動的抽象化（active abstraction）である。エージェントは、「何が真実か」を知るだけでなく、「いつ、コストを払ってモデルを構築し、それを用いて計画を立て、失敗時に修理するか、あるいはモデルをバイパスすべきか」を決定しなければならない。本論文では、これらの環境をパラメータ化されたレンダリング済み決定論的ムーア・マシン（parameterized rendered deterministic Moore machines）**として定式化している。これは、基礎となる状態（カウンターやカメラのオフセットなどの隠れた変数を含む）と、遷移ダイナミクス、および観測形成（レンダリング）を区別するものである。主要な困難は、同一のレンダリングされたグリッドが異なる基礎状態に対応し得る（非マルコフ的な観測）ことであり、これには曖昧さを解消するために相互作用の履歴を保持する必要がある。

手法: Tychoシステム

Tychoは、相互作用中にプログラム的ワールドモデルを構築し活用するように設計されたコーディング・エージェント・システムである。これは、アクター（推論と行動のコミットを行う）と、オプションのワークベンチ（実行可能なモデルの構築または修理を行う）を含む、共有タスクタイム・アーキテクチャ（図1）上で動作する。

1. フォーマル・フレームワーク

• レンダリング済みムーア・マシン: 環境は、アクションが基礎となる状態 $s$ を更新し、その状態が観測（グリッド）、利用可能なアクション、および結果を生成する決定論的システムとしてモデル化される。遷移は、次の決定フレームに落ち着く前に、中間アニメーションフレーム（一時的な証拠）を放出する場合がある。
• 型付き相互作用履歴: システムは、決定フレーム、アクション、一時的フレーム、および終端結果の構造化された履歴を記録する。これにより、エージェントがアニメーションフレームと決定ポイントを混同することを防ぐ。
• 部分的予測: 不確実性を扱うため、モデルのレンダラーは、決定できないピクセルについて棄権（$\perp$ を返す）するか、量子化の曖昧さ（例：隠れたカウンターを表すHUDバー）に対して限定された**観測バリアント（変種）**を返すことができる。

2. 実行可能な仮説言語

Tychoは、以下の4つのコア関数を実装するPythonプログラムとしてワールドモデルを表現する。

• init_state: 初期グリッドとレベルインデックスをモデル化された状態にマッピングする。
• transition: アクションに従って状態を進める。
• render: 状態をグリッドにマップする（棄権をサポート）。
• outcome: 状態を進行中、レベル完了、またはゲームオーバーに分類する。
  モデルはフリーフォームであり、エージェントはゲームメカニクスに基づいて、状態表現（例：オブジェクトリスト、セルオートマトン、カウンター）を自由に選択できる。

3. メタ推論ポリシー

本論文では、アクターとモデルの間の相互作用を管理するための4つの異なるポリシーを評価している。

1. ワールドモデルなし (Direct Reasoning): アクターは実行可能なモデルを構築することなく、証拠に対して直接推論を行う。
2. シングル (Actor-Authored): アクターが必要に応じてモデルを推論し、かつ編集も行う。
3. オーケストレーター (Actor-Requested Delegation): アクターは、モデルの構築または修理のために特化したビルダー・サブエージェントに依頼することができる。
4. トリガー (Automatic Repair): ハーネスが、検証失敗（例：遷移の不一致、カバレッジ不足）時やレベル境界時に、自動的にビルダーを呼び出す。

4. 検証と計画

• 検証: モデルは、記録された相互作用履歴を再生することでテストされる。遷移は、モデルの予測グリッドが主張されたすべてのセルにおいて観測グリッドと一致する場合（または許可されたバリアントのいずれかと一致する場合）に「受理」される。
• 計画: モデルが検証されると、システムは level_complete に至るアクションのシーケンスに向けて状態空間を探索する。得られた計画は、モデルの内部状態に対して検証され、ステップバイステップで実行される。その際、アクターは各アクションの後に状態を再検証する。

主な貢献

1. 定式化: 本論文は、ARC-AGI-3を、隠れた状態、非単射的な観測、および相互作用のコストを明示的に扱う、遷移放出を伴うレンダリング済み決定論的ムーア・マシンの能動的な識別として定式化した。
2. プログラム的ワールドモデル: エージェントがルールを検査・編集可能なPythonコードとして外部化することを可能にする、フリーフォームで実行可能な仮説言語を定義した。これは部分的予測と状態抽象化をサポートする。
3. ポリシーのベンチマーク: モデルの合成能力からモデルの割り当て（誰がいつモデルを構築するか）の影響を分離するために、同一の推論予算の下で、4つのモデル維持ポリシー（No Model, Single, Orchestrator, Trigger）の整合性のある比較を提供した。
4. 指標の区別: モデルが履歴を再現するかどうかという遷移精度と、ゲームプレイのパフォーマンス（モデルが勝利に役立つか）を分離した。これは、高い遷移精度が必ずしも高いスコアを保証しないこと（モデルが目的を特定できなかったり、リソース配分を誤ったりする場合がある）を示している。
5. 人間適応ループ: エージェントの実行からのメタ反省を用いて、将来の実行に向けてエージェントのハーネス（ツール、メモリ、検証）を反復的に洗練させるプロセスを記述している。

実験結果

評価は、最先端のLLM（Claude Opus 4.8, GPT-5.6 Sol, および Opus 5）を用い、25の公開ARC-AGI-3ゲーム（計183レベル）に対して行われた。

マッチド・ポリシー選択 (Opus 4.8)

• 直接推論 (No Model): 79.07 RHAE（相対的人間アクション効率）を達成。
• シングル (Actor-Authored): 85.36 RHAEを達成。
• オーケストレーター (Delegated): 88.49 RHAEを達成し、マッチド・ポリシーの中で最高となった。
• トリガー (Automatic Repair): 83.07 RHAEを達成。最も高い受理された遷移一致率（88.1%）を生み出したにもかかわらず、オーケストレーターを下回った。このギャップは、環境ダイナミクスの正確なシミュレーションは、目的の推論や効率的なリソース配分が正しく行われない限り、成功には不十分であることを示している。

最先端モデルの評価 (選択されたオーケストレーター・ポリシー)

より強力なモデルを用いたオーケストレーター・ポリシーの使用結果：

• GPT-5.6 Sol: 100.00 RHAEに到達し、25のゲームと183のレベルすべてを7,766のスコア対象アクションで完了した。
• Opus 5: 100.00 RHAEに到達し、183のレベルすべてを6,641アクションで完了した（GPT-5.6 Solよりも14.5%少ないアクションを使用）。
• 効率性: Opus 5は、公式の人間ベースラインの合計よりも61%少ないスコア対象アクションを使用した。
• コスト: Opus 5の実行コストは推定2.99kドル（API相当）であり、同様の条件下での他のシステム（例：Rodionovの検証実行の推定値13.6k〜15.5kドル）と比較して大幅に低い。

定性的分析

ケーススタディ（cd82, tu93, sk48など）により、以下が明らかになった：

• 成功: モデルは試行錯誤を検証済みのシーケンスに置き換えることができ（例：cd82）、縮小された状態空間における探索をサポートできる（例：tu93）。
• 失敗: 正確な遷移モデルであっても、目的が誤認されると失敗する（例：sk48では、モデルはメカニズムを完璧にシミュレートしたが、目的の特定に失敗した）。
• 修理: システムは不一致を特定することに成功し（例：tu93における予期せぬパトロール爆発）、モデルを修理して再計画を可能にした。

意義と主張

本論文は、能動的抽象化が汎用知能の重要な構成要素である、すなわち、コストのかかる相互作用からテスト可能なモデルを生成し、それを使用するかどうかを決定する能力であると主張している。

• 選択的モデリング: 結果は、ワールドモデリングは強制的に自動化される（Trigger）場合やアクターのみで処理される場合よりも、専門家に委譲される（Orchestrator）場合に最も効果的であることを示唆している。
• 精度 vs ユーティリティ: 高忠実度な環境遷移のシミュレーションは必要条件であるが十分条件ではない。システムは、目的を正しく推論し、計算リソースを効率的に配分しなければならない。
• システム・アーキテクチャ: パフォーマンスの向上（79.07から100.00 RHAEへ）は、基盤モデル単体ではなく、複合エージェント・システム（ハーネス + モデル + ポリシー）に起因している。本論文は、汎用知能は、経験をタスクモデルへと整理し、そのプロセスを支えるシステムを適応させる機構に依存していることを強調している。
• 謙虚な姿勢: 著者らは、これらの結果が固定された公開テストベッドにおける性能を特徴づけていることを認めている。現在の適応ループは人間による媒介（著者がエージェントのノートに基づいてハーネスを洗練させる）であり、真の自己改善を達成するには、将来的にこの外部ループを自動化する必要があると述べている。また、高い推論コスト（APIコール）は、スコア対象のアクション効率のために、スコア対象外の計算量をトレードオフしていることを指摘しており、これは生物学的な効率とは異なる性質のものである。