技術要約：Twin – テスト時デジタルツインを用いた未知のゲームのプレイ

問題提起

本論文は、事前の指示、デモンストレーション、または明示的なルールがない状態で、未知のインタラクティブなグリッドワールド・ゲームを学習するエージェントの課題に取り組んでいる。特定のベンチマークとして、ARC推論ベンチマークの後継であるARC-AGI-3（各タスクが$64 \times 64$のカラーグリッドゲーム）を用いている。エージェントは以下の事項を解明しなければならない：

1. ダイナミクス（動態）： アクション（例：クリック）に応じて世界がどのように遷移するか。
2. ゴール（目標）： 隠された勝利条件（述語 $R: S \to \{0, 1\}$）。

評価指標は**アクション効率（action efficiency）**であり、初めてプレイする人間よりも少ないアクション数でゲームをクリアしたエージェントに高いスコア（0–100）を与える。従来のフロンティアモデルは、環境の明示的なモデルを構築し、その中で推論する能力を欠いているため、ほとんどのゲームで失敗する（スコアは約7.8%）。

手法：Twinシステム

Twinシステムは、「テスト時世界モデル推論（Test-time World-model Inference）」アプローチを採用している。環境をブラックボックスとして反応するのではなく、コーディングエージェントが、ゲームの世界モデルの実行可能な仮説として機能するPythonプログラム（「ツイン」）を記述する。このモデルは、検証、探索、計画のループを通じて継続的に洗練される。

コアコンポーネント

1. 実行可能なツイン（The Executable Twin）：

   • step(grid, action) -> grid および goal_reached(grid) -> bool を実装したPythonファイル。
   • 最初はアイデンティティ・スタブ（空の関数）として始まり、反復的に修正される。
   • これにより、正確なリプレイ、決定論的な長期的ロールアウト、および解釈可能なアーティファクトが可能になる。

2. 検証・探索・計画ループ（The Validation-Explore-Plan Loop）：
   システムは、非対称な目的を強制する厳格なハーネスの下で動作する：

   • 適合（制約条件）： スコア対象となるアクションが行われる前に、ツインは過去に観察されたすべての遷移を再現しなければならない。
   • 到達可能性（楽観的探索）： ダイナミクスが検証された後、エージェントはゴールへの経路を探索する。

   ループは以下の4つのステージで構成される（図1参照）：

   • 観察とログ記録（Observe & Log）： エージェントは現在のグリッドを観察し、遷移 $(s, a, s')$ を追記専用ログ $D$ に追加する。
   • 検証（Validate）： ハーネスは、現在のツインコードに対してログ $D$ 全体をリプレイする。不一致（カウンターエグザンプル）が発生した場合、ツインのアクションはブロックされる。
   • 探索（Explore）：
     • ダイナミクスの壁（Dynamics Wall）： 検証に失敗した場合、システムはエラーの頻度と多様性に基づいて修正対象をランク付けし、エージェントに step 関数の修正を促す。
     • ゴールの壁（Goal Wall）： 検証は通過したがゴールへの経路が存在しない場合、システムは「進捗シグナル」（例：色の変化、領域のコンパクトさ）に基づき、候補となるゴール状態を提案する。そして暫定的な goal_reached 述語を生成する。
   • 計画（Plan）： 検証済みのツイン内で幅優先探索（BFS）を実行し、提案されたゴールへの最短経路を見つける。
   • 検証済み実行（ExecuteChecked）： エージェントはアクションを一つずつ提出する。実環境の結果がツインの予測と一致すれば、計画は継続される。不一致が発生した場合、アクションは停止され、遷移はログに追加され、ループは修復のために再起動される。

ゴール発見戦略

ゴールの推論は、報酬が得られるまで報酬が存在しないため、より困難な側面である。Twinは、勝利条件を一つの仮説として扱う：

• 報酬が存在しない段階から、システムは進捗を示すように見える到達可能な状態に基づき、候補となるゴール述語を提案する。
• 候補は、観察された非ゴール状態すべてにおいて false を返す場合にのみテストされる（これにより一貫性が確保される）。
• レベルの境界（boundary）が仮説を確定させる。候補状態に到達しても境界に達しない場合、その仮説は永久に拒絶される。

主な貢献

1. テスト時世界モデル推論： エージェントは、自身が計画を立てるためのシミュレータを自ら記述する。環境は、ブラックボックスではなく、検査可能で、反証可能で、かつ修復可能な「実行可能な仮説」となる。
2. ハーネスによる検証の強制： 検証をプロンプトの指示に頼る他のエージェントとは異なり、Twinのハーネスは、ツインが全インタラクション履歴を再現するまで、スコア対象のアクションを機械的にブロックする。これにより、エラーの累積を防ぐ。
3. 非対称な目的の処理： システムは、観察されたダイナミクスへの適合という「ハードな制約」と、ゴールへの探索的な検索を分離している。報酬が届く前にゴールを仮説化することで、最初のアクションから目標指向の計画を可能にする。
4. 効率性： Twinは183レベル中179レベルをクリアし（97.8%）、クリアしたレベルにおいて人間の使用アクション数よりも少ないアクション数を使用している。

実験結果

25の公開ARC-AGI-3ゲーム（183レベル）で評価：

• パフォーマンス： Twinは平均スコア 93.3/100 を達成し、25ゲーム中23ゲームをクリアした。
• 比較：
  • ベースモデル (GPT-5.6 Sol): スコア 7.8%（1ゲームクリア）。
  • 標準的なハーネス (Codex): スコア 61.1%（13ゲームクリア）。
  • Twin (提案手法): スコア 93.3%（23ゲームクリア）。
  • その他のシステム: OPINE-World (78.4), Prime Agent (78.3), EWM (63.8)。
• アクション効率： クリアしたゲームにおいて、Twinは人間が使用するアクション数の平均 0.61倍 しか使用していない。また、全システムが同じレベルをクリアできた13ゲームのうち、11ゲームで競合他社よりも少ないアクション数でクリアした。
• アブレーション解析： Twinのハーネスを取り除いた場合（ベースモデルのみ）、スコアは61.1に低下し、性能向上がモデルそのものではなく手法によるものであることが確認された。
• ゴール推論： 最初のゴール仮説は、クリアしたレベルの 87.2% (156/179) で正しかった。残りのレベルは探索によって解決された。
• ダイナミクスの正確性： ツインは「初見」の状態-アクションのペアを79.0%正確に予測しており、単純な再生を超えた汎化性能を示している。

意義と主張

本論文は、**「利用可能な世界モデルを構築することは予想以上に単純である」一方で、「正しいゴールを推論することの方がより困難な問題である」**と主張している。

• パラダイムシフト： Twinは、未知のゲームとのインタラクションを「実行可能な仮説の構築」として扱うことができることを示した。これは、焦点が「サンプリングへの回答」（多くの出力を生成してフィルタリングする）から、「世界モデルの推論」（計算量を投じて検証済みのモデルを構築する）へと移行することを意味する。
• 堅牢性： ハーネスによるリプレイ検証により、モデルのエラーが蓄積しないことが保証される。これは、他のシステムが失敗するような長期的なゲームにおいて極めて重要である。
• 限界： 本システムは、決定論的なダイナミクスと小さな離散状態を前提としている。真に潜在的な状態（フレームに表示されない変数）や確率的なダイナミクスには苦戦する。また、固定された探索予算に依存しているため、ホライゾンの先にあるゴールは発見されない可能性がある。

著者らは、現在のシステムが人間レベルのアクション効率を達成しているものの、今後の課題はゴール推論の速度向上と、より複雑で部分観測的な、あるいは確率的な環境への対応にあると結論付けている。