技術要約: OPINE-World

問題提起

未知のタスクに適応するエージェントを構築するには、相互作用から環境の振る舞いを学習する方法が必要です。ディープネットワークベースの世界モデルは柔軟性を提供しますが、データ集約的であり、訓練分布外への転移性は低くなります。対照的に、プログラム合成による世界モデルはデータ効率が高く再利用可能ですが、歴史的には定義済みのオブジェクト語彙を持つ構造化された状態環境に限定されてきました。単一のプログラム探索では、生の観測からオブジェクト構造自体を柔軟に仮説立てる必要があるピクセルレンダリング環境にはスケールしません。

本研究が取り組む核心的な課題は、以下の条件下において、相互作用からオブジェクト中心のプログラム的（programmatic）な世界モデルをオンラインで学習することです：

1. オブジェクトの語彙およびメカニカルなタイプへの分割が未知である。
2. ゴールおよびアクションのセマンティクス（意味論）が伏せられている。
3. エージェントは、生のピクセルフレームと疎な報酬のみから、オブジェクト構造、ダイナミクス、およびゴールの関連性を推論しなければならない。

手法: OPINE-World

OPINE-Worldは、仮説と検証のループを通じて、オブジェクト中心のプログラム的（programmatic）な世界モデルを学習するLLMエージェントです。これは、相互作用の共有リプレイバッファ上で動作する、2つの協力するエージェントと周期的なクリティック（批評家）を結合させたものです。

1. オブジェクト中心のプログラム的モデル

世界モデルは、オブジェクトタイプごとに因数分解されたPythonプログラムとして表現されます。モノリシックな遷移関数ではなく、モデルは各メカニカルタイプ$\tau$に対して応答ルール$f_\tau$を保持します。このルールは、現在の属性、取られたアクション、および読み取り専用のローカルコンテキストに基づいて、オブジェクトの更新された状態を予測します。この因数分解により、タイプ分割が近似的に正しければ、あるオブジェクトから学習されたルールを同じタイプのすべてのオブジェクトに転用することが可能になります。

2. 2つの協力するエージェント

システムは、行動（Acting）とモデリング（Modeling）を、2つの特化したLLMエージェントに分離しています：

• アクションエージェント（目標指向）: 生の環境と相互作用し、ダイナミクスとゴールに関する仮説を提案し、それらを探索（probe）します。自然言語による世界モデルを維持し、現在の合成されたモデルまたは探索の必要性に基づいてアクションを選択します。
• シンセサイザー（合成）エージェント: 共有された相互作用バッファとアクションエージェントの仮説を読み取ります。観測された遷移をルールへと一般化するコード（世界モデル）を合成します。そして、候補となるプログラムを検証器（verifier）に提出します。

3. 検証および反例誘導型合成 (CEGIS)

候補プログラムは、バッファ内のすべての記録された遷移を正確に再現する場合（厳密なリプレイテスト）にのみ、受理されます。

• 受理: プログラムは、属性およびオブジェクトごとに次状態を正確に予測しなければなりません。また、決定性を確保するために（隠れた状態に依存するモデルを拒絶するために）2回実行されます。
• 修復: 合成は、現在のモデルが観測された結果を誤予測した際の反例（counterexamples）によってトリガーされます。書き換えの前に反例を蓄積するための保留ウィンドウがあり、修正不可能なエラーによる無限ループを防ぐためのストールガードが備わっています。
• ゴール認識: レベルがクリアされると、ブール値のゴール述語が合成され、同じ厳密なリプレイ標準に対して検証されます。

4. オントロジー誤差と探索のステアリング

オブジェクトの分割が未知であるため、OPINE-Worldは探索を制御するために、オントロジー誤差（$\eta_t$）と呼ばれるベイズ的な診断手法を採用しています。

• 効果のシグネチャ: 正確な値のデルタを追跡する代わりに、変化した属性の粗いカテゴリカルなシグネチャ（例：「xが変化した」「ピクセルが変化した」「消失した」）を追跡します。
• ローカル効果テーブル: これらのテーブルは、タイプ、アクション、およびローカルコンテキストによって定義される行ごとのシグネチャをカウントします。
• 不確実性の尺度: システムは2つの正規化されたエントロピーを計算します：
  1. タイプ不確実性 ($U_{type}$): システムがオブジェクトのメカニカルなタイプについてどの程度確信を持てていないか。
  2. 行不確実性 ($U_{row}$): 特定のタイプ・アクション・コンテキストの組み合わせにおける効果分布がどの程度混在しているか。
• オントロジー誤差: これらの不確実性のノイジーOR（noisy-OR）である $\eta_i = 1 - (1-U_{type})(1-U_{row})$ は、現在のタイプでは説明できないオブジェクトやコンテキストを特定します。アクションエージェントは、高誤差の領域を探索するように誘導され、これによりシンセサイザーにタイプの洗練やコンテキスト特徴量の追加を促します。

5. プランニング

モデルが受理され、少なくとも1つのレベルがクリアされると、プランナーは検証されたモデル内でゴールへのパスを探索します。プランはステップバイステップで実際のゲーム内で実行されます。予測と観測された状態の間に不一致が生じた場合、プランは中断され、反例が記録され、コントロールはアクションエージェントに戻されます。

主な貢献

1. OPINE-Worldエージェント: 仮説とテストのループ、反例誘導型合成、およびモデルベースのプランニングを含む、オブジェクト中心のプログラム的（programmatic）な世界モデルをオンラインで学習するLLMエージェント。
2. オントロジーの発見: 相互作用から直接オブジェクトのオントロジー（オブジェクトをメカニカルなタイプに分割すること）を発見する手法。これにより、プログラム合成による世界モデルを、構造化された状態入力から、未知のオブジェクト構造を持つピクセルレンダリング環境へと拡張しました。
3. ARC-AGI-3での評価: オブジェクトの語彙、ゴール、およびアクションのセマンティクスが伏せられているARC-AGI-3ベンチマークにおいて、ゲームごとの訓練なしに25ゲーム中20ゲームを解決できることを実証しました。

実験結果

システムはARC-AGI-3の公開評価セット（25ゲーム、183レベル）で評価されました。

• パフォーマンス: OPINE-Worldは、ゲームごとの訓練なしに25ゲーム中20ゲームを解決し、183レベル中160レベルをクリアしました。
• アクション効率: 人間のベースラインに対する相対的なアクション効率スコアは78.4であり、強力なシングルエージェント・コーディング・ベースライン（baseline1）の63.8、および評価セットで事前学習を行ったビジョンエージェントの63.2を上回りました。
• ベースラインとの比較:
  • シングルエージェント・コーディング (baseline1): 14ゲームを解決しました。OPINE-Worldはこれら14ゲームすべてを解決した上に、ベースラインを破った追加の6ゲームも解決しました。ベースラインが失敗した6つのゲームにおいて、OPINE-Worldはベースラインが費やしたアクションの約**25%**の量でそれらをクリアしました。
  • プログラム合成 (WorldCoder) およびニューラル潜在モデル: これらのアプローチは、ベンチマークのアクション予算内で0ゲームを解決しました。
  • 人間ベースライン: OPINE-Worldが勝利した20ゲームにおいて、16ケースで人間による参照よりも少ないアクションを使用しました。

意義と主張

本論文は、プログラム的な世界モデルが、定義済みのオブジェクト語彙やゴールなしに、生のピクセルからオンラインで学習可能であることを示していると主張しています。行動とモデリングを分離し、ベイズ的なオントロジー誤差によって導かれる厳密な厳密なリプレイ検証ループを用いることで、システムは高いサンプル効率と転移性を実現しています。

著者らは、システムが（WorldCoderなどの先行研究とは異なり）楽観的な制約や合成された報酬関数に依存せず、代わりに厳密なリプレイの一貫性と、観測された報酬から導出されたゴール述語に依存していることを強調しています。結果は、モデルをオブジェクトタイプごとに因数分解し、動的にオントロジーを発見することで、エージェントがレイアウトを越えて一般化し、ニューラル潜在モデルやシングルエージェント・コーディング・アプローチよりも大幅に少ない相互作用で複雑なスキル獲得タスクを解決できることを示唆しています。

限界

著者らはいくつかの限界を指摘しています：

1. 観測可能・マルコフ範囲: 厳密なリプライテストは、正しい表現の下での決定論的な遷移関数を前提としています。隠れた状態（hidden state）はタイミング信号を劣化させます。
2. 推論された知覚: オブジェクトのペアリングとタイプ分割は生のフレームから推論されており、これはエンジン提供のオブジェクト識別を使用する場合よりも困難です。
3. プランナーの規模: プランナーは有界前方探索（bounded forward search）を使用しており、分岐係数の高いゲームでは失敗する可能性があります。
4. 単一の実行: 結果はゲームごとの単一の実行に基づいているため、分散の推定が欠けています。