技術的サマリー：ワークスペース最適化

問題定義

最先端の言語モデル（LLM）を基盤とした現代のエージェントは、重要な限界に直面していることが多い。すなわち、エピソード中に内部重みを適応させることができないという点である。ファインチューニングは、オンラインかつ単一エピソードの適応には遅すぎるため、多くの展開シナリオ（API ベースのモデルやプライバシーに敏感なトレースなど）では、重みへのアクセスが利用できない。その結果、モデルは固定されたままとなるが、エージェントは依然として、目標やルールが環境内に隠された複雑な多ターンタスクを解決することを学習しなければならない。

本論文は、標準的なエージェント学習パラダイムにおけるギャップを特定している。従来の強化学習（RL）は、損失信号に基づいて方策や価値関数（重み空間）を更新することに依存している。しかし、重みが凍結されている場合、「学習可能な状態」は定義されない。著者らは、エージェントのワークスペース（読み書きおよびテストを行う構造化された外部基盤）を適応の対象とすべきであると主張する。これは、エージェントがオフラインデータなし、かつステップの巻き戻し能力なしに、厳格な行動予算内でゲームメカニクス、目標、ダイナミクスを発見しなければならないARC-AGI-3のようなベンチマークにおいて、特に関連性が高い。

手法：ワークスペース最適化

本論文は、ワークスペース最適化を提案する。これは、凍結されたモデルのエージェントがパラメータではなく、変更可能な構造化ワークスペースを編集することで適応するフレームワークである。このアプローチは、重み空間トレーニングの計算構造を反映しつつ、主要なコンポーネントを置換する。

• アーティファクトがパラメータに代わる。
• エビデンスがトレーニングデータに代わる。
• 反例が損失関数に代わる。
• テキストフィードバックが勾配に代わる。

学習可能な状態

エージェントは、凍結された言語モデル $M$ と、ツールおよびサンドボックスを提供するハネス $H$ からなるタプル $(M, H)$ としてモデル化される。ステップ $t$ におけるワークスペース $W_t$ は、以下の構成要素からなる。

1. プログラム ($P_t$): 再利用可能な実行可能アーティファクト（例：観測パーサー、ダイナミクスシミュレーター、戦略）。
2. ログ ($L_t$): 要約、仮説、放棄された候補、未解決の質問。
3. トレースデータ ($D_t$): 観測、行動、報酬、反例の追加専用データセット。

学習ループは以下のように動作する。

1. 行動と予測: エージェントは $W_t$ と $D_t$ を読み、行動 $a_t$ を選択する。予測（例：「左へ移動すると状態 $z_{t+1}$ になる」）にコミットする。
2. 評価: 次の観測 $o_{t+1}$ を受け取ると、ハネスは予測を現実と比較する。
3. フィードバックとルーティング: 予測が失敗した場合、エラーはスカラー損失ではなく、失敗の原因となった特定のアーティファクト（インターフェース）へルーティングされる反例となる。これは、どの重みをどの程度更新するかではなく、どのアーティファクトを編集するかという「アドレス決定」によって、クレジット割り当て問題を解決する。
4. 修復と回帰: 責任ある役割は、自身のアーティファクトを編集する（例：Python 関数のパッチ適用）。重要なのは、ハネスが過去の遷移の回帰セット ($R_t$) を維持することである。新しいパッチは、受け入れられる前に、以前に解決されたケースを壊さないことを確認するため、このセットに対して再生される。

DREAMTEAM アーキテクチャ

著者らは、このフレームワークをDREAMTEAMとして具体化した。これは ARC-AGI-3 向けのマルチエージェントハネスである。このシステムはエージェントを 6 つの役割に分解し、それぞれがワークスペース内の特定の「サーフェス」（型付きスロット）を所有する。

• オブザーバー: 生の観測を構造化された状態 ($z_t$) に解析し、レンダリングロジックを所有する。
• シミュレーター: 隠れた状態 ($h_t$) を追跡し、ダイナミクスモデル（次の状態の予測）を所有する。
• 帰納的探検家 (IE): 再利用可能な戦略とサブゴールのライブラリを維持する。
• 転帰的探検家 (TE): 世界モデルが未熟な場合に、情報を求めるプローブを提案する。
• クリティック: アーティファクトを監査し、失敗を所有者へルーティングし、回帰を警告する。
• チームリーダー (TL): 提案を裁定し、最終的な行動にコミットする。

このシステムは、コミット後に遡及予測するループを採用する。シミュレーターはダイナミクスプログラムにコミットする。次の観測が予測と矛盾する場合、シミュレーターはコードをパッチする。クリティックは、回帰セットを通じてパッチが過去のエビデンスと整合していることを保証する。ゲームの序盤では、不確実性を低減するためにプローブ（TE）が優先され、世界モデルが安定するにつれて、制御はモデルベースの計画（IE/TL）へと移行する。

主要な貢献

1. ワークスペース最適化フレームワーク: 型付きアーティファクトの構造化ワークスペースを編集することにより、凍結モデルのエージェントを適応させることの形式化。これは、クレジット割り当てを勾配更新ではなく、どのアーティファクトを編集するかというアドレス決定として再定義する。
2. DREAMTEAM: このフレームワークのマルチエージェント実装。DreamerV3 に着想を得たアーキテクチャを特徴とし、役割が観測、ダイナミクス、戦略、プローブ、批判、裁定をそれぞれ所有する。
3. 効率的な最先端のパフォーマンス: 25 ゲームの ARC-AGI-3 公開セットにおいて、DREAMTEAM は38.4% の RHAE（相対的人間行動効率）を達成し、プロトコル一致の以前のベースラインである 36% を上回った。注目すべきは、ゲームあたりの環境行動数が 31% 少ない（444 対 643）という点であり、優れた計画効率を示している。

結果

• パフォーマンス: 2 回の独立した実行の平均において、DREAMTEAM は ARC-AGI-3 公開セットで 38.4% の RHAE に到達し、Symbolica の Agentica SDK ベースラインの 36.08% と比較された。
• 効率性: システムはレベルを解決するために、はるかに少ない行動を必要とした。成功して解決されたレベルにおいて、DREAMTEAM はレベルあたり平均 54.1 回の行動であったのに対し、ベースラインは 100.1 回であった。
• 行動予算: システムは、24 時間の実行の最初の約 5 時間において、一致した予算の人間参照を上回るが、最終的には人間が先行する。これは、現在のシステムが各遷移で再構築するのに対し、人間はより強力なレベル間転移能力を持っているためである。

意義と主張

本論文は、ワークスペース最適化が、モデルが固定されている設定に特化した、数十年にわたる重み空間学習と並行する研究課題を開拓すると主張している。ワークスペースを学習可能な対象として扱うことで、システムは適応を明示的かつ実行可能にする。すべての予測は書かれたコミットメントとなり、すべての矛盾は型付きの修復となり、すべての修復は過去のエビデンスに対して検証される。

著者らは、その結果がシステムの知能の限界ではなく、時間とコストの予算によって制約されていることを強調している。彼らは、この手法がモデルが固定され、学習がワークスペースを通じて行わなければならないインタラクティブな設定向けに設計されていると指摘する。本論文は、すべての ARC-AGI-3 の課題を解決したり、さらなる研究なしにすべてのインタラクティブ領域に一般化したりするとは主張していないが、重みの更新やオフライントレーニングデータを必要としない「テスト時適応」の実用的な道筋を確立している。

この研究は、ケースバンクや自己書き換えコードなどの先行するテスト時適応手法と区別される。それは、失敗のルーティングに型付きで名前付きのアーティファクトを使用することで、オープンな失敗帰属問題を回避し、歴史的エビデンスとの整合性を保証するために回帰チェックを強制する点にある。