技術的要約：世界モデルの崩壊としての相転移

1. 問題提起

長期間のタスクを実行する言語エージェントは、タスクの複雑さが増すにつれて段階的に失敗していくことが頻繁に観察される。これは通常、局所的なエラー（ReActやReflexionスタイルのエージェントなど）の緩やかな蓄積に起因するとされている。本論文はこの「緩やかなドリフト」という物語に異を唱える。本論文は、長期間のエージェントが、その内部世界モデルにおいて相転移を起こしている可能性を提示している。

核心となる仮説は、エージェントは多くのステップにわたって一貫した内部状態を維持し、妥当な行動を選択できるが、ある臨界閾値を超えると状況が変わるというものである。この閾値を超えると、状態負荷（state load）や依存密度（dependency density）のわずかな増加によって、突然の**世界モデルの崩壊（world-model collapse）**が発生する。この状態において、エージェントは流暢に推論を継続するものの、その推論の対象となっている世界の内部表現が破損してしまう。その結果、エージェントは単に「悪い行動選択」をしているのではなく、「間違った世界」に基づいて行動することになる。本論文は、最終的な成功スコアだけでは不十分な診断指標であると主張する。なぜなら、それらは「プランニングのエラーによる失敗」と「世界状態の破損による失敗」を区別できないからである。

2. メソドロジー

実験環境：StatefulPuzzle

構造的な要因（ホライゾン長やインターフェースのノイズなど）から混同変数を取り除くため、著者らは、ステップごとの「ゴールド（正解）」の世界状態が厳密に定義された決定論的な環境であるStatefulPuzzleを構築した。

• 状態数（State Cardinality, SC）： ワーキングメモリ内で共同で扱える必要があるエンティティ（部屋、コンテナ、アイテム）の数。
• 依存密度（Dependency Density, DD）： 各サブゴールを現在の世界状態に結びつける前提条件の数。
• 制御変数： ホライゾン（$T$）、分岐係数、観測モード（クリーン、コンフリクト、ディストラクター、部分的）、および変異率。

この環境は、単調性、モデル間の形状の一致、および成功率の最低20パーセントポイントの低下という基準に基づき、3つの候補（GraphNav, ToolDAG, StatefulPuzzle）の中からパイロット研究を経て選定された。

エージェント・アーキテクチャ

エージェントは以下の3つのコール・ループで動作する：

1. プランナー（Planner）： 構造化されたメモリに基づき、次の行動と予想される状態変化を提案する。
2. アップデーター（Updater）： シミュレータのステップ実行後、明示的なワーキングメモリを書き換える。
3. 自己診断（Self-Diag）： 非ブロッキングの妥当性判断を記録する。

このアーキテクチャにより、表現の失敗（世界状態の忠実度）と行動の失敗（選択された動作の妥当性）を分離して評価することが可能となる。

評価プロトコル

• グリッドサーチ： SC ($\{5, 10, 20, 40\}$) および DD ($\{1, 2, 4, 6\}$) に関して、高密度なグリッドサーチを実施した。
• 指標：
  • 秩序パラメータ（Order Parameter）： タスク成功率 ($p_\theta$)。
  • 先行指標（Precursor）： 世界状態の忠実度 ($R_t$)。エージェントの内部状態とゴールドの状態との一致度として測定。
  • 時間的順序（Temporal Ordering）： 世界状態の失敗時刻 ($\tau_W$) と最初の無効な行動の発生時刻 ($\tau_A$) の比較。
• モデル： 実験は主に claude-haiku-4-5 で行われ、gpt-4o-mini, GPT-4o, Llama-3 70B を用いたクロスモデル検証も実施された。

3. 主な貢献

1. 崩壊の相転移としての定式化： 本論文は、長期間のエージェントの失敗を、滑らかな劣化曲線ではなく、世界モデルの容量における二次元的な相転移として定義している。これは、解決されたプラトー（平坦部）、狭い臨界遷移帯、および崩壊フロアによって特徴付けられる。
2. 制御された評価フレームワーク： 状態負荷（SC）と依存負荷（DD）を分離して評価し、各ステップで世界状態の精度と行動の妥当性をログに記録する手法を導入した。これにより、表現の先行指標を検出することを可能にした。
3. 時間的先行指標の特定： 本研究は、世界状態の崩壊がプランの崩壊に先行することを示している。エージェントの内部表現は、無効な行動を実行する前に失敗しており、一見すると行動選択のエラーに見えるものが、実は表現の失敗であることが判明した。
4. モデル能力による境界の移動： より強力なモデルは、臨界境界をシフトさせる（容量閾値を高める）が、質的な相転移の構造自体は維持されることを示している。

4. 主な結果

相図（The Phase Diagram）

確認のためのグリッド解析により、明確な幾何学的構造が明らかになった：

• 解決されたプラトー（Solved Plateau）： 低SCにおいては、エージェントはすべてのDDレベルにわたってタスクを解決する。
• 崩壊フロア（Collapse Floor）： 高SCにおいては、エージェントはDDに関わらず失敗する。
• 狭い遷移帯（Narrow Transition Band）： SC=10からSC=20の間に鋭い崖が存在する。claude-haiku-4-5 の場合、臨界点 ($SC^\star$) は 13.5 付近に局在している。
• 幾何学： 遷移は緩やかな対角線的な減少ではなく、鋭い落下である。一度状態負荷が容量を超えると、依存密度を高めてもパフォーマンスはそれ以上低下しない（フロアは平坦である）。

時間的メカニズム

ステップごとのトレースにより、メカニズムが確認された：

• 非対称な失敗： 世界状態の忠実度は、最初の無効な行動が発生する前に、失敗の閾値を下回る。
• ラグ（遅延）： 世界状態の失敗が行動の失敗に対して先行する中央値は約2ステップである。
• 示唆： エージェントは悪い行動を選択しているのではなく、破損した世界モデルに基づいて行動している。

クロスモデルの堅牢性

• 境界の移動（Boundary Translation）： より強力なモデル（例：gpt-4o-mini, GPT-4o）は、臨界境界を高SC値（例：gpt-4o-mini は10代後半までシフト）へと移動させるが、プラトー・遷移・フロアという形状自体は同一である。
• 消失の不在： テストされたどのモデルも、崩壊を排除することはできなかった。彼らは単にそれを遅らせたに過ぎない。

二次的軸のアブレーション（Ablations）

• ホライゾン ($T$)： 「イネーブラー（実現因子）」として機能する（ステップ数が不足すると成功を防ぐ）が、相境界を定義するものではない。ホライゾンの微細なスキャンを行っても、SC軸に見られるような臨界点は見られなかった。
• 分岐（Branching）： 影響は軽微であり、探索ツリーの爆発が主要な原因ではないことを示した。
• 観測モード： 「可視性のゲート」として機能する。部分的観測（状態スロットを隠すこと）は大幅な低下を招き、状態の可視性が極めて重要であることを裏付けた。
• 変異率： 記述的な効果は見られたが、主要な駆動要因ではなかった。

5. 重要性と主張

本論文は、世界モデルの容量は、長期間のエージェントにおける測定可能かつモデル固有のボトルネックであると主張している。

• 失敗の再定義： 自然なタスクで見られる「ドリフト」は、鋭い相転移の誤認である可能性がある。自然なタスクで成功率を平均化すると、この境界が隠され、閾値による失敗が通常の難易度上昇のように見えてしまう。
• 診断の必要性： 最終的な成功スコアだけでは不十分である。信頼できる評価には、状態負荷と依存負荷を独立して変化させるストレス・グリッドと、先行指標（世界状態の失敗）を検出するためのステップごとの状態計測が必要である。
• 設計への示唆： 失敗の本質は表現にあるため、単にプランナーに「より高度に推論させる」だけでは解決しない可能性が高い。効果的な介入には、プランナーが失敗する前に、構造化されたメモリやプランナー・ソルバーのハイブリッド構成などを用いて、状態を外部化または分解する仕組みが必要である。
• 範囲の限定： 著者らは、これらの知見が制御された StatefulPuzzle 環境において確立されたものであることを明示している。相転移の幾何学的構造は、この設定内でのクロスモデル検証において堅牢であるが、軸が混同されやすい他のエージェント環境（WebArenaやSWE-benchなど）において、これが普遍的な法則であるとは主張していない。本研究は、普遍的な法則の提示ではなく、「クリーンな相転移テストベッド」を提供することを目指している。

要約すると、本論文は、エージェントの評価を「エージェントが最終的にどのような行動を取るか」を測定することから、「エージェントがどのような状態であると考えて行動しているか」を測定することへとシフトさせるべきであると主張しており、内部の世界モデルが崩壊する特定の地点を特定している。