Repair the Amplifier, Not the Symptom: Stable World-Model Correction for Agent Rollouts

技術要約：症状ではなく、増幅器を修理せよ

問題の定式化
エージェント・プランニングが、短いツールチェーンから数千ステップに及ぶ持続的なワークフローへと進化するにつれ、失敗は孤立した予測の中ではなく、巨大なプランニング・グラフの中で発生するようになっています。エラーが発生するたびにグラフ全体を再計画することは、計算コストが極めて高く、非効率的です。それは過剰なコンテキスト予算を消費し、大規模言語モデル（LLM）を無関係な症状にさらすことになり、ロングコンテキストの検索性能を低下させるリスクがあります。

対処すべき核心的な問題は、**ワールドモデルの修正（World-Model Correction）**です。すなわち、失敗したプランニング・グラフの中から、残りのシステムを安定させるための最小かつ連結された部分グラフを特定することです。課題は、目に見える症状（即時的なエラーが高いノード）と、根本的な「増幅器（amplifiers）」（後続のロールアウトにおいてエラーを再増幅させる部分グラフ）を区別することにあります。高エラーノードを単にスキャンしたり、局所的な近傍を拡張したりするエンジニアリング的手法は、多くの場合失敗します。なぜなら、それらは症状をパッチで修正する一方で、因果的な増幅経路をアクティブなまま残してしまうため、エラーの再発を招くからです。

手法：WM-SAR
本論文では、**WM-SAR（World-Model Subgraph Amplification Repair：ワールドモデル部分グラフ増幅修復）**を提案します。これは、目に見える症状から前方へではなく、エラーの増幅から後方へ向かって機能するコレクターです。この手法は2つのフェーズで動作します。

1. グラフベースの領域選択（フェーズ1）：

   • 理論的根拠： このアプローチは、ロールアウトのエラー成長が、結合されたノード・エッジ演算子のスペクトル半径（$\rho(B)$）によって制御されるという観察に基づいています。もし $\rho(B) > 1$ であればエラーは増幅し、$\rho(B) \le 1$ であれば減衰します。目標は、除去することで残留スペクトル半径 $\rho(B_{G_f \setminus R})$ を最小化する部分グラフ $R$ を見つけることです。
   • スコアリング： WM-SARは、観測されたエラーの大きさと、そのノードの近傍における局所スペクトル半径の積として定義される**グラフエラー増幅場（GEAF）**スコアを各ノードに対して算出します。また、ノードとエッジのチャネル間の超加法的な相互作用を測定するために、結合係数（$\kappa_v$）も計算します。
   • 貪欲な拡張： 高スコアのシードから開始し、アルゴリズムは限界スペクトル緩和（$\Delta\rho_{rel}$）、すなわち残留スペクトル半径の減少量を最大化する境界ノードを順次追加することで、修復領域を貪欲に拡張します。このプロセスは、予算制約を満たすか、あるいはこれ以上の緩和ができなくなるまで継続されます。
   • 枝刈り： スペクトル緩和に寄与しない冗長なノードは削除され、領域のコンパクトさが確保されます。

2. LLMによる修復（フェーズ2）：

   • 最適な部分グラフ $R^*$ が特定されると、この連結された領域のみがシリアライズされてLLMに渡されます。LLMには、根本原因を特定し、構造化された修復決定を下すことが課されます。これは、失敗したトレース全体をシリアライズして、無関係なダウンストリームの症状にトークンを浪費するフルグラフ・アプローチとは対照的です。

主な貢献

• 問題の定式化： ワールドモデルの修正を、単にフルグラフを再計画したり最大のエラーをパッチしたりすることではなく、残りのワールドモデルを安定させる最小の連結領域を見つけるという、制約付き最適化問題として再定義しました。
• エンジニアリング・ベースライン： 厳格な比較対象を確立するために、Top-K、スライディングウィンドウ、k-hop近傍、カスケードスキャンを含む強力なエンジニアリング・コレクター群を実装し、評価しました。
• WM-SAR アルゴリズム： GEAFとノード・エッジ結合を用いて「増幅器」部分グラフを特定する、スペクトル・グラフ・アプローチを導入しました。また、残留スペクトル半径がプランニングの悔恨（regret）を制御するという理論的証明を提供しました。
• 実証的証拠： WM-SARが、フルグラフのLLM修復や大規模な近傍スキャンが必要とするトークンのごく一部を使用しながら、グラフ全体の安定化に近い成果を達成することを実証しました。

結果
実験は、プランナー・エグゼキューター・バリデーターのワークフローを模した合成ヘテロジニアス・コーリングツリー・テストベッド、およびSWE-bench、WebArena、AgentBenchに着想を得たトポロジーを用いて行われました。

• 安定性 vs 症状のパッチ適用： エンジニアリング・コレクター（例：Greedy-Point、ウィンドウベース）は、即時的なエラーの低減には成功しますが、増幅チャネルをアクティブなままにするため、長期的なエラー曲線を平坦化することにはしばしば失敗します。一方、残留スペクトル半径をターゲットとするWM-SARは、エラー曲線を平坦化し、エラーの再増殖を防ぎます。
• トークン効率： WM-SARは、GPT-4o-miniを用いた実験において、フルグラフのLLM修復と同等またはそれ以上の根本原因の回復を実現しながら、大幅に少ないトークン量（例：フルグラフのプロンプトの約2157トークンに対し、約855トークン）で動作します。
• 予算への感度： 厳しい修復予算の下では、WM-SARは小さな領域サイズ（例：約8ノード）で高いスペクトル緩和に到達しますが、エンジニアリング手法が同様の安定性を得るには、より大きな領域（しばしばグラフ全体のカバーに近い規模）を必要とします。
• モデル間の堅牢性： WM-SARの性能上の優位性は、異なるLLMティア（GPT-4o, GPT-4o-mini, Gemini-1.5-Flash）にわたって維持されており、この利点が特定のモデルの癖ではなく、より優れたコンテキスト選択に由来することを示しています。
• 限界： 本手法は、観測可能なノードごとのエラー信号に依存しています。最終的な回答のみが既知であるブラックボックス属性シナリオ（例：「Who&When」ベンチマーク）では、GEAFスコアを計算できないため、WM-SARの性能は低下し、単純なシンクノード選択に近い挙動に戻ります。

意義と主張
本論文は、現在のエージェント修復戦略の主要な失敗モードは、修復対象（目に見える症状）と安定性の目的（残留増幅）の間の不一致にあると主張しています。修復の焦点を「増幅器を修理する」ことにシフトすることで、WM-SARは、コストのかかるフルグラフの再計画を行うことなく、長いホライゾンにわたって安定したワールドモデルを維持することを可能にします。

著者らは、このアプローチがヒューリスティックなスキャンに代わる原理的な選択肢を提供し、因果的な架け橋を保持しつつ、邪魔なダウンストリームのノイズを除去した「よりクリーンな」修復対象をLLMに提供すると主張しています。本研究は、将来のエージェント・システムは、単に最も目に見える失敗に反応するのではなく、エラーを伝播させる構造的なオペレーターを特定し、修理することを優先すべきであることを示唆しています。