技術要約：行動前の世界への問いかけ：予算化された環境プロービングによる世界モデルの較正

1. 問題提起

長期間のタスクを遂行する言語エージェント（例：ReAct, Reflexion, LATS）は、意思決定を導くために、暗黙的または明示的な内部世界モデルを保持している。決定的な失敗モードは、外生的な変化や観測されない変異によって、この内部モデルが実際の環境状態から「ドリフト（乖離）」したときに発生する。エージェントが古い前提に基づいて計画を立てると、その後の失敗は「悪い最終アクション」として現れるが、根本的な原因はそれ以前の信念状態に存在する。

核心となる課題は、環境にはこれらの信念を修正するための欠落した証拠が含まれているが、それにアクセスするにはコストがかかることである。環境との相互作用（「プローブ」）を行うたびに、エージェントは限られた計画ホライゾンからステップを消費し、タスクを進めるためのアクションと直接競合することになる。プローブが少なすぎるエージェントは、古い信念に基づいて自信を持って行動してしまい、プローブが多すぎるエージェントは、世界を検証するために予算を使い果たしてしまい、タスクを実行できなくなる。既存の手法は、環境との相互作用を単にタスクを進める手段として扱うか、あるいは（誤較正される可能性がある）信頼性の低い自己報告型の確信度に頼ってクエリを行うべきかを判断することが多い。

2. 手法：EnvProbe

著者らは、明示的かつ構造化された信念テーブルを持つエージェントのために設計された、予算化されたプロービング演算子である EnvProbe を導入する。Retrieval Augmentation（検索拡張）やユーザーへのクエリとは異なり、EnvProbeは環境自体を証拠源として扱い、次のタスクアクションを実行する前に、どの既に格納されている信念フィールドを検証すべきかを選択する。

2.1 スコアリングメカニズム

各計画ステップにおいて、EnvProbeは以下の4つの正規化されたコンポーネントに基づいて、各信念フィールド $i$ に対するプローブスコア $\rho_i(t)$ を割り当てる。

1. 重要度 ($c_i$): タスクの重要度ウェイトから導出。
2. 陳腐化 ($s_i(t)$): フィールドが最後にチェックされてからの経過時間のエージェントによる推定値。
3. 言語化された不確実性 ($u_i(t)$): $1 - \text{確信度}$。モデルの自己報告による不確実性を表す。
4. 依存関係の役割 ($d_i(t)$): そのフィールドが直接的なブロッカー（阻害要因）か、推移的な依存関係か、あるいは次の計画アクションとは無関係であるかを示す。

スコアは、タスクグラフとアクショントレースから導かれる構造的部分 ($\rho_{str} = c + d$) と、モデルの内部状態から導かれる自己報告部分 ($\rho_{self} = s + u$) に分解される。

2.2 アルゴリズム

• EnvProbe-Simple: グリーディな閾値ポリシーであり、スコアが閾値（1.5）を超え、かつプローブ予算が残っている場合に、最もスコアの高いフィールドをプローブする。
• EnvProbe-Judge: 二次的な「ジャッジ」モデルがトップの候補と信念テーブルをレビューし、バイナリのオーバーライド（上書き）を提供するかどうかをテストするバリアント。これにより、明示的なスコア以上にコンテキスト・クリティック（文脈的批評家）が信号を追加できるかを検証する。
• アブレーション研究: 各コンポーネントの寄与を分離するために、自己報告項を除去したもの（Structural-only）や、不確実性のみを用いたポリシーなどのバリアントが含まれる。

2.3 理論的枠組み

本論文は、以下の違いを区別する**型層別プローブ・アクション理論（Type-Stratified Probe-Action Theory）**を定式化している。

• 手続き的信念 (Procedural Beliefs): アクションに依存する状態（例：ツールの依存関係、サブゴール）。これらは多くの場合、アクショントレースを通じて情報を得られる。
• 空間的信念 (Spatial Beliefs): 外生的な状態（例：物体の位置、グラフのエッジ）。これらはエージェントの履歴に弱い痕跡しか残さないことが多い。

この理論は、**プローブ・アクション・フロンティア（Probe-Action Frontier）**を確立する。これは、プロービングによる信念精度の向上が、タスク実行に利用可能なステップ数を必然的に減少させるというパレート的なトレードオフである。著者らは、プロービングの価値がスコア関数の「限界選択品質（marginal selection quality）」に依存すること、および自己報告された不確実性が、モデルが自信を持って間違っている場合には「アンチ・シグナル（逆信号）」として機能することを証明している。

3. 主な貢献

1. EnvProbe オペレータ: 特定の信念フィールドに対して環境を照会することで、構造化された世界モデルを能動的に修復するための、予算化されたメカニズム。
2. 型層別分析: 信念の修復とタスク・アクションの置換を数学的に分離し、構造的な手がかりが自己報告された不確実性よりも（特に空間的信念において）信頼できることを示す分析。
3. 診断環境とメトリクス: ゴールド標準のフィールド状態を露出させる制御された環境（ObjectStateWorld, ToolDAGWorld, GraphNavWorld）により、最終的なタスク成功率とは独立して、世界状態の正確性と「崩壊の開始（collapse onset）」を測定することを可能にした。
4. 実証的証拠: 変異率（低、中、高ストレス）が異なる3つの環境における実験結果。

4. 実験結果

実験は、変動する変異率を持つ3つの環境で実施された。

• 手続き的タスク (ToolDAGWorld):

  • EnvProbe-Simpleは、定期的プロービングと比較して、エンドステートの世界の正確性を +11.76% 向上させた。
  • 構造的信号 ($c+d$) が成功の主要な原動力であった。言語化された不確実性 ($u$) を除去すると、信念の正確性はさらに向上（0.488へ）したが、タスクの成功率は大幅に低下（8.2%へ）した。これは、不確実性がノイズの多い信号であり、過剰なプロービングを招くことを裏付けている。
  • 「Structural-only」バリアントは、フルスコアと同等のタスク成功率を維持しながら、観察された中で最も高い信念正確性（0.491）を達成した。

• 空間的タスク (GraphNavWorld, ObjectStateWorld):

  • 向上幅は小さかったが（+3.79%）、信頼できるものであった。
  • 外生的な空間変化はアクション履歴に弱い痕跡しか残さないため、自己報告された不確実性はほとんど恩恵をもたらさなかった。
  • 構造的な手がかりは依然として有効であったが、パレート・フロンティアは、構造的手法が正確性とタスク成功率の両方において他の手法を凌駕するという支配関係へと収束した。

• 崩壊のダイナミクス (Collapse Dynamics):

  • 空間的なエピソードでは、世界状態のドリフトがアクションの妥当性の崩壊に平均 +2.42ステップ 先行して発生しており、早期プロービングの有用性を裏付けた。
  • 手続き的なエピソードでは、単一の誤った前提条件が、集計的な正確性が低下する前に次のアクションを無効化することがあり、ターゲットを絞った依存関係重視のプロービングの必要性を浮き彫りにした。

• 確信度の較正 (Confidence Calibration):

  • 「自信満々な間違い（Confident-Wrong）」の割合が極めて高く（$\approx 94\%$）、エージェントはしば理に、誤った信念に対して高い確信度を持っていることが分かった。不確実性のみに基づくポリシーは、設計上これらのフィールドをプローブしないため、結果としてパフォーマンスの低下を招いた。

5. 意義と主張

本論文は、EnvProbe が、環境との相互作用を単なるタスク進行メカニズムとしてではなく、予算化された較正リソースとして扱うための原則的な方法を提供するものであると主張している。

• 意義: 本研究は、情報の収集において、自己報告された確信度が信頼できるガイドであるという仮定に異を唱えるものである。代わりに、内部の不確実性推定よりも、構造的なタスクの手がかり（依存関係や重要度）を優先する**型認識型（type-aware）**のプロービング戦略を提唱している。
• 控えめな主張: 著者らは、EnvProbeは新しいPOMDPソルバーではなく、LLM由来のプローブスコアがいつ信頼できるかについての経験的かつ理論的な特性評価であることを明示している。彼らは、最適なプロービング（Oracle-Probe）を行ったとしても、世界状態の正確性が1.0に達することはないと述べており、安全性が重要なデプロイメントにおいては、このメカニズムを超えたガードレールが必要であることを認めている。
• 実用的な示唆: 下流のプランナーが修復された信念状態を消費する場合、構造的なプローブスコアの方が優れている。しかし、結合された目的がタスクの完了である場合、プローブの予算は、必要なタスクアクションを妨げないよう慎重に調整する必要がある。

結論として、「正しい」プローブ率は固定されたものではなく、下流の目的（較正された信念か、完了されたタスクか）および信念の型（手続き的か空間的か）の性質に依存する。