技术摘要：行动前先询问世界：用于世界模型校准的有预算环境探测

1. 问题陈述

长程语言智能体（如 ReAct, Reflexion, LATS）维持着一个隐式或显式的内部世界模型，以指导决策。一个关键的失效模式在于，由于外生变化或未观察到的突变，其内部模型会从实际环境状态中“漂移”。一旦智能体基于过时的前提进行规划，随后的失败表现为错误的最终行动，尽管根源发生在早期的信念状态中。

核心挑战在于，环境包含了纠正这些信念所需的缺失证据，但访问该证据是有成本的。每一次与环境的交互（即一次“探测”）都会消耗一个有限的规划步数，这直接与推进任务的行动相竞争。一个探测过少的智能体会基于过时的信念自信地行动；而一个探测过多的智能体会为了验证世界而非改变世界而耗尽其预算。现有方法通常仅将环境交互视为推进任务的手段，或者依赖于不可靠的自我报告置信度（这可能存在失准问题）来决定何时进行查询。

2. 方法论：EnvProbe

作者引入了 EnvProbe，这是一种针对具有显式、结构化信念表的智能体设计的有预算的探测算子。与检索增强或用户查询不同，EnvProbe 将环境本身视为证据来源，通过选择在提交下一个任务行动之前需要验证的已填充信念字段来进行操作。

2.1 评分机制

在每个规划步骤中，EnvProbe 根据四个归一化组件为每个信念字段 $i$ 分配探测分数 $\rho_i(t)$：

1. 关键性 ($c_i$)： 源自任务重要性权重。
2. 陈旧性 ($s_i(t)$)： 智能体对该字段经过多久未被检查的估计。
3. 口头表达的不确定性 ($u_i(t)$)： $1 - \text{置信度}$，代表模型的自我报告不确定性。
4. 依赖角色 ($d_i(t)$)： 指示该字段是直接阻碍者、传递依赖项，还是与下一个计划行动无关。

该分数分解为由任务图和行动轨迹衍生的结构部分 ($\rho_{str} = c + d$) 和由模型内部状态衍生的自我报告部分 ($\rho_{self} = s + u$)。

2.2 算法

• EnvProbe-Simple： 一种贪婪阈值策略，如果分数超过阈值 (1.5) 且探测预算仍有剩余，则探测得分最高的字段。
• EnvProbe-Judge： 变体版本，其中一个次级“评判”模型审查候选对象和信念表，以提供二进制覆盖（binary override），测试上下文批判者是否能提供超出显式分数之外的信号。
• 消融实验： 变体包括移除自我报告项（仅结构化）或仅使用不确定性策略，以隔离每个组件的贡献。

2.3 理论框架

论文形式化了一个类型分层的探测-行动理论 (Type-Stratified Probe-Action Theory)，区分了以下类型：

• 程序性信念 (Procedural Beliefs)： 与行动相关的状态（例如，工具依赖项、子目标）。这些通常可以通过行动轨迹获得信息。
• 空间性信念 (Spatial Beliefs)： 外生状态（例如，物体位置、图边）。这些在智能体的历史记录中留下的痕迹通常较弱。

该理论确立了一个探测-行动前沿 (Probe-Action Frontier)：这是一个帕累托权衡，即通过探测增加信念准确性的过程，必然会减少用于执行任务的可用步数。作者证明，探测的价值取决于评分函数的“边际选择质量”，并且自我报告的不确定性在模型处于“自信地错误”时可能充当“反向信号”。

3. 核心贡献

1. EnvProbe 算子： 一种有预算的机制，允许语言智能体通过查询特定的信念字段来主动修复结构化世界模型。
2. 类型分层分析： 一个数学化的解释，将信念修复与任务行动位移分离，证明了结构性线索比自我报告的不确定性更可靠，特别是在处理空间信念时。
3. 诊断环境与指标： 受控环境（ObjectStateWorld, ToolDAGWorld, GraphNavWorld）暴露了金标准（gold）字段状态，从而能够独立于最终任务成功率来测量世界状态的准确性和“崩溃起始点”。
4. 实证证据： 证明了结构化探测分数能降低终端信念误差，而自我报告的不确定性往往会导致探测分配错误，尤其是在程序化语境中。

4. 实验结果

实验在三种具有不同突变率（低、中、高压力）的环境中进行。

• 程序化任务 (ToolDAGWorld)：

  • 与周期性探测相比，EnvProbe-Simple 将最终状态的世界准确度提升了 +11.76%。
  • 结构化信号 ($c+d$) 是成功的核心驱动力。移除口头表达的不确定性 ($u$) 会进一步提高信念准确度（达到 0.488），但显著降低了任务成功率（降至 8.2%），这证实了不确定性是一个带有噪声的信号，会导致过度探测。
  • “仅结构化”变体实现了最高的观测信念准确度 (0.491)，同时保持了与完整评分相当的任务成功率。

• 空间任务 (GraphNavWorld, ObjectStateWorld)：

  • 增益较小（+3.79%）但较为可靠。
  • 自我报告的不确定性几乎没有提供收益，因为外生空间变化在行动历史中留下的痕迹很弱。
  • 结构化线索仍然有效，尽管帕累托前沿塌陷为一个支配关系，即结构化方法在准确度和任务成功率方面均优于其他方法。

• 崩溃动态 (Collapse Dynamics)：

  • 在空间情景中，世界状态的漂移平均领先于行动有效性崩溃 +2.42 步，验证了早期探测的效用。
  • 在程序化情景中，单个错误的先决条件就可能在聚合准确度下降之前使下一个行动失效，凸显了针对性、依赖感知探测的需求。

• 置信度校准：

  • “自信地错误”率极高 ($\approx 94\%$)，这意味着智能体经常对错误的信念持有高度自信。仅基于不确定性的策略因设计原因无法探测这些字段，导致表现不佳。

5. 意义与主张

论文声称 EnvProbe 提供了一种原则性的方法，将环境交互视为一种稀缺的校准资源，而非仅仅是推进任务的机制。

• 意义： 该工作挑战了“自我报告的置信度是获取信息的可靠指南”这一假设。相反，它主张采用类型感知的探测策略，优先考虑结构化任务线索（依赖项和关键性），而非内部不确定性估计。
• 适度的主张： 作者明确指出 EnvProbe 并非一种新的 POMDP 解算器，而是对 LLM 衍生的探测分数何时可靠的一种经验性和理论性的刻画。他们承认，即使使用最优探测（Oracle-Probe），世界状态的准确度也无法达到 1.0，这意味着即使有此机制，安全关键型部署仍需要额外的保障措施。
• 实际影响： 对于下游规划器会消耗修复后的信念状态的智能体，结构化探测分数更为优越。然而，如果绑定目标是完成任务，则必须仔细调整探测预算，以避免取代必要的任务行动。

论文得出结论，并非固定的“正确”探测率，而是取决于下游目标（校准的信念 vs. 完成的任务）以及信念类型的具体性质（程序化 vs. 空间性）。