ENCP: Episode-Normalized Conformal Prediction for Vision-and-Language Navigation

技术摘要：用于视觉与语言导航的剧集归一化符合预测 (ENCP)

1. 问题陈述

视觉与语言导航 (VLN) 使具身智能体能够利用自然语言指令在物理环境中进行导航。部署这些智能体的一个关键挑战在于不确定性估计。序列化导航容易产生复合误差；单个错误动作会改变智能体的状态及随后的观测结果，可能导致任务失败或物理碰撞。

虽然现代 VLN 策略实现了较高的成功率，但标准的置信度指标（如 softmax 概率）通常是未校准且过度自信的，特别是在部署环境与训练数据不同时。现有的自我监测机制依赖于经验启发式方法，而非形式化保证。

符合预测 (Conformal Prediction, CP) 提供了一个统计框架来生成具有保证覆盖率的预测集（即该集合以 $1-\alpha$ 的概率包含真实动作）。然而，标准 CP 假设数据点是可交换的。在 VLN 中，这一假设失效了，因为：

1. 步骤依赖性 (Step Dependence)： 单个剧集内的动作由于共享历史并对未来观测产生因果影响，在统计上是相关的。
2. 变长特性 (Variable Length)： 剧集的长度各不相同。
3. 步级聚合校准的失效 (Failure of Step-Pooled Calibration)： 将标准 CP 应用于单个步骤（跨剧集池化）无法提供在整条路径的每一步都包含正确动作的保证。它往往会出现覆盖不足的情况，即实际误差率超过了目标风险水平 $\alpha$。

2. 方法论：剧集归一化符合预测 (ENCP)

作者提出了 ENCP，这是一个无需改变底层导航策略的后训练框架。ENCP 通过将校准单元从单个步骤转向完整的剧集 (complete episodes)，解决了依赖性和变长问题。

核心机制：

1. 剧集级校准： ENCP 不再在单个步骤的池中进行校准，而是将单个剧集内所有步骤的非符合性得分 (nonconformity scores) 聚合为一个标量值。具体而言，它计算整个剧集中最大的归一化非符合性得分。这个单一数值代表了该轨迹的“最坏情况”偏差。
2. 置信度调整的得分归一化： 为了处理策略在不同步骤间变化的置信度，ENCP 通过策略的残差置信度对基础非符合性得分 ($s_{base}$) 进行缩放。
   • 无参数变体： 使用固定权重 $w(x_t) = 1 - p_{max}(x_t)$，其中 $p_{max}$ 是策略分配的最高概率。归一化得分为：
     $$s_{norm}(x_t, a) = \frac{s_{base}(x_t, a)}{1 + (1 - p_{max}(x_t))} = \frac{s_{base}(x_t, a)}{2 - p_{max}(x_t)}$$
   • 基于学习的变体： 使用神经网络根据熵、概率间隙和步骤索引等特征来预测权重，旨在识别那些虽然策略表现自信但实际错误的步骤。
3. 预测集生成：
   • 从校准集上的剧集级最大得分分布中计算出符合阈值 $\hat{q}(\alpha)$。
   • 在测试时，对于每个步骤 $t$，预测集 $C_\alpha(x_t)$ 包含所有满足 $s_{norm}(x_t, a) \le \hat{q}(\alpha)$ 的动作 $a$。
   • 行动或询问规则 (Act-or-Ask Rule)： 如果预测集的大小 $|C_\alpha(x_t)|$ 超过用户定义的预算 $\tau$，则智能体请求人类协助（或转交给模拟器）。否则，它继续自主运行。

理论保证：
在假设校准剧集与测试剧集是可交换的（例如，来自同一分布）的前提下，ENCP 保证在测试剧集的每一步中，真实动作被包含在预测集中的概率至少为 $1-\alpha$。这提供了同步轨迹覆盖 (simultaneous trajectory coverage)，这是一种比步级覆盖更强的保证。

3. 主要贡献

1. 识别标准 CP 的失效： 本文证明了由于剧集内的依赖性，标准步级池化的符合预测在 VLN 中无法满足覆盖保证，往往会导致严重的覆盖不足。
2. 开发 ENCP： 作者引入了一种剧集级校准方法，通过将得分按策略置信度进行缩放并利用最大算子进行聚合。这种构造确保了整个轨迹的同步覆盖。
3. 实证验证： 该方法在两个数据集 (R2R 和 REVERIE) 上对四种 VLN 策略 (DUET, HAMT, R-prev, R-osc) 进行了评估。研究包括：
   • 验证在“已见-未见”划分下的步级覆盖目标。
   • 比较无参数权重方案与基于学习的权重方案。
   • 通过一个模拟求助实验，展示了预测集大小如何触发人工干预以提高成功率。

4. 结果

• 覆盖目标： 在 R2R 和 REVERIE 的 val-unseen 分割集上，针对所有测试策略和非符合性得分 (THR, APS, RAPS)，ENCP 在可交换划分下成功达到了经验步级覆盖目标（例如，在 $\alpha=0.10$ 时实现 $\ge 90\%$ 的覆盖）。相比之下，标准 split CP 一致存在覆盖不足的问题。
• 分布偏移： 文中明确指出，虽然 ENCP 在可交换划分下能达到目标，但在**“已见-未见”设置**（即在已见的建筑上进行校准，在未见的建筑上进行测试）中，覆盖率会下降。在这种情况下，不假设剧集可交换性，因此形式化的覆盖保证并不严格成立，尽管 ENCP 仍优于标准 CP。
• 权重变体： 无参数权重方案（使用 $1-p_{max}$）实现的覆盖率与基于学习的变体相当，但产生的预测集更小，且无需额外的模型拟合。
• 求助效用： 在一个模拟实验中，当预测集大小超过阈值 $\tau$ 时，智能体向地面真值“先知 (oracle)”寻求帮助，其成功率显著提升。例如，在 DUET 模型上，通过降低触发查询的阈值，成功率从 71.2%（无帮助）提升至 98.8%（对每个非单元素集合进行查询），尽管这带来了更高的“询问率”。

5. 重要性与主张

本文声称 ENCP 提供了一种与模型无关 (model-agnostic) 的 VLN 不确定性量化方法，能够为依赖的、变长的轨迹提供形式化的有限样本覆盖保证。

• 安全性与可靠性： 通过提供统计有效的预测集，ENCP 使智能体能够识别不可靠的步骤，并在错误累积之前请求人类协助，从而解决了自主导航中的关键安全差距。
• 实际部署： 预测集的大小可以作为一个实用的信号用于干预。作者认为，这提供了一种在自主性与安全性之间可调节的权衡，使智能体能够“知晓自身的局限”。
• 局限性： 作者坦诚地指出，闭环评估依赖于模拟的先知而非人类操作员。此外，该方法假设动作空间是有限的，且覆盖保证是针对剧集分布的边际保证，这意味着在发生显著分布偏移（如未见建筑）时，如果不进行重新校准，该方法可能无法完美保持覆盖率，这一点从观察到的“已见-未见”设置下的覆盖率下降中得到了证实。

总之，ENCP 弥补了理论不确定性保证与 VLN 实际序列性质之间的鸿沟，为安全的智能体部署提供了一种鲁棒的机制。