技术摘要：CST-WM：一种用于具身视觉追踪的因果结构化世界模型

1. 问题定义

具身视觉追踪要求机器人从自我中心观测中跟随移动目标，同时保持可见性、调节跟随距离并确保在杂乱、部分可观测环境中的安全性。核心挑战并不在于目标清晰可见时，而是在发生临时遮挡、视野漂移或目标与干扰物混淆时。在这些场景下，机器人在可靠证据再次出现之前，必须对未来的目标可观测性和表观尺度进行预测性决策。

作者识别了现有动作条件序列预测模型中存在的一种特定失效模式，称之为因果幻觉（causal hallucination）。在标准的世界模型中，机器人控制动作与目标相关观测之间的强相关性会导致模型将目标证据直接幻觉为由当前动作产生的因果效应。模型并没有让动作仅通过机器人运动改变观测这一物理机制来影响未来的目标证据，而是通过直接将动作信息注入目标状态来“走捷径”。这导致生成的未来展开虽然看起来合理，但对于面向追踪的规划而言具有错误的语义，无法区分能够维持可见性的动作序列与不能维持可见性的序列。

2. 方法论：CST-WM

为了解决因ual幻觉问题，作者提出了 CST-WM（因果结构化世界模型），它为规划表示强制执行了一种结构约束。

2.1 因果分解与状态表示

该模型将潜状态 $S_\ell$ 分解为三个独立的支路：

1. 目标证据支路 ($H_\ell$)： 一个源自当前观测的紧凑表示，由检测置信度分数（来自 GroundingDINO）和归一化目标面积（作为表观尺度/距离的代理）组成。至关重要的是，该支路不是完整的外部状态估计，而是可观测性和尺度的摘要。
2. 机器人支路 ($x_\ell$)： 代表机器人的运动学状态，通过动作历史集成而成。
3. 观测支路 ($Z_\ell$)： 通过预训练 VAE 编码的视觉潜表示。

2.2 因果结构化转换

其核心创新在于对转换动力学的因子分解，以防止直接动作注入到目标证据支路中。转换定义为：
$$p(H_{\ell+1}, x_{\ell+1}, Z_{\ell+1} | H_\ell, Z_\ell, x_\ell, a_\ell) = p(H_{\ell+1} | H_\ell, Z_\ell, x_\ell) \cdot p(x_{\ell+1} | x_\ell, a_\ell) \cdot p(Z_{\ell+1} | Z_\ell, H_{\ell+1}, x_{\ell+1})$$

关键架构约束包括：

• 非泄漏约束： 目标证据支路 $H_{\ell+1}$ 的更新以先前状态和机器人状态为条件，但明确排除了当前动作 $a_\ell$。在数学上，$\frac{\partial \hat{H}_{\ell+1}}{\partial a_\ell} = 0$。
• 动作路径： 动作仅通过间接方式影响未来的目标证据：$a_\ell \to x_{\ell+1} \to Z_{\ell+1}$（随后通过观测影响 $H_{\ell+1}$）。
• 单层架构： 支路按固定顺序（目标证据 $\to$ 机器人 $\to$ 观测）进行更新，并配合严格的掩码机制，以确保没有任何携带动作信息的表示进入目标证据的更新过程。

2.3 训练与规划

• 训练： 模型使用扩散概率模型 (DDPM) 在转换元组 $(O_\ell, a_\ell, O_{\ell+1})$ 上进行训练。引入了一个辅助的距离感知损失，由仅限模拟器的相对距离标签监督，以提高目标证据代理与实际距离之间的相关性。这种监督仅在训练期间使用；测试时并无特权几何信号可用。
• 规划： 系统采用基于交叉熵方法 (CEM) 的模型预测控制 (MPC)。规划器使用学习到的动力学展开候选动作序列，并根据奖励目标可见性 ($H_{vis}$)、适当表观尺度 ($H_{area}$)、动作有效性和安全性的价值函数进行评分。在递推时界方式下执行最佳序列的第一个动作。

3. 核心贡献

1. 提出因果幻觉概念： 本文识别并形式化了“因果幻觉”这一问题，即在面向追踪的动作条件世界模型中存在的特定结构性失效，其中模型会将控制信号与目标证据混淆。
2. CST-WM 架构： 提出了一种因果结构化世界模型，通过显式阻断动作直接注入目标证据支路，确保目标证据仅通过自我运动对观测的影响来演化。
3. 紧凑的面向规划的表示： 引入了目标证据代理（检测置信度 + 归一化面积），该代理在无需在推理时进行完整几何状态恢复或使用特权监督的情况下，总结了可观测性和尺度信息。
4. 全面的评估： 在 EVT-Bench 和 Habitat 3.0 上进行了严格评估，涵盖了标准追踪、目标丢失恢复、跨数据集迁移以及离线诊断（展开保真度、规划价值一致性和泄漏分析）。

4. 实验结果

作者在三种设置下将 CST-WM 与反应式基准模型（如 TrackVLA, Uni-NaVid）以及适配后的世界模型（如导航世界模型）进行了对比：

• 标准追踪： 在 EVT-Bench 上，CST-WM 实现了最高的成功率 (88.7%)、追踪率 (83.4%) 和最低的碰撞率 (1.41%)。在 Habitat 3.0 上，相比基准模型，它提高了跟随率 (0.53)、距离范围成功率 (0.70) 和回合成功率 (0.61)。
• 目标丢失恢复： 在涉及短时/长时遮挡、视野外漂移和干扰物穿过等场景时，CST-WM 展示了卓越的重新获取成功率（例如，短时遮挡下为 0.84 对比 0.71）和更快的恢复时间。
• 离线诊断：
  • 展开保真度： 与基准模型相比，CST-WM 在长时界内表现出更低的潜空间预测误差和更高的目标可见性 AUROC，且随着时界的增加，性能差距逐渐扩大。
  • 规划价值一致性： 该模型实现了较高的秩相关性（Spearmans $\rho$ = 0.68），与模拟器诱导的候选序列排名一致，表明其对未来行为的比较评估能力更强。
  • 泄漏分析： 基于雅可比矩阵的诊断确认，直接动作向目标证据支路的泄漏已降至接近于零 ($\approx 0.001$)，而基准模型则表现出显著的泄漏。

5. 重要性与声明

本文认为，对于具身视觉追踪而言，仅仅进行未来预测是不够的；预测结构本身必须与目标证据进入规划的方式相一致。

作者声称，通过强制执行一种使目标证据在没有直接动作注入的情况下进行更新的因果结构，模型避免了与因果幻觉相关的语义错误。这种结构化对齐使得更稳定的跟随、更好的距离控制以及在遮挡下更可靠的目标重新获取成为可能。结果表明，所提出的因子分解既提高了下游控制性能，也提升了想象未来的内部质量。

作者对其声明保持审慎，指出：

• 该方法依赖于检测器（GroundingDINO），如果检测器失效（例如，严重模糊、极端视角），性能会下降。
• 目标证据代理并非度量距离的估计器，而是针对特定范围（1–3m）有效的基于尺度的代理。
• 主要证据来自模拟环境（EVT-Bench, Habitat 3.0），尽管展示了定性的真实世界结果，但并未报告大规模物理机器人的统计数据。
• 非泄漏约束是针对规划表示的结构性要求，而非对完全恢复外部类人动力学的声明。