技术摘要：SWAM —— 用于具身导航的空间感知世界动作模型

1. 问题陈述

视觉目标条件导航要求智能体从当前观测到目标观测推断出一条可行的轨迹，这需要整合视觉感知、空间推理和决策能力。现有方法通常分为两类，两者都面临显著的局限性：

• 直接在线策略方法（Direct Online Policy Methods）： 这些方法直接学习从观测到动作的映射。虽然推理效率高，但往往缺乏显式的视觉视野，并且在复杂环境中难以进行错误恢复。
• 以验证为中心的世界模型（Verification-Centric World Models）： 这些方法采用两阶段流水线，即由外部策略采样候选动作序列，然后由世界模型（视频预测器）展开未来的视觉轨迹，以验证哪个候选序列最符合目标。这种方法存在以下问题：
  1. 候选依赖性： 决策质量受限于采样候选者的覆盖范围。
  2. 计算低效： 穷举采样和重复展开会导致极高的推理成本，尤其是在长程任务中。
  3. 几何不一致性： 路径提议与环境预测的解耦往往会导致由于缺乏显式空间约束而产生的突发视角变化或不可行的轨迹。

识别出的核心问题是路径提议与环境预测的解耦，即将世界模型视为被动的评估器，而非目标一致性轨迹的积极生成器。

2. 方法论：SWAM

作者提出了 SWAM（Spatial-perceiving World Action Model，空间感知世界动作模型），这是一个执行联合观测-动作生成的任务中心化框架。SWAM 不再验证预采样的候选者，而是通过单次前向传播同时合成中间视觉状态（RGB-D 序列）和相应的动作轨迹。

2.1 架构

SWAM 构建在预训练的 Diffusion Transformer (DiT) 主干网络（具体为 CogVideoX）之上，并针对导航任务进行了适配：

• 统一 Token 序列： 模型以起始观测 ($o_0$) 和目标观测 ($o_G$) 作为条件。它共同生成中间 RGB token、深度（depth）token 以及动作（action）token 序列。
• 潜层表示（Latent Representation）： RGB 图像和深度图使用冻结的 3D 变分自编码器（VAE）编码为潜层特征图。动作通过一个可学习的 MLP 投影为动作 token。
• 训练策略： 在训练期间，模型使用 DepthAnything v3 从 RGB 输入生成逐帧深度伪标签，从而在不需要地面真值深度数据的情况下提供空间先验。在推理阶段，模型仅需单目 RGB 输入。

2.2 关键组件

为了确保生成的动作在几何上可行并与视觉线索对齐，SWAM 引入了两个特定模块：

1. 视觉引导动作精炼（Visual-Guided Action Refinement, VGAR）：

   • 这是一个应用于最终动作解码前的轻量级模块。
   • 它通过门控残差交叉注意力机制将生成的 RGB-D 证据注入动作 token 中。
   • 这使得动作读取可以通过局部几何线索进行精炼，而无需修改联合扩散主干网络。

2. 轨迹尺度正则化（Trajectory-Scale Regularization, TSR）损失：

   • 标准的动作扩散损失在动作随长程时间积分时会导致复合误差（漂移）。
   • TSR 损失直接监督预测轨迹的累积位移相对于地面真值目标位置的情况。
   • 公式为：$\mathcal{L}_{TSR} = \frac{\| \hat{p}_N - p_G \|_2}{N}$，其中 $\hat{p}_N$ 是积分后的终点，$p_G$ 是目标。$1/N$ 的归一化确保了在不同轨迹长度下的稳定性。

2.3 训练目标

总损失结合了标准的 DDPM 去噪目标与 TSR 损失：
$$\mathcal{L} = \mathcal{L}_{DDPM} + \lambda_{TSR} \mathcal{L}_{TSR}$$
新添加的模块（深度编码、VGAR、动作头）使用零权重初始化，以保留预训练视频生成器的丰富时空先验，从而实现渐进式适配。

3. 核心贡献

论文声称了三个主要贡献：

1. SWAM 框架： 一个联合观测-动作生成框架，用单次前向推理过程取代了基于候选者的、以验证为中心的流水线，确保了目标一致性和空间一致性。
2. 新型模块： 引入了视觉引导动作精炼（VGAR）模块和轨迹尺度正则化（TSR）损失，以增强动作-视觉对齐并减少轨迹漂移。
3. 实证验证： 在多个数据集（RECON, SCAND, TartanDrive, HuRoN）上的全面评估表明，其在准确性、成功率和效率方面均优于最先进的基准模型。

4. 实验结果

作者在四个基准数据集上评估了 SWAM：RECON（室外，长程）、SCAND（室内/室外，动态）、TartanDrive（越野）和 HuRoN（室内，人类交互）。

4.1 轨迹准确性

SWAM 在绝对轨迹误差（ATE）和相对位姿误差（RPE）方面显著优于基准模型（GNM, NoMaD, 以及 NWM+NoMaD）。

• 在 RECON 上，与最强的基准模型（含 16 个候选者的 NWM+NoMaD）相比，SWAM 将 ATE 降低了 39.2%。
• 在 TartanDrive 上，ATE 降低了 75.1%。
• 值得注意的是，SWAM 通过单次前向推理（16.91s/样本）即可达到这些结果，而表现最好的基准模型则需要进行穷举展开（245.98s/样本）。

4.2 目标到达性能

SWAM 展示了更高的成功率，特别是在严格的距离阈值（$\tau = 0.25$ 格）下。在 RECON 上，在最严格的阈值下，其成功率比 NWM+NoMaD (×16) 高出 2.1 倍。

4.3 视频生成质量

SWAM 在视频生成指标（PSNR, SSIM, LPIPS）上达到了最先进水平。作者将其归功于深度伪标签提供的空间锚定，这正则化了生成过程并减少了视觉伪影。

4.4 零样本泛化能力

在 HuRoN 数据集（SWAM 未在此训练）的零样本迁移实验中，该模型实现了 2.94 的 ATE，优于专门在 HuRoN 上训练的基准模型（ATE 为 3.73）。这表明其具有强大的跨领域泛化能力。

4.5 消融研究

消融研究证实了以下各项的单独贡献：

• 深度模态： 提升了几何理解和轨迹一致性。
• TSR 损失： 对于稳定长程预测和减少终点漂移至关重要。
• VGAR： 通过利用视觉-空间约束进一步精炼了轨迹准确性。

5. 重要性与局限性

重要性

论文认为 SWAM 代表了从“先验证后规划”到“生成即规划”的范式转变。通过对“如何行动”和“如何感知”进行联合建模，该框架确保了动作轨迹与环境的视觉演变本质上是一致的。这种方法消除了候选者采样的计算开销以及解耦规划带来的几何不一致性，为具身导航提供了一种更高效、更鲁棒的解决方案。

局限性

作者承认了特定的失效模式：

• 模糊的可通行性： 模型在模糊场景（例如杂草）中表现挣扎，由于缺乏语义感知推理，常将可通行的植被误判为坚固障碍物。
• 急转弯： 当前的平面位移表示法无法捕捉高曲率路径所需的快速转向调整，因为航向动力学未被显式编码。

作者建议未来的工作应侧重于集成语义场景理解，并开发能够同时对位置和朝向进行建模的更丰富的动作表示。