Look Up and Look Back: Hidden Attention and Latent Orientation in a Frozen Foundation Model for Panoramic SLAM

技术摘要：HALO-SLAM

问题陈述
单目全景同时定位与地图构建（SLAM）通过在大角度相机旋转下提供显著的视觉重叠，在地点识别和回环检测方面具有重要优势。然而，现有系统面临三个主要挑战：

1. 几何畸变： 等距柱状投影（ERP）引入了空间变化的畸变。相机倾斜（横滚角和俯仰角）会导致场景内容在具有不同采样模式的区域间移动，从而使局部几何预测变得不稳定。
2. 漂移与一致性： 长序列单目序列容易受到位姿和尺度漂移的影响。现有方法通常依赖于手工设计或学习到的描述符，这些描述符在长时程内难以维持全局一致性。
3. 回环检测局限性： 基于外观的检索往往会产生冗余或存在感知歧义的候选集。使用稠密几何进行每项候选验证的计算成本极高，而前馈重建模型（如 PanoVGGT）通常缺乏持久的长期状态或回环决策机制。

虽然近期的几何基础模型（如 PanoVGGT）可以从无位姿图像中预测相机位姿和场景几何，但要将它们应用于长序列 SLAM，需要解决定向规范化、保守的回环验证以及独立重建子图的全局对齐问题。

方法论：HALO-SLAM
作者提出了 HALO-SLAM（“向上看”与“向后看”），这是一个利用冻结的 PanoVGGT 主干网络进行离线全景 SLAM 的系统。该系统并非微调基础模型，而是提取除了显式几何输出之外的有用的内部线索。其流程包含四个主要阶段：

1. 重力引导的上立规范化（“向上看”）：

   • 概念： 作者假设 PanoVGGT 的中间层 token 编码了用于全景几何推理所需的重力线索（地平线、地面平面、垂直结构）。
   • 实现： 在冻结的主干网络上附加了一个轻量级的、可训练的“重力头”。它处理第 34 层 patch token，以预测相机坐标系下的归一化向下重力方向。
   • 效果： 这实现了无 IMU 的球面直立规范化。通过将相机坐标系对齐到规范的向下轴（通过角度偏差进行阈值处理），系统对 ERP 输入进行了归一化，稳定了基础模型的输入，并降低了对横滚角和俯仰角的敏感度。

2. 级联回环验证（“向后看”）：
   为了平衡计算成本和鲁棒性，系统采用了三阶段级联方案进行回环检测：

   • 第一阶段：事件级检索： 使用 DBoW2 检索时间上相距较远的关键帧对，随后在 ERP 球面方位角上进行仅旋转的 RANSAC，将配对分组为“回环事件”。
   • 第二阶段：基于注意力的过滤： 保留的配对会被共同处理至解码器第 34 层（不进行完整的几何预测）。利用中间层 token 计算跨视图注意力兼容性得分。具有高相互注意力得分（$\alpha_{match} \ge 0.95$）的候选对被保留。这作为一种保守的过滤器，在进行昂贵的几何验证之前剔除感知歧义。
   • 第三阶段：稠密几何验证： 生存的配对进行对称子图增强。每个关键帧被插入到相反的子图中，并在各自的局部规准下进行重建。这产生了像素对齐的稠密 3D–3D 对应关系。一个由立体角（以应对 ERP 采样畸变）加权的鲁棒指标用于验证内点率。

3. 全局 Sim(3) 注册与优化：

   • 接受的回访被转换为鲁棒的相对 Sim(3) 约束。
   • 系统构建一个全局位姿图，其中节点代表全局 Sim(3) 规准下的子图。
   • 使用带有鲁棒损失函数的 GTSAM 对序列和回环约束进行联合优化，以恢复全局一致的轨迹和对齐的局部子图。

核心贡献

1. 首个基于基础模型的长序列框架： HALO-SLAM 是第一个基于前馈全景几何基础模型（PanoVGGT）构建的、用于实现长序列全局一致性的鲁棒全景 SLAM 框架。
2. 无 IMU 重力解码： 系统引入了一种从冻结的全景几何表示中解码相机坐标系重力的机制，实现了无需主干网络适配或 IMU 传感器的 ERP 规范化。
3. 成本意识的回环流水线： 作者提出了一种结合了事件级检索、中间层 token 注意力过滤、对称稠密几何验证以及立体角一致性 Sim(3) 注册的新型回环检测流水线。

实验结果
该方法在五个基准测试（Holo360D, PanoVILD, PAIR360, 360-VIO, 360Loc）的 125 个真实世界单目 ERP 序列上进行了评估。

• 成功率： 在既定标准下，HALO-SLAM 实现了 100% 的序列成功率（125/125），超越了所有基准模型。
• 精度： 它在所有五个基准测试中均取得了最低的绝对轨迹误差（ATE）。
  • 与表现最好的 ERP 原生基准（360DVO）相比，HALO-SLAM 将 ATE 降低了 30–88%。
  • 与 PanoVGGT-SLAM（对基础模型的最小化适配）相比，在 PanoVGGT-SLAM 成功的子集中，HALO-SLAM 将 ATE 从 14.25m 降至 0.73m，并在 PanoVGGT-SLAM 失败的所有序列中均取得了成功。
• 重力估计： 重力读数实现了 2.55° 的平均角度误差，优于专门的重力估计基准（如 VectorUp, DPF-angle），并恢复了真值重力下 Oracle 性能的 86–90%。
• 消融实验：
  • 移除重力规范化导致整体 ATE 增加了 24.6%，在高倾斜序列中增加了 57.2%。
  • 移除注意力过滤器使 ATE 增加了 90%（从 1.35m 增至 2.57m），并将回环精度从 98.6% 降至 94.6%。
  • 对称增强比单侧增强提升了 15.1% 的 ATE。
  • RANSAC 和 Umeyama 拟合中的立体角一致性加权对于获得最优精度至关重要。

意义与主张
论文声称，HALO-SLAM 证明了冻结的基础模型包含潜在线索（重力方向和跨视图注意力），这些线索足以在无需微调主干网络的情况下构建鲁棒的长序列 SLAM 系统。该系统解决了全景 SLAM 的特定失效模式：

• 局部不稳定性： 通过无 IMU 重力规范化解决。
• 全局漂移： 通过一个保守的、具备成本意识的回环检测流水线来解决，该流水线能在早期过滤假阳性并进行稠密几何一致性验证。
• 尺度与方向歧义： 通过带有立体角一致性约束的 Sim(3) 优化来解决。

作者将 HALO-SLAM 定位为利用几何基础模型的几何先验来实现鲁棒、全局一致的机器人感知的关键一步，特别强调了“向上看”（解码重力）和“向后看”（基于注意力的过滤）是使前馈模型适配序列任务的关键机制。