FILT3R：用于流式 3D 重建的潜在状态自适应卡尔曼滤波器

1. 研究背景与问题定义

流式 3D 重建（Streaming 3D Reconstruction） 旨在从连续的视频流中实时预测几何结构和相机运动，同时保持恒定的内存占用和低延迟。现有的基于循环架构（Recurrent Architecture）的方法通过维护一组紧凑的潜在状态 Token（Latent State Tokens） 来蒸馏场景上下文，并随着新帧的到达动态更新这些状态。

然而，当序列长度超过模型的训练范围（Training Horizon）时，现有方法面临严重的长时程不稳定性（Long-horizon Instability）：

• 累积漂移（Drift）： 微小的更新偏差会随着时间累积，导致轨迹和几何结构逐渐偏离真实值。
• 灾难性遗忘（Catastrophic Forgetting）： 为了适应新帧，现有方法往往采用激进的覆盖策略，导致丢失之前整合的有效历史信息。
• 更新规则的局限性： 现有的状态更新规则主要分为两类：
  1. 均匀覆盖（Uniform Overwrite，如 CUT3R）： 总是信任新的候选状态（$\beta_t=1$），导致快速遗忘。
  2. 启发式门控（Heuristic Gating，如 TTT3R）： 基于注意力统计或运动线索计算更新权重，但缺乏对不确定性的显式建模，无法在置信度增加时 principled（有原则地）降低更新幅度。

核心问题： 如何在保持对新证据快速适应能力的同时，在场景稳定时保留历史记忆，从而在长序列推理中实现稳定的状态估计？

2. 方法论：FILT3R

作者提出了 FILT3R（Latent State Adaptive Kalman Filter），这是一种无需训练（Training-free） 的潜在状态过滤层。该方法将流式重建中的循环状态更新重新表述为Token 空间中的随机状态估计问题，并采用自适应卡尔曼滤波（Adaptive Kalman Filtering, AKF） 框架。

2.1 核心思想

FILT3R 将持久状态 $s_t$ 视为对场景潜在状态的信念（Belief），而解码器生成的候选状态 $\tilde{s}_t$ 视为带有噪声的测量值。状态更新被建模为卡尔曼风格的插值：
$$s_t = s_{t-1} + k_t \odot (\tilde{s}_t - s_{t-1})$$
其中 $k_t$ 是自适应的卡尔曼增益（Kalman Gain），用于平衡历史记忆与新观测。

2.2 关键设计

FILT3R 的核心在于通过不确定性传播来动态调整增益 $k_t$：

1. 过程噪声（Process Noise, $q_t$）的自适应估计：

   • 过程噪声代表场景潜在状态在帧间变化的预期程度。
   • FILT3R 不假设场景静止，而是从候选 Token 的时间漂移（Temporal Drift） 中在线估计 $q_t$。
   • 具体实现：计算连续候选状态之间的漂移 $\Delta_{t,i}$，并与基于指数移动平均（EMA）的流级漂移基线 $\hat{\Delta}_t$ 进行比较。
   • 通过 Sigmoid 门控函数将归一化的漂移分数映射为过程噪声 $q_t$：
     • 稳定场景（漂移小）： $q_t$ 较小 $\rightarrow$ 预测方差小 $\rightarrow$ 增益 $k_t$ 降低 $\rightarrow$ 保守更新，保留历史。
     • 场景突变（漂移大）： $q_t$ 增大 $\rightarrow$ 预测方差大 $\rightarrow$ 增益 $k_t$ 升高 $\rightarrow$ 快速适应新证据。

2. 固定测量噪声（Fixed Measurement Noise, $r$）：

   • 与传统的自适应卡尔曼滤波不同，FILT3R 将测量噪声 $r$ 设为一个固定的标量（在所有 Token 间共享）。
   • 理由： 解码器是预训练且冻结的，其预测质量主要取决于架构而非当前场景动力学。如果同时自适应估计过程噪声和测量噪声，两者可能在场景突变时同时激增，导致增益失控（Overshooting）。固定 $r$ 提供了一个稳定的锚点，确保所有适应性仅通过过程噪声 $q_t$ 引入。

3. 不确定性传播（Uncertainty Propagation）：

   • 维护每个 Token 的方差 $p_t$，并在每一步通过 Joseph 形式更新：
     $$p_t = (1-k_t)^2 \odot p^-_t + r k_t^2$$
   • 在稳定区域，随着证据积累，方差 $p_t$ 逐渐收缩，导致增益 $k_t$ 自然衰减（呈现 $O(1/t)$ 的衰减趋势），从而扩展有效记忆视界。

2.3 算法流程

1. 解码器生成候选状态 $\tilde{s}_t$。
2. 计算候选状态与上一帧候选状态的时间漂移，更新 EMA 基线。
3. 根据漂移估计自适应过程噪声 $q_t$。
4. 预测方差 $p^-_t = p_{t-1} + q_t$。
5. 计算卡尔曼增益 $k_t = p^-_t / (p^-_t + r)$。
6. 更新状态 $s_t$ 和方差 $p_t$。

3. 主要贡献

1. 理论视角转换： 将流式 3D 重建的循环更新重新定义为潜在 Token 空间中的随机状态估计问题，引入了自适应卡尔曼滤波框架。
2. FILT3R 模块： 提出了一种无需训练、轻量级、可解释的即插即用（Plug-and-play）过滤层。它仅利用内部模型信号（时间漂移）估计过程噪声，并固定测量噪声，遵循经典 AKF 范式。
3. 统一与超越： 证明了 FILT3R 的更新规则是通用覆盖策略和启发式门控的推广。在稳定状态下，它自动收缩增益以保留记忆；在场景变化时，它增加增益以快速适应。
4. 广泛的实验验证： 在深度估计、相机姿态估计和 3D 重建任务上进行了大量评估，证明了其在长时程推理中的优越稳定性。

4. 实验结果

作者在多个数据集（Sintel, Bonn, KITTI, TUM-RGBD, 7-Scenes, NRGBD）上进行了评估，对比了 CUT3R（均匀覆盖）、TTT3R（启发式门控）和 Point3R（显式空间记忆）等基线。

4.1 长时程 3D 重建

• 7-Scenes & NRGBD： 在序列长度达到 1000 帧（远超训练范围）时，FILT3R 显著优于基线。
  • 在 7-Scenes 长度 1000 的测试中，FILT3R 的平均精度（Accuracy）从 TTT3R 的 0.066 提升至 0.024，且 Point3R 在此长度下因显存溢出（OOM）无法运行，而 FILT3R 保持恒定内存。
• 定性结果： 可视化显示，CUT3R 出现严重的几何漂移和遗忘，TTT3R 虽有所改善但仍存在碎片化，而 FILT3R 在长序列中保持了连贯且稳定的几何结构。

4.2 长时程相机姿态估计

• TUM-RGBD： 在 800 帧序列上，FILT3R 将原点对齐的轨迹误差（ATEorig，直接反映累积漂移）从 TTT3R 的 0.214 降低至 0.107，从 CUT3R 的 0.493 大幅降低。
• 这表明 FILT3R 有效抑制了慢速漂移和灾难性遗忘，同时保持了局部相对运动的准确性。

4.3 长时程视频深度估计

• Bonn 数据集： 在 500 帧序列上，FILT3R 的 Abs Rel 误差从 TTT3R 的 0.100 降低至 0.089，且 $\delta<1.25$ 指标更高，证明了其在度量尺度深度预测上的鲁棒性。

4.4 效率与消融实验

• 内存与速度： FILT3R 保持了与 CUT3R 相同的恒定内存占用（约 3.5GB），而 TTT3R 因缓存注意力图导致内存翻倍。推理速度（FPS）与基线相当。
• 消融分析：
  • 移除方差传播（Reset-P）： 性能大幅下降，证明递归不确定性传播（置信度积累）是关键。
  • 固定过程噪声（Fixed-Q）： 无法在场景突变时增加更新强度，导致漂移增加。
  • 固定增益（Fixed-$\beta$）： 虽然能减少某些全局漂移，但会过度平滑导致局部运动（旋转误差）严重退化。
  • 自适应测量噪声： 反而降低了长时程稳定性，证实了固定测量噪声作为稳定锚点的重要性。

5. 意义与总结

FILT3R 解决了流式 3D 重建中一个长期存在的痛点：如何在有限内存下实现长时程、无漂移的连续场景理解。

• 无需重训练： 作为一个即插即用的模块，它可以应用于任何基于循环架构的预训练模型，无需微调。
• 理论严谨性： 通过引入卡尔曼滤波的不确定性传播机制，为流式更新提供了数学上可解释的框架，将启发式规则提升为基于置信度的自适应策略。
• 实际应用价值： 显著扩展了有效记忆视界，使得在长视频流、机器人导航和 AR/VR 等需要长时间连续运行的场景中，3D 重建更加稳定可靠。

这项工作表明，通过简单的统计建模（卡尔曼滤波）结合内部信号（时间漂移），可以显著提升深度学习模型在长序列推理中的鲁棒性，为未来的流式感知系统提供了新的设计范式。