技术摘要：面向流式 3D 重建的射线感知指针内存与自适应更新

1. 问题陈述

从连续图像流中进行稠密 3D 重建，需要同时实现精确的几何聚合与稳定的长期内存管理。尽管近期的前馈框架（如 DUSt3R、MASt3R）已通过预测共享坐标系中的点图，成功从图像对中恢复了稠密几何，但将这些方法扩展至长序列仍面临重大挑战。

现有的流式重建方法通常分为两类：

1. 全局注意力机制：如 VGGT 和 Spann3R 等方法联合处理多帧。虽然它们提供了强大的全局一致性，但其计算复杂度呈二次方增长，导致在长时程流式处理中效率低下。
2. 增量内存更新：如 Point3R 和 CUT3R 等方法维护场景元素（令牌或空间指针）的持久内存，以支持在线推理。然而，这些方法通常依赖基于外观的相似性来更新内存。这种依赖形成了一个关键瓶颈：随着视角的偏移，几何上相邻的区域可能因遮挡或光照而呈现视觉差异，而重复的纹理则可能导致不同位置的观测看起来相似。因此，仅依赖几何位置和视觉特征会导致关联模糊、误差级联以及最终的跟踪漂移。

2. 方法论

所提出的框架引入了一种射线感知指针内存系统，旨在解决流式场景中观测关联的模糊性问题。核心流程包含三个主要组件：

2.1 射线感知指针内存表示

与以往仅存储空间坐标或潜在令牌的内存表示不同，本系统显式编码了与每个观测相关联的观测几何。每个内存指针 $m_k$ 存储一个结构化元组：
$$m_k = \{x_k, r_k, f_k, t_k\}$$
其中：

• $x_k \in \mathbb{R}^3$：点的 3D 空间位置。
• $r_k \in S^2$：从相机到点的单位射线方向。
• $f_k \in \mathbb{R}^d$：学习到的特征嵌入。
• $t_k$：指针创建时的帧时间戳。

通过纳入观测射线方向，系统获得了在变化视角下消除重复观测歧义的几何上下文。

2.2 统一观测推理器

当生成新指针时，系统必须确定其对应于现有内存条目还是代表新几何。作者引入了一种结合空间邻近性和观测方向差异的联合几何距离度量：
$$D(m_{new}, m_k) = \lambda_{pos} d_{pos} + \lambda_{ang} d_{ang}$$
其中 $d_{pos}$ 是 3D 位置之间的欧几里得距离，$d_{ang}$ 是观测射线之间的角度差（$1 - (r_{new} \cdot r_k)$）。

该度量允许系统将观测分类为三个不同的类别：

1. 局部冗余：空间距离小且角度差小（同一点，相似视角）。
2. 环路重访：空间距离小但角度差大（同一点，不同视角）。
3. 新几何：空间距离大（未见过的几何）。

2.3 自适应指针更新策略

传统的基于融合的策略通过特征平均合并邻近指针，这会稀释独特的几何结构。所提出的方法用保留或替换机制取代了这一点：

• 搜索：在空间半径 $R$ 内识别邻近指针。
• 决策：如果存在邻居，系统基于联合距离度量识别最近的指针。与其进行确定性合并，不如应用随机策略：以相等的概率丢弃新指针或现有指针。
• 结果：该策略防止了对早期观测的确定性覆盖，同时保留了跨视角的多样化几何证据，在保持内存增长有界的同时，不牺牲几何可区分性。

2.4 环路检测与位姿优化

射线感知表示实现了显式的环路闭合检测。当两个指针满足以下条件时，识别为环路候选：

1. 空间邻近性（$\|x_i - x_j\| < \epsilon_{pos}$）。
2. 显著的角度差（$1 - (r_i \cdot r_j) > \epsilon_{ang}$）。
3. 时间分离（$|t_i - t_j| > \Delta t$）。

检测到环路候选后，系统触发位姿图优化以校正累积漂移。此外，应用基于费雪信息的选择策略对环路区域内的指针进行稀疏化，仅保留信息量最大的观测。

3. 主要贡献

本文总结了其贡献如下：

1. 基于指针的内存表示：一种新颖的表示法，显式存储空间位置和观测方向，实现了流式重建中视角感知的几何推理。
2. 统一观测推理：将内存整合表述为联合几何 - 视觉验证问题，区分局部冗余、新几何和环路重访。
3. 自适应更新策略：一种保留或替换的内存更新策略，在保留信息丰富的几何路标的同时防止不受控制的内存增长，避免了传统融合相关的特征稀释。

4. 实验结果

该方法在多个数据集（7-Scenes, NRGBD, NYU-v2, Sintel, Bonn, KITTI, ScanNet, TUM-dynamics）上的三个任务中进行了评估：

• 稠密 3D 重建：在 7-Scenes 和 NRGBD 上，与基于优化的基线（如 DUSt3R-GA）和在线方法（如 Point3R, CUT3R）相比，所提出的方法在精度（Acc）和完整性（Comp）方面取得了更优或具有竞争力的结果。作者指出，虽然法线一致性（NC）略低于某些基线，但这归因于该方法优先保留独特的结构细节而非局部表面平滑，这是保留或替换策略固有的特性。
• 深度估计：该方法在室内和室外数据集的单目深度估计中表现出具有竞争力的性能，显示出强大的零样本泛化能力。
• 相机位姿估计：该方法在 ScanNet 和 TUM-dynamics 上实现了具有竞争力的绝对轨迹误差（ATE）和相对位姿误差（RPE），保持了完全在线的流程，无需事后全局对齐。
• 内存效率：消融研究和内存比较表明，与基于合并的策略相比，保留或替换策略显著减少了存储的指针数量，同时保持或提高了重建质量。该方法还表现出更稳定且更低的 GPU 内存消耗（限制在约 6–9 GB），而基于合并的基线则表现出波动且更高的使用量（7.5–10.5 GB）。

5. 意义与主张

本文声称提供了一个可扩展且抗漂移的在线 3D 重建的原则性框架。通过显式建模物理点与其观测方向之间的关系，该系统克服了现有流式方法中受困于外观驱动内存更新的局限性。

作者强调，他们的方法实现了：

• 稳定的长期重建：通过区分局部冗余和环路重访，系统防止了长序列中的跟踪漂移。
• 高效推理：自适应更新策略保持了紧凑的内存占用，使系统适用于资源受限的场景。
• 几何一致性：对空间距离和射线方向差异的联合推理，使得几何聚合比仅依赖特征相似性的方法更准确。

本文最后承认了局限性，具体而言，该框架假设初始位姿估计相对准确，且更新策略中的随机选择尚未充分利用观测的信息内容。然而，实验结果表明，所提出的射线感知内存设计显著提高了流式 3D 重建的稳定性和准确性。