💻 computer science

HorizonStream: Long-Horizon Attention for Streaming 3D Reconstruction

HorizonStream 是一种新颖的长时程 Transformer，通过将几何传播分解为多时间尺度衰减与局部时空匹配，克服了现有方法的漂移与内存限制，从而在超过 10,000 帧的序列上以恒定内存和线性时间实现了最先进的稳定在线 3D 重建。

原作者： Chong Cheng, Peilin Tao, Nanjie Yao, Guanzhi Ding, Xianda Chen, Yuansen Du, Xiaoyang Guo, Wei Yin, Weiqiang Ren, Qian Zhang, Zhengqing Chen, Hao Wang

发布于 2026-05-25

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chong Cheng, Peilin Tao, Nanjie Yao, Guanzhi Ding, Xianda Chen, Yuansen Du, Xiaoyang Guo, Wei Yin, Weiqiang Ren, Qian Zhang, Zhengqing Chen, Hao Wang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是《HorizonStream》论文的通俗化解读，辅以日常类比。

核心难题：3D 摄像头的“坏记性”

想象你戴着一副智能眼镜，正穿行在一座巨大且无尽的城市中，眼镜试图实时构建周围世界的 3D 地图。

挑战：当你行走时，眼镜需要记住 10 秒前、10 分钟前，甚至 10 小时前城市的样子，才能知道你在哪里。
失败原因：现有方法就像记性不好的人。
- “滑动窗口”法：这就像只记得最后 5 秒的事。如果你走过一个地标，5 分钟后又回到这里，眼镜会说：“我从未见过这个！”于是地图就崩溃了。
- “全量回忆”法：这就像试图记住你一生中每一个细节。最终，你的大脑被太多陈旧无用的信息塞满，开始出现故障、产生幻觉或直接崩溃。
- “漂移”：在长距离行走中，这些系统会逐渐变得困惑。它们会以为你在绕圈（其实并没有），或者以为街道变宽或变窄了。这被称为“漂移”或“抖动”。

解决方案：HorizonStream

作者们开发了HorizonStream，这是一个充当你 3D 地图“智能图书管理员”的新系统。它不再一视同仁地对待所有记忆，而是理解不同类型的信息拥有不同的“寿命”。

1. “证据影响核”（图书管理员的规则书）

论文指出，并非所有记忆都同等重要。

短暂证据：一辆驶过的特定红色汽车，或一个正在过马路的人。这些变化很快，你只需要记住几秒钟。
长久证据：建筑物的形状、街道的布局，或房间的整体大小。这些在数小时甚至数天内保持不变。

旧系统将红色汽车和建筑物同等对待，导致混乱。HorizonStream 使用一本特殊的“规则书”（称为证据影响核）来决定保留每条信息多久。

2. 两部分记忆系统

HorizonStream 将大脑分为两个专业团队：

“本地团队”（几何局部注意力）：
- 类比：这个团队就像一名侦探，正在观察你所在的即时房间。
- 职责：他们匹配微小细节（如墙上的裂缝或特定的窗户），以确定你此刻的确切位置。他们非常挑剔，会忽略任何看起来嘈杂或不可靠的内容。
- 特殊技巧：他们使用“可靠性门控”来忽略坏线索，防止系统因相机抖动而困惑。
“全局团队”（几何线性注意力）：
- 类比：这个团队就像一位历史学家，负责记录整个城市的概况。
- 职责：他们不记忆每一个像素，而是维护一个有界且收缩的记忆。
- 魔法：他们使用“衰减率”。想象一个水桶，水在慢慢漏出。
  - 如果水代表红色汽车，桶上的洞很大，水漏得很快（你很快忘记这辆车）。
  - 如果水代表摩天大楼，洞很小，水能留存很久（你记住这栋楼数小时）。
- 这确保了系统永远不会“满”（无内存崩溃），也永远不会忘记大局（无漂移）。

3. “度量读取”（尺子）

有时，摄像头能告诉你在哪里，但不知道有多大。你可能以为一扇门只有 1 英寸高，或者高达 100 英尺。

HorizonStream 拥有一个特殊的“度量令牌（Ruler Token）”，它不断检查全局记忆，以确保世界的大小保持一致。它防止地图在你行走时意外缩小或扩大。

为何意义重大

论文声称 HorizonStream 是一项突破，因为：

高效：无论你是走 100 步还是 10,000 步，它使用的内存量是恒定的。它不会变慢或变重。
稳定：它是在非常短的片段（仅 48 帧）上训练的，却能在超过10,000 帧（超过 2 小时视频）的序列中完美工作。
修复“漂移”：当其他系统在几分钟后开始摇晃并迷失方向时，HorizonStream 能保持数小时笔直、稳定的轨迹。

总结类比

想象一边走路一边画城市地图。

旧方法要么在几个街区后就忘记了城市，要么因为试图记住每棵树上每片叶子而 overwhelmed，导致完全停止绘制。
HorizonStream就像一位大师级制图师，他知道：“我只需要记住叶子一秒钟，但我必须永远记住山脉。”通过过滤保留什么和舍弃什么，它可以在不耗尽纸张或感到疲惫的情况下，绘制出整个大陆的完美地图。

结果就是一个能够导航无尽视频流的系统，构建出一个稳定、准确的 3D 世界，不会崩溃、抖动或迷失。

技术摘要：HorizonStream

问题陈述

基于流式视频的在线三维重建需要在严格的因果性和有界内存约束下估计相机位姿与场景几何。虽然经典方法依赖迭代优化但吞吐量有限，而近期的离线前馈方法通过访问未来帧实现了高精度，但严格的因果流式方法在处理长序列时仍面临困难。

现有的流式架构随着序列长度增加，常出现漂移、抖动或崩溃。作者指出，其根本原因在于流式几何的本质与当前架构设计之间存在根本性不匹配：

时间异质性：流式几何包含寿命差异巨大的证据。局部 2D-3D 对应关系是短暂的，很快失效；而全局尺度和场景结构是持久的，必须在长范围内保持可靠。
病态影响模式：现有方法对所有证据施加统一的传播规则。
- 滑动窗口 强制执行硬性截断，过早丢弃有用的过去证据。
- 无门控循环 导致具有重尾核的无界误差累积。
- 因果 softmax 注意力 退化为“注意力汇”，聚焦于无关的早期 token，而 KV 缓存刷新 机制则造成不连续性。
- 这些病态核导致缓存饱和，并随着序列增长引发严重的几何漂移。

方法论：HorizonStream

作者提出了 HorizonStream，这是一种长视野 Transformer，通过显式分解几何证据影响核来解决流式几何的时间异质性问题。该框架以因果方式处理最近的 $W$ 帧，同时维护一个 $O(1)$ 的几何状态以用于跨窗口的结构与尺度。

1. 几何证据影响核

重建过程被形式化为通过时空核 $K(t, i)$ 聚合多样化的几何证据，该核分解为：
$K(t, i) = K_{spatial}(t, i) \cdot K_{time}(t, i)$
这种分解将特定的计算组件映射到流式重建的三个核心需求：选择可靠的局部对应关系、确保有界的多时间尺度传播，以及保持度量尺度/位姿。

2. 几何线性注意力（长程时间因子）

为了建模 $K_{time}$ ，作者引入了几何线性注意力，该机制维护一个有界的循环几何状态 $S_t \in \mathbb{R}^{d \times d}$ 。

折扣状态估计：状态通过折扣目标进行更新，其中过去证据的影响呈指数衰减。这防止了陈旧信息的无界累积。
通道级保留：模型学习一个通道级保留向量 $\gamma_t \in (0, 1)^d$ $γ_{t} \in (0, 1)^{d}$ ，而非标量保留率。
- 低 $\gamma$ 通道快速修正瞬态证据（例如局部对应关系）。
- 高 $\gamma$ 通道保留长寿命证据（例如场景结构、度量尺度）。
- 这创造了一个连续的有效记忆寿命谱（ $\tau = -1/\log \bar{\gamma}$ ），使得跨窗口传播无需周期性重置即可保持稳定。

3. 几何局部注意力（短程空间因子）

为了建模 $K_{spatial}$ ，作者在局部窗口（ $W$ 帧）内采用几何局部注意力。

头级门控：每个注意力头被分配一个可靠性门控，以过滤噪声对应关系并抑制注意力汇。
时空 RoPE：旋转位置编码被扩展到三个轴（时间、高度、宽度），以编码相对 3D 时空布局，确保注意力依赖于相对几何偏移。

4. 度量读出 Token (MRT)

为了满足度量不变性约束，引入了度量读出 Token。这些 Token 参与几何线性注意力，并直接从循环状态的高保留通道中读取度量尺度。

一个尺度头预测全局尺度因子 $\hat{s}$ ，用于重新缩放平移和深度。
对局部窗口内位姿 Token 的相对位姿融合估计共识位姿，避免了因连续关键帧链接导致的误差累积。

5. 架构与训练

骨干网络：基于从 VGGT 和 DINOv2 初始化的 ViT-L，交替帧块和全局块。几何线性注意力层在特定深度（4、11、17、23）交错插入。
训练：模型在48 帧片段上使用因果窗口进行训练。监督信号包括位姿、深度和尺度损失。
可选闭环：一个模块检索重访的帧对以估计局部几何校正，并通过位姿图优化优化全局轨迹。

主要贡献

流式重建的形式化：本文将长序列失败（漂移、抖动、崩溃）统一为病态核形状（硬性截断、不连续性、注意力汇），并提出几何证据影响核作为统一框架。
约束核分解架构（HorizonStream）：
- 几何线性注意力：通过学习的通道级保留，提供跨窗口的有界、多时间尺度传播。
- 几何局部注意力：利用头级门控和时空 RoPE，实现窗口内内容感知的 3D 匹配。
- 度量读出 Token：通过从高保留子空间读取，保持度量尺度和刚性位姿。
泛化性与效率：仅在 48 帧片段上训练，HorizonStream 能稳定泛化到超过10,000 帧的序列，具有恒定内存和线性时间复杂度，性能优于现有的流式方法。

实验结果

在多个数据集（KITTI、VBR、Oxford Spires、ScanNet++、Waymo 等）上进行了广泛实验，评估了相机轨迹估计（ATE）和稠密重建（CD、F1）。

长序列稳定性：在 VBR 数据集（序列长达 18,846 帧）上，HorizonStream 保持了稳定的轨迹，平均 ATE 为25.30m（带闭环为 18.84m），显著优于其他在线方法（例如 Lingbot-map 为 27.53m，LongStream 为 77.93m），后者遭受严重的抖动或崩溃。
KITTI 性能：在 KITTI 序列（长达 4,661 帧）上，HorizonStream 实现了19.75m的平均 ATE（带闭环为 16.44m），接近或超越了离线方法和基于优化的 SLAM 系统。
稠密重建：在 ETH3D、Oxford Spires、7Scenes 和 TUM RGB-D 基准测试上，HorizonStream 实现了最先进的在线重建质量（最低 CD 和最高 F1）。
内存与时间：与表现出超线性内存增长或需要周期性缓存重置的竞争性方法不同，HorizonStream 保持了近乎恒定的峰值 GPU 内存，并平滑扩展到 10K 帧。

意义

本文声称，HorizonStream 通过显式建模几何证据的时间异质性，解决了当前流式三维重建架构中的根本性不匹配。通过学习有界的多时间尺度保留谱，而非依赖固定窗口或无界循环，该方法在无需周期性状态重置或访问未来帧的情况下，实现了超长序列上的稳定、度量一致的重建。这为机器人和自动驾驶在长视野场景中的鲁棒在线三维感知提供了支持。