SLARM: Streaming and Language-Aligned Reconstruction Model for Dynamic Scenes

本文提出了 SLARM，一种基于前馈架构的统一模型，通过高阶运动建模、语言对齐特征蒸馏及窗口因果注意力机制，在无需光流监督的情况下实现了动态场景的实时流式重建、语义理解与语言查询，并在运动精度、重建质量和分割性能上均取得了最先进水平。

要点

这篇论文介绍了一个名为 SLARM 的新 AI 模型。为了让你轻松理解，我们可以把 SLARM 想象成一位**“拥有超能力的 3D 电影导演兼翻译官”**。

以前的 3D 重建技术（比如给视频建模）通常像是一个笨重的工匠：它需要花几个小时甚至几天去慢慢打磨一个场景，而且一旦场景里有东西在动（比如人走路、车转弯），它就晕头转向，要么修不好，要么修得歪歪扭扭。

而 SLARM 则像是一位**“闪电侠”，它不仅能实时**（Streaming）处理视频，还能听懂人话（Language-Aligned），并且能精准地捕捉复杂的动作。

下面我们用几个生动的比喻来拆解它的三大核心绝招：

1. 它是如何“看懂”复杂动作的？（高阶运动建模）

• 以前的做法：想象你在教一个机器人走路。以前的模型（比如 STORM）只会教机器人：“你现在的速度是 5 公里/小时，保持匀速。”如果机器人突然加速、急刹车或者像人一样摆动手臂，这个模型就懵了，因为它只懂“匀速直线运动”。
• SLARM 的做法：SLARM 是个**“物理学家”。它不仅知道速度，还知道加速度**（踩油门的力度）和加加速度（也就是“急动度”，比如突然猛踩刹车或急转弯的顿挫感）。
  • 它用一种**“泰勒展开”**（听起来很数学，其实就是把动作拆成无数个微小的变化）来预测物体下一秒、下下一秒会怎么动。
  • 比喻：就像看一部动作电影，以前的模型只能看到“他在跑”，SLARM 能看到“他先加速，然后为了躲避障碍突然急转弯，最后因为惯性身体前倾”。这让它在重建动态场景（如行人、车辆）时，动作极其自然流畅，不会像机器人那样僵硬。

2. 它是如何“听懂人话”的？（语言对齐语义）

• 以前的做法：以前的 3D 模型像个**“哑巴”**。你给它看一张图，它能画出 3D 形状，但你问它：“图里那个穿红衣服的人是谁？”或者“把‘汽车’标出来”，它完全听不懂，因为它只认识像素，不认识概念。
• SLARM 的做法：SLARM 是个**“翻译官”**。它向一个已经学会“看图说话”的超级大脑（LSeg 模型）偷师学艺（蒸馏技术）。
  • 它把 3D 场景里的每一个小点（高斯点）都贴上了**“语言标签”**。
  • 比喻：以前重建的 3D 城市里，所有的车、树、人都是灰色的，没有名字。SLARM 重建后，你只要在对话框里输入“把所有的行人标成红色”，它瞬间就能在 3D 世界里把行人高亮显示出来。甚至你可以问它：“哪里有自行车？”它也能立刻指出来。这让 AI 不仅能“看”到世界，还能“理解”世界。

3. 它是如何做到“实时直播”的？（流式推理）

• 以前的做法：以前的模型像是一个**“剪辑师”**。它必须等整部电影（整个视频片段）拍完，把过去和未来的画面都放在桌子上，反复对比、修改，才能剪出一集。这意味着它不能直播，只能事后诸葛亮，而且内存占用巨大。
• SLARM 的做法：SLARM 是个**“直播主播”。它采用“流式处理”**。
  • 它每收到一帧画面，就立刻处理并输出结果，不需要等待未来的画面。
  • 它有一个**“记忆窗口”**，只保留最近的一小段历史，处理完就释放内存，永远保持轻装上阵。
  • 比喻：就像你在看直播，SLARM 是**“边看边画”**。不管视频播了多久，它占用的内存和反应时间都是一样的，不会越看越卡。这对于自动驾驶汽车（需要实时反应）和机器人（需要实时感知）来说，简直是救命稻草。

总结：SLARM 到底强在哪？

如果把重建动态 3D 世界比作**“拍一部科幻大片”**：

1. 速度快：它不需要后期慢慢渲染，而是实时生成，像直播一样流畅。
2. 动作真：它能捕捉到人类走路、车辆转弯时那种非匀速的复杂动态，不会把动作做得像机器人。
3. 懂语言：它不仅能画出 3D 模型，还能听懂你的指令（比如“找出所有的树”），让 3D 世界变得可交互、可查询。

一句话概括：SLARM 是一个能实时直播、动作逼真、且能听懂人话的 3D 世界重建大师，它让自动驾驶和机器人能更聪明、更安全地理解我们周围那个充满动态变化的世界。

技术摘要

SLARM 论文技术总结

论文标题：SLARM: Streaming and Language-Aligned Reconstruction Model for Dynamic Scenes（SLARM：面向动态场景的流式语言对齐重建模型）
作者单位：华为技术有限公司

1. 研究背景与问题 (Problem)

现有的动态场景重建方法主要面临以下挑战：

• 计算效率与实时性：传统的基于神经辐射场（NeRF）或 3D 高斯泼溅（3DGS）的动态重建方法通常需要数分钟到数小时的优化时间，且多为针对单场景的过拟合，难以泛化。虽然近期出现了前馈模型（如 DUST3R, VGGT），但它们大多局限于静态场景。
• 运动建模的局限性：现有的动态重建方法（如 STORM）通常假设物体以恒定速度运动（线性运动），无法捕捉现实世界中复杂的非线性运动（如人体肢体的摆动、加速度变化等）。
• 语义理解缺失：大多数方法仅关注几何重建，缺乏高层语义理解，无法通过自然语言进行查询，限制了其在自动驾驶、具身智能等下游任务中的应用。
• 流式推理困难：现有的动态重建方法通常依赖批量处理或滑动窗口，需要同时访问过去和未来的帧，无法实现低延迟、增量式的流式推理（Streaming Inference），难以满足自动驾驶等实时系统的需求。

2. 方法论 (Methodology)

SLARM 提出了一种统一的 4D 高斯推理框架，能够在单次前向传播中同时实现动态重建、语义理解和流式推理。

2.1 核心架构

• 基于 Transformer 的前馈模型：SLARM 是一个大型前馈 Transformer 模型，采用自监督学习策略。
• 输入处理：
  • 使用共享权重的 Vision Transformer (ViT) 提取图像特征。
  • 注入几何先验：将像素的视线（Ray）编码为 6D Plücker 坐标并加入视觉 Token。
  • 注入时间上下文：使用可学习的绝对时间戳 Embedding。
  • 特殊 Token：引入“天空 Token"（Sky token）建模背景，以及“仿射 Token"（Affine token）补偿多视角相机间的曝光和白平衡差异。
• 交替注意力机制：采用交替帧内（Frame-wise）和全局（Global）自注意力机制，有效捕捉时空结构。

2.2 关键技术创新

(1) 高阶运动建模 (High-Order Motion Modeling)

• 问题：传统方法假设恒定速度，无法处理复杂运动。
• 方案：提出基于高阶泰勒展开的运动表示。网络预测每个阶数 $l$ 的标量速度 $s_l$ 和 3D 方向向量 $v_l$。
• 公式：位移 $\Gamma(\Delta t)$ 通过累加各阶贡献计算（实验中采用 3 阶，即包含速度、加速度和加加速度 Jerk）。
• 优势：无需显式的运动真值监督，仅通过可微渲染的时序一致性即可学习复杂的非均匀运动，显著提升了动态场景的几何保真度。

(2) 语言对齐的 4D 语义 (Language-Aligned 4D Semantics)

• 方案：从 2D 基础模型 LSeg 中蒸馏语义特征，将其注入到 4D 高斯原语中。
• 机制：
  • 每个高斯原语携带一个高维语义特征向量。
  • 在渲染时，通过 Alpha 混合生成语义特征图。
  • 自监督：利用 LSeg 提取的 2D 语义特征作为 Teacher，通过 MSE 损失进行蒸馏。
  • 有监督（可选）：对于有标注数据，利用 CLIP 文本嵌入进行交叉熵分类损失优化。
• 优势：实现了自然语言查询（如“人”、“车”），并增强了语义与几何的耦合，反过来提升了运动估计的准确性。

(3) 流式推理架构 (Streaming Inference)

• 因果性约束：严格遵循因果性，仅利用当前及过去的帧进行推理，不依赖未来帧。
• 增量更新：
  • 将高斯原语分为静态和动态子集。
  • 动态高斯仅向后传播到最近的历史帧（$t-\Delta t$），静态高斯保持不变。
  • 采用基于窗口的因果注意力（Window-based Causal Attention），确保内存占用恒定，实现低延迟的增量重建。

3. 主要贡献 (Key Contributions)

1. 高精度且高效的运动建模：提出了基于高阶运动函数的表示方法，无需真值流监督即可有效建模非均匀运动，显著提升了动态场景的几何和动态保真度。
2. 语言对齐的 4D 语义：首次将 2D 基础模型（LSeg）的语义知识蒸馏到 4D 高斯表示中，实现了可被大语言模型（LLM）查询的动态场景理解。
3. 流式推理架构：设计了纯流式的 4D 重建范式，支持增量更新和恒定低延迟，解决了传统方法无法在长序列中实时部署的问题。
4. 统一的多任务学习：在单次前向传播中联合优化几何、运动和语义，实现了任务间的相互增强，在重建质量、运动精度和语义对齐上均超越了专用方法。

4. 实验结果 (Results)

在 Waymo Open Dataset (WOD) 大规模自动驾驶数据集上进行了评估：

• 动态重建质量：
  • 相比现有前馈方法（如 STORM, LGM, MapAnything），SLARM 在全图 PSNR 上提升了 1.6 dB，在动态区域 PSNR 提升超过 1.5 dB。
  • 深度误差（Depth RMSE）显著降低，几何更准确。
• 光流估计 (Scene Flow)：
  • 在 3D 端点误差（EPE3D）和角度误差上均达到 SOTA。
  • 相比 STORM，运动精度提升了 21%，证明了高阶运动建模的有效性。
• 语义分割：
  • 在 3D 重建框架内的语义分割 mIoU 达到 66.63%，远超现有的 2D 分割模型（如 Mask2Former, SegFormer）和 3D 语义方法。
  • 实现了零样本（Zero-shot）泛化能力，支持开放词汇查询。
• 流式性能：
  • 流式模式（SLARM-W）相比离线模式（SLARM-F）在推理速度和内存占用上表现更优，支持长序列推理且内存消耗恒定。

5. 意义与展望 (Significance)

• 理论意义：SLARM 打破了动态场景重建、语义理解和流式推理之间的壁垒，证明了单一前馈模型可以高效处理复杂的 4D 时空数据。
• 应用价值：
  • 自动驾驶：其流式推理能力非常适合车载实时系统，能够实时感知动态障碍物并理解其语义。
  • 具身智能 (Embodied AI)：语言对齐的语义特征使得机器人能够通过自然语言指令与动态环境进行交互和推理。
  • VR/AR：高质量的动态场景重建为沉浸式体验提供了新的可能性。
• 局限性：目前依赖准确的相机位姿，且对玻璃、镜子等复杂材质（依赖光度一致性）的处理仍有挑战。未来工作将探索自校准和更真实的场景表示。

总结：SLARM 通过结合高阶运动建模、语言蒸馏和流式架构，实现了动态场景重建领域的重大突破，为实时、可交互的 4D 感知系统奠定了坚实基础。