💻 computer science

ActMVS: Active Scene Reconstruction with Monocular Multi-View Stereo

ActMVS 是首个用于单目主动场景重建的框架，它集成了视图因子图构建与全局深度优化，使机器人和无人机能够在不依赖昂贵深度传感器的情况下，实时生成高质量且全局一致的稠密深度图，以实现安全的轨迹规划。

原作者： Guo Pu, Yixuan Han, Zhouhui Lian

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

原作者： Guo Pu, Yixuan Han, Zhouhui Lian

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一个机器人无人机正飞过一个黑暗且未知的房间。它的目标是在飞行过程中构建一个完美的 3D 地图，以免撞到家具。

通常情况下，这些无人机会携带沉重且昂贵的“深度传感器”（比如高科技手电筒或激光器）来测量距离。但本文的作者开发了 ActMVS，他们想解决一个问题：如果无人机只携带一个普通的摄像头（就像智能手机一样），没有激光器，而且需要在实时飞行中构建地图，该怎么办？

以下是他们实现这一目标的原理，通过简单的类比进行解释：

1. 问题所在：“单眼”困境

大多数机器人使用两只眼睛（立体视觉）或激光来感知深度。单摄像头就像是一个试图仅凭观察来判断球有多远的人，只能用一只眼睛看。很难分辨出一个球是近处的小球，还是远处的大球。

旧方法： 现有的仅使用单个摄像头的算法通常运行缓慢，就像一个在事后花费很长时间才解出数学题的学生。它们无法像飞行中的无人机那样快速做出反应以避免碰撞。
目标： 创建一个像人类飞行员一样的系统：环顾四周，瞬间猜测距离，并在移动的同时绘制地图。

2. 解决方案：“聪明侦探”（ActMVS）

作者构建了一个名为 ActMVS 的系统。把它想象成一个侦探，他不仅是看一张照片，而是会主动决定下一步站在哪里才能获得最好的线索。

A. “视角因子图”（侦探的笔记本）

当无人机拍摄一张照片时，它不仅仅是看紧挨着的一张照片。它还会查看它的“笔记本”（即视角因子图 - View Factor Graph）。

类比： 想象你试图弄清楚一个黑暗房间里雕像的形状。如果你站在雕像正旁边，你看不全它的全貌；如果你站得太远，它看起来就会很小。
工作原理： 该系统会检查其内部地图（体素地图 - Voxel Map，类似于由微小乐高积木组成的 3D 网格），以查看从当前无人机位置可以看到哪些位置。然后，它会挑选出最合适的历史照片来进行对比。它会避开那些过于相似的照片（没有提供新信息）或距离过远的照片（太模糊）。它会挑选“恰到好处”的照片——距离适中，足以清晰地观察物体的形状。

B. “全局优化器”（团队集思广益）

即使有了最好的照片，单次的猜测也可能略有偏差。

类比： 想象一群人正在尝试绘制一张城市地图。如果每个人都独立绘制自己的部分，街道在中间可能无法对齐。
工作原理： ActMVS 使用了全局深度优化（Global Depth Optimization）。它获取来自不同照片的所有深度猜测，并强制它们达成一致。这就像一次团队集思广益，大家会说：“等等，如果墙在照片 A 中是这个位置，那么它在照片 B 中也必须在这个位置。”这修正了误差，使 3D 形状变得平滑且连贯，防止地图在无人机飞行时变得“抖动”或出错。

3. 结果：无需激光器的飞行

论文在无人机穿梭房间的计算机模拟中（使用 Replica 数据集）对该系统进行了测试。

结果： 这架仅使用普通摄像头的无人机，构建出的 3D 地图几乎与使用昂贵激光传感器的无人机一样出色。
重要意义： 这意味着机器人可以做得更轻、更便宜，且功耗更低，因为它们不再需要沉重的激光设备。它们可以通过“聪明地观察位置”以及“聪明地连接照片间的点”来实现对深度的“感知”。

总结

ActMVS 就像是教会了一台无人机如何仅凭一只眼睛就成为一名大师级的绘图师。它不再依赖昂贵的激光器，而是通过以下方式实现目标：

规划路径以获得最佳角度（下一最佳视角 - Next-Best-View）。
利用智能“图表”系统，从记忆中筛选出最佳参考照片。
通过与其他测量值进行双重检查，确保 3D 地图的准确性和飞行安全性。

最终的结果是，得到了一台能够仅靠一个简单摄像头，就能安全探索并绘制未知环境地图的机器人。

技术摘要：ActMVS —— 基于单目多视图立体视觉的主动场景重建

1. 问题陈述

主动场景重建对于机器人和无人驾驶飞行器（UAV）在自主导航和绘制未知环境地图方面至关重要，特别是在工业检测和灾难响应等人工数据采集成本高昂的场景中。由于被动方法（如 SfM、SLAM）处理的是预先收集的数据，而主动重建则需要实时规划传感器轨迹，以在确保无碰撞导航的同时最大化覆盖范围。

目前的主动重建方法主要依赖深度传感器（如 LiDAR、结构光）来生成高置信度的占据图，以进行安全的空间推理。然而，对于资源受限的平台，这些传感器会带来极高的成本、重量和功耗限制。作者旨在开发一种仅基于视觉的单目解决方案。

核心挑战在于如何仅使用单个摄像头，获取具有度量尺度精度且达到帧率水平的稠密深度预测。现有的单目深度估计方法缺乏度量精度，而标准的多视图立体视觉（MVS）技术在主动设置中面临两个关键局限性：

基线不足： 使用相邻帧往往会导致由于视差或共视性不足而导致的次优深度。
缺乏全局上下文： 最近的基于学习的 MVS 方法通常仅处理有限数量的参考帧（例如 8 帧），这会导致误差累积并缺乏全局一致性，从而损害规划的安全性和重建质量。

2. 方法论：ActMVS 框架

ActMVS 被引入为第一个用于单目主动场景重建的框架。它集成了一个混合场景表示，并结合了一种新型的视图因子图（View Factor Graph）和全局深度优化，以实现在线、高质量且全局一致的稠密深度图生成。

A. 混合场景表示

系统维护三个并发的表示：

视图因子图 ( $G_f$ )： 建模帧间几何关系。节点存储视图图像、优化的深度图、位姿和内参。边编码体素-帧可见性权重，以指示几何重叠情况。
体素地图 ( $M_v$ )： 基于 OctoMap 构建，存储占据概率。它既作为无碰撞规划的占据图，也作为共视表面的可见性模型。
高斯泼溅地图 ( $M_g$ )： 使用高斯面元（Gaussian surfels）进行高保真表面重建，通过可微渲染生成颜色、深度、法线和不透明度图。

B. 在线主动重建过程

该框架以两个阶段迭代运行：

规划阶段（最佳视角选择 - NBV）：
- 在安全边界和探索边界内采样候选视点。
- 通过结合视图完整性（可见的未探索体素）和行驶距离（通过 A* 路径搜索计算）的加权评分来确定下一最佳视角（NBV）。
- 沿 A* 路径对轨迹进行插值，以确保后续 MVS 深度预测具有足够的共视性。
建图阶段：
- 可见性建模： 通过体素共视性计算成对重叠度 ( $\Omega_{tj}$ )，通过将当前视图连接到前 $k$ 个邻居来更新视图因子图。
- 深度预测： 适配前馈 MVS 方法 MVSA，利用选定的邻居作为参考视图来估计稠密深度。
- 全局深度优化： 通过在图中进行成对深度变形（pairwise depth warping），在深度图上执行 $N_{iter}$ 步全局优化。
- 更新： 通过概率占据集成更新体素地图，并通过在低不透明度区域初始化原语并最小化光度/深度损失来精细化高斯地图。

C. 关键技术创新

带有体素-帧可见性建模的视图因子图：
- 为了解决参考帧选择中的遮挡问题，该方法通过将体 voxel 中心投影到相机平面并对照渲染的高斯深度，计算每帧视锥掩码 ( $M_t$ )。
- 这使得通过逻辑“与”（AND）操作进行高效的重叠计算成为可能，从而过滤掉被遮挡的体素。
- 相关性评分平衡了共视性 ( $\Omega_{ij}$ ) 和相机平移，以选择能提供有意义基线的参考帧（避免位姿过近或过远）。
全局深度优化：
- 为了克服标准 MVS（仅处理约 8 帧）的有限上下文问题，ActMVS 在整个视图因子图中强制执行 3D 一致性。
- 深度一致性因子： 通过回投影深度、变形点并对有效对应关系应用对数空间 Huber 损失，使帧对之间的共视 3D 结构对齐。
- 正则化： 引入全变分（Total Variation）正则化以确保平滑度和几何合理性。
- 系统通过迭代反向传播（Adam 优化器）解决这一非线性优化问题，增量式地传播几何约束。

3. 实验结果

实验在基于 Habitat 模拟器的 Replica 数据集（9 个场景）上进行，将 ActMVS 与最先进的 RGB-D 基准方法 ActiveGS 和 NARUTO 进行对比。

定量性能：
- ActMVS 在所有 仅 RGB 方法中，在渲染指标（PSNR, SSIM, LPIPS）和网格质量指标（准确度、完成度、Chamfer 距离）方面均达到了最佳性能。
- 虽然 RGB-D 方法（ActiveGS）通常表现更好，但 ActMVS 紧随其后，验证了多视图约束的深度优化可以补偿缺乏深度传感器的缺陷。
- 消融实验：
  - w/o OPT（无全局优化）： 去除全局优化会导致严重的表面退化和深度不稳定。
  - w/o REF（无体素参考选择）： 使用简单的相邻帧选择代替基于体素的参考选择会导致 MVS 失效，原因是视差不足。
  - w/o MVS（无 MVS）： 用单目度量估计器（DepthAnythingV2）替换 MVS 会导致灾难性的重建失败，因为存在误差累积。
定性结果：
- 视觉对比显示，ActMVS 生成了高质量的网格和新视角渲染，优于 NARUTO（后者存在视角稀疏导致的退化），并接近 ActiveGS 的视觉保真度。
扩展模拟：
- 该框架在 AirSim 中配合使用 Ego-planner 的四旋翼无人机进行了测试。
- 系统成功在复杂环境中实现了无碰撞导航，证明了路径规划与重建循环的可行性。
- 注：作者承认，目前的 3DGS 重建需要大量的显存，超出了典型机载设备的容量，因此目前的实现需要服务器端处理。

4. 重要性与主张

本文声称 ActMVS 是第一个用于单目主动场景重建的框架。其重要性在于：

推动空间智能发展： 使机器人/无人机能够仅使用单目摄像头进行安全的自主探索和重建，消除了对昂贵且沉重的深度传感器的需求。
弥合差距： 成功解决了 MVS 的度量精度与在线建图所需的全局一致性之间的权衡问题。
竞争力的性能： 证明了纯视觉方法可以实现与 RGB-D 方法相媲敌的性能，使高保真主动重建能够应用于资源受限的平台。

作者总结道，虽然目前的系统需要大量的计算资源，但未来的工作将侧重于针对物理约束下的全自主无人机进行实时部署的优化。