💻 computer science

AsyncEvGS: Asynchronous Event-Assisted Gaussian Splatting for Handheld Motion-Blurred Scenes

本文介绍了 AsyncEvGS，这是一个新颖的框架，它将灵活的高分辨率异步 RGB-事件双相机系统与跨域姿态估计及结构驱动优化策略相结合，以在严重运动模糊条件下实现手持场景的最先进的三维重建。

原作者： Jun Dai, Renbiao Jin, Bo Xu, Yutian Chen, Linning Xu, Mulin Yu, Tianfan Xue, Shi Guo

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Jun Dai, Renbiao Jin, Bo Xu, Yutian Chen, Linning Xu, Mulin Yu, Tianfan Xue, Shi Guo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图用智能手机拍摄一张房间的美丽 3D 照片。但有个问题：你在拍照时手移动得非常快。结果呢？一片模糊的混乱。

多年来，计算机一直难以将这些模糊的照片转化为清晰的 3D 模型。这就像试图拼凑一幅拼图，却有一半的碎片被抹花了。现有方法要么放弃，要么产生幽灵般扭曲的形状。

本文提出的AsyncEvGS，引入了一种巧妙的新技术来解决这个问题，它将你的标准手机摄像头与一种特殊的“事件相机”配对。以下是其工作原理的简单解释：

1. 问题：“模糊的手”困境

当你快速移动手机时，相机的快门开启时间过长，捕捉到的是一团光晕而非清晰的画面。

标准 3D 相机（如手机上的）擅长捕捉色彩，但在处理快速运动时表现糟糕，容易产生模糊。
事件相机则像超级快速的眼睛。它们不拍摄完整画面，只感知光线的变化（例如像素从暗变亮）。它们速度快到即使你手在抖动也绝不会模糊。然而，它们只能看到黑白图像，无法识别物体的颜色。

2. 旧方法 vs. 新方法

旧方法（严格同步）：
以往尝试结合这两种相机的方案要求它们完美同步，就像两位舞者必须在完全相同的毫秒踩在完全相同的节拍上。这需要昂贵且工业级的设备。你无法简单地将事件相机绑在 iPhone 上就出发。此外，大多数事件相机分辨率较低（像老式雪花电视），导致最终生成的 3D 模型充满像素块。

新方法（灵活组合）：
作者构建了一个系统，不在乎两台相机是否完美同步。这就像一场舞蹈，舞伴无需踩在同一节拍上，只需了解整体的节奏即可。

他们将一台高清手机相机（1280x720）与一台高清事件相机配对。
由于它们并非完美同步，计算机必须更努力地推断相机的朝向位置。

3. 魔法成分

A. “智能翻译器”（VGGT）

由于两台相机不同步且观察世界的方式不同（一台看到模糊的色彩，另一台看到清晰的黑白变化），标准的地图制作工具（称为 COLMAP）会感到困惑并失败。

解决方案： 作者使用了一个强大的 AI 模型，称为VGGT。把 VGGT 想象成一个超级聪明的翻译器，它能审视模糊的彩色照片和清晰的黑白事件数据，忽略其中的混乱，并说：“啊，我知道这两张图对应的相机位置了！”这为构建 3D 模型提供了坚实的基础起点。

B. “结构侦探”（事件结构损失）

通常，当计算机尝试使用事件数据时，会感到困惑，因为数据是相对的（它只知道变化，而非绝对亮度）。

解决方案： 作者为计算机制定了一条新规则。与其问“这个像素亮吗？”，不如问“边缘的形状匹配吗？”
想象你在临摹一幅画。如果线条颤抖，你就无法辨认它是什么。但如果你只关注线条的结构（边缘），即使阴影不对，你仍能识别出形状。这种“结构损失”帮助计算机从事件相机中提取清晰的边缘，并将其粘贴到 3D 模型上，从而修复模糊。

C. “色彩守护者”（一致性正则化）

存在一种风险：当计算机尝试修复模糊时，可能会发明奇怪的颜色，或让图像看起来像融化的画作。

解决方案： 他们添加了“护栏”。
- 护栏 1： 确保相邻的清晰图像看起来相似（防止 3D 模型出现抖动）。
- 护栏 2： 确保黑白事件视图与从模糊手机照片中学习的色彩相匹配。这确保了最终的 3D 模型既清晰又色彩丰富。

4. 结果

团队在他们创建的新数据集（称为AsyncEv-Deblur）上测试了该方法，他们在其中剧烈地挥动相机。

没有他们的方法： 3D 模型是一片模糊、扭曲的混乱。
使用他们的方法： 3D 模型清晰、锐利且色彩丰富。即使原始照片是在快速移动中拍摄的，你也能读出标志上的文字，或看到公交车上的标志。

总结类比

想象一下，试图从一张模糊的照片和一张仅由只看见运动的人绘制的草图中重建一座雕像。

旧方法试图强迫绘图者和摄影师完美同步工作，这在普通设备上是不可能的。
本文提出：“让他们按自己的节奏工作。”使用超级聪明的 AI 来确定他们的位置，利用绘图者修复颤抖的线条（边缘），利用摄影师修复色彩。即使原始输入杂乱无章，结果也是一座完美的雕像。

该论文声称，这是首次实现使用未完美同步的手持设备进行高质量 3D 重建的实用方法，并取得了迄今为止最佳的效果。

技术摘要：AsyncEvGS

问题陈述

尽管 3D 高斯泼溅（3DGS）和神经辐射场（NeRF）能够实现逼真的新视角合成，但它们严重依赖高质量、清晰的输入图像。在现实世界的便携式 3D 采集场景中，严重的运动模糊十分常见，导致标准方法失效，并引发几何失真和模糊的重建结果。现有的计算去模糊方法难以应对该问题固有的病态性质。

事件相机提供了一种解决方案，通过提供对运动模糊具有鲁棒性的高时间分辨率、异步运动线索。然而，当前的事件辅助 3D 重建方法在面向实际便携式应用时面临两个关键障碍：

传感器分辨率低：大多数方法依赖低分辨率事件传感器（例如 346 × 260），与现代数百万像素的 RGB 相机相比，这从根本上限制了重建保真度。
严格的同步要求：高分辨率方案通常强制要求 RGB 相机与事件相机之间进行刚性、硬件级别的时间同步，这使得它们无法兼容缺乏此类同步能力的常见便携式设备（例如智能手机）。

方法论

作者提出了 AsyncEvGS，这是一个专为灵活、异步、高分辨率 RGB–事件双相机系统设计的高保真 3D 重建框架。该流程包含三个主要组件：

1. 硬件系统

作者引入了一种新颖的双相机支架，将高分辨率（1280 × 720）Prophesee EVK-3 HD 事件相机与标准 RGB 相机（例如 iPhone 13）配对。关键在于，该系统无需硬件级别的时间同步即可运行，从而允许在商用设备上进行“野外”采集。

2. 基于跨域姿态估计的鲁棒初始化

传统的运动恢复结构（SfM）工具（如 COLMAP）在联合配准运动模糊的 RGB 帧和事件衍生的灰度图像时会因域差异和模糊而失效。

事件到强度重建：原始事件流通过 E2VID 转换为一系列清晰的灰度图像。
VGGT 初始化：作者利用视觉几何变换器（VGGT）处理模糊的 RGB 帧和清晰的事件重建灰度帧，而非依赖 COLMAP。这为两种模态提供了鲁棒的稠密点云和准确的相机姿态初始化，克服了传统 SfM 在运动模糊场景下的失效模式。

3. 优化框架

3DGS 表示通过一个多目标损失函数进行优化，该函数旨在处理数据的异步性质以及去模糊问题的病态性：

去模糊损失（ $L_{blur}$ ）：基于去模糊 3DGS，该方法通过平均 MLP 渲染的 $N$ 个清晰邻域视图来合成模糊图像，并将其与捕获的模糊 RGB 输入进行比较。
事件结构损失（ $L_{struct}$ ）：为了解决经典事件损失（仅约束强度差异）的病态性，作者提出了一种结构驱动的损失。它利用从多尺度高频一致性导出的结构提取器和置信度图。该损失使用渲染图像与事件重建目标之间的结构相似性（SSIM）指数进行计算，并以置信度为权重。这种方法侧重于结构正确性而非绝对强度，从而减轻了亮度不一致和噪声的影响。
一致性正则化器：
- RGB 一致性（ $L_{reg-r}$ ）：防止去模糊模块收敛到单个视图中的误差相互抵消的退化解。它强制渲染图像既接近邻域清晰帧，也接近观测到的模糊输入。
- 事件颜色一致性（ $L_{reg-e}$ ）：由于事件视图缺乏颜色，一个在 RGB 图像上训练的粗糙 3DGS 模型作为参考。该正则化器确保事件视图的渲染不会在颜色上发生漂移，从而将 RGB 颜色信息蒸馏到事件视图中。

主要贡献

新颖的高分辨率异步系统：首个用于高保真 3D 重建的实用流程，使用灵活的 1280 × 720 RGB-事件支架，克服了以往低分辨率事件传感器的分辨率限制以及工业设置的同步约束。
鲁棒的跨域算法框架：
- 一个利用 VGGT 处理模糊 RGB 与事件衍生图像之间域差异的姿态估计流程，实现了在 COLMAP 失效情况下的稳定初始化。
- 一个定制的优化框架，包含新颖的事件结构损失以鲁棒地利用高频事件细节，以及一致性正则化器以稳定去模糊和颜色估计。
AsyncEv-Deblur 数据集：一个使用所提出的异步系统捕获的新的高分辨率 RGB-事件数据集，包含具有严重运动模糊的多样化场景及相应的真实值。

实验结果

该方法在新型 AsyncEv-Deblur 数据集和合成 Ev-DeblurBlender 数据集上进行了评估。

性能：该方法在所有指标（PSNR、SSIM、LPIPS）上均实现了最先进的性能，显著优于仅 RGB 的方法（例如 3DGS、BAGS、DeblurringGS）和现有的事件辅助基线（例如适配新格式的 LSENeRF）。
初始化：消融研究表明，VGGT 初始化在具有挑战性的运动模糊场景中成功配准了 100% 的帧，而 COLMAP 无法配准大量模糊的 RGB 帧。
组件分析：移除事件结构损失（ $L_{struct}$ ）或一致性正则化器会导致性能大幅下降，证实了它们在恢复精细细节和防止颜色退化方面的必要性。
与 2D 流程的比较：端到端方法显著优于先应用 2D 去模糊网络再进行标准 3DGS 的流程，突显了联合优化和多视图一致性的优势。

意义

本文声称 AsyncEvGS 有效地弥合了高分辨率 3D 采集与运动模糊场景所需鲁棒性之间的差距。通过解耦对硬件同步的需求并利用高分辨率传感器，该方法使事件辅助 3D 重建在智能手机等常见便携式设备上成为可能。这项工作表明，通过专门的优化框架利用 RGB（颜色）和事件（高频运动）模态的互补优势，可以显著改善严重运动模糊下的重建鲁棒性和保真度。