💻 computer science

E2GS: Event Enhanced Gaussian Splatting

E2GS 是一种新颖的方法，它将事件相机数据与高斯泼溅技术相结合，以实现高质量的新视角合成和有效的图像去模糊，并且与传统的基于 NeRF 的方法相比，其训练和渲染速度显著更快。

原作者： Hiroyuki Deguchi, Mana Masuda, Takuya Nakabayashi, Hideo Saito

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Hiroyuki Deguchi, Mana Masuda, Takuya Nakabayashi, Hideo Saito

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图拍摄一个快速移动场景的精美照片，比如赛车或旋转的风扇。如果使用标准相机，结果往往是一团模糊，因为相机无法跟上速度。多年来，计算机科学家一直试图利用数学来“去模糊”这些照片，甚至生成相机从未真正捕捉到的场景新视角。

本文介绍了一种名为**E2GS（事件增强高斯泼溅）**的新工具。它就像一个超级强大的照片编辑器，不仅猜测模糊图片“应该”是什么样子，还利用特殊的“第二双眼睛”来精确捕捉模糊期间发生的一切。

以下是其工作原理，分解为简单概念：

1. 问题所在：“运动模糊”的混乱

标准相机的工作原理像电影摄影机：它们每 1/30 秒拍摄一张快照。如果某物在那一微小时间段内移动过快，图像就会发生拖影。

旧方法：科学家曾尝试使用一种称为NeRF的方法来修复此问题。将 NeRF 想象成一位非常缓慢、非常谨慎的艺术家，试图通过向空中发射数百万道微小激光束来猜测内部内容，从而重建整个 3D 世界。它能创造出惊人的图像，但训练需要数天时间，且速度太慢，无法实时观看。
新方法（高斯泼溅）：最近，一种名为“高斯泼溅”的更快方法出现了。它不再发射激光，而是用数百万个微小的、模糊的 3D 云团（高斯）来绘制 3D 世界。这就像使用喷漆罐代替激光。它极其快速，但如果你将模糊的照片输入其中，它只会绘制出一个模糊的 3D 世界。

2. 秘密武器：“事件相机”

作者们意识到，标准相机不擅长捕捉速度，但有一种不同类型的相机叫做事件相机。

类比：将标准相机想象成一名保安，每隔一秒给房间拍一张照片。如果小偷在两次拍照之间跑过，保安就会错过他。
事件相机：这就像一名不拍照，而是大喊“这里动了！变亮了！”或“那里动了！变暗了！”的保安。它只报告变化。它不在乎整幅画面，只关心动作。由于它反应是即时的，因此没有运动模糊。

3. E2GS 如何结合两者

本文的核心思想是将来自标准相机的“模糊照片”与来自事件相机的“动作呼喊”结合起来。

过程：
1. 设置：你拥有一张场景的模糊照片，以及拍摄该照片期间发生的“事件数据流”（即那些动作的呼喊）。
2. 重建：E2GS 系统利用事件数据来精确推断模糊期间光线是如何变化的。这就像拥有了模糊发生过程的延时视频，帮助系统逆向工程出清晰的图像。
3. 绘制：随后，它利用“高斯泼溅”技术（即喷漆云团）构建 3D 模型。因为它确切知道光线是如何移动的（多亏了事件数据），所以即使输入照片是模糊的，它也能绘制出清晰锐利的 3D 场景。

4. 为何这很重要

本文声称，相比之前的最佳方法（如 E2NeRF），取得了两大胜利：

速度：旧方法（NeRF）就像蜗牛；学习一个场景需要2 天，生成的视频帧率仅为0.04 帧/秒（基本上就是幻灯片）。而新的 E2GS 方法则像猎豹；它在50 分钟内学会了场景，并能以140 帧/秒的速度渲染视频（流畅的实时速度）。
质量：尽管速度快，但图像更清晰。当在合成（人造）和真实世界的照片上进行测试时，E2GS 生成的图像比旧有的、较慢的方法更清晰，3D 视图也更好。

总结

简而言之，E2GS是一种将模糊、抖动的照片转化为清晰、3D 世界的新方法。它通过将标准相机与一种特殊的“运动感应”相机配对来实现这一点。其结果是一个系统，不仅比之前的最佳技术训练速度快 60 倍，渲染速度快 3,500 倍，而且能创造出更清晰的图像。

作者指出，这目前适用于静态场景（场景内部没有移动物体，尽管相机可能在移动），他们展望这一技术未来可用于快速移动的运动场景，但目前，它是修复模糊照片并即时创建 3D 视图的一项突破。

技术摘要：事件增强高斯泼溅（E2GS）

问题陈述

近期，神经辐射场（NeRF）以及更近期的 3D 高斯泼溅（3D Gaussian Splatting）推动了 3D 场景重建和新视角合成的进展。虽然 3D 高斯泼溅相较于 NeRF 提供了更快的训练和渲染能力，但这些方法通常假设输入条件理想。当面对运动模糊图像时，它们会遭遇显著困难，而运动模糊是由物体运动、相机抖动或镜头失焦引起的常见伪影。

相反，事件相机（动态视觉传感器）通过异步捕获像素亮度变化，提供高动态范围、无运动模糊和低延迟。以往基于事件的 3D 重建方法（如 E2NeRF）成功利用事件数据与模糊 RGB 图像相结合来重建清晰场景。然而，这些方法依赖于 NeRF 范式，这需要大量的光线采样策略，导致训练时间过长且渲染速度缓慢。因此，仍需要一种方法，既能结合高斯泼溅的高效性，又能具备事件数据对运动模糊的鲁棒性。

方法论

作者提出了事件增强高斯泼溅（E2GS），这是一个将事件流数据集成到 3D 高斯泼溅管线中以处理运动模糊输入的框架。该方法通过三个主要阶段运行：

1. 预处理与初始化

事件驱动去模糊：给定一组模糊图像及其对应的事件流，该方法将每张图像的曝光时间划分为 $N$ 个相等的时间戳。利用基于事件的二次积分（EDI）模型，通过累积事件数据来估计一系列清晰的中间图像（ $I_i$ ）。模糊图像被建模为这些中间帧的平均值。
初始化：估计出的去模糊图像序列被输入到运动恢复结构（SfM）管线（COLMAP）中，以生成初始的 3D 高斯坐标和相机位姿。这一步至关重要，因为标准的 SfM 若直接以模糊图像初始化通常会失败。

2. 训练框架

E2GS 使用两个不同的损失函数来监督 3D 高斯参数的优化，以进行重建：

图像渲染损失（ $\mathcal{L}_{blur}$ ）：为了使高斯泼溅适应模糊输入，该方法渲染对应于时间戳的 $N$ 个中间视图并将其平均，以模拟模糊的真实值。该损失是 L1 损失和 D-SSIM（差异结构相似性）的组合，用于比较模拟平均值与输入的模糊图像。
事件渲染损失（ $\mathcal{L}_{event}$ ）：为了利用事件数据的高时间分辨率，该方法从渲染序列中随机选择两帧，将其转换为对数域强度，并根据强度差和阈值 $C$ 计算预期的事件数量。将该估计的事件箱与真实事件箱使用均方误差（MSE）进行比较。该损失强制与模糊的连续时间过程保持一致，而不仅仅是静态平均值。

总损失函数为加权总和： $\mathcal{L} = \mathcal{L}_{blur} + w_{event}\mathcal{L}_{event}$ 。

主要贡献

首次将事件集成到高斯泼溅中：E2GS 是首个将事件数据纳入高斯泼溅框架的方法，超越了 NeRF 的体积渲染范式。
高效去模糊与合成：该方法有效利用模糊 RGB 图像和事件流，实现了高质量的图像去模糊和新视角合成。
显著的速度提升：通过用可微分光栅化替代光线采样，E2GS 相较于基于 NeRF 的事件方法大幅降低了计算成本。

实验结果

作者在合成数据集（在 Blender 中模拟相机抖动）和真实世界数据集（使用 DAVIS346 事件相机捕获）上评估了 E2GS。

定量性能：
- 图像去模糊：在合成数据上，E2GS 实现了 30.84 的 PSNR，优于标准高斯泼溅（22.92），并达到或略高于 E2NeRF（29.77）。在真实世界数据上，E2GS 实现了最低的 BRISQUE 分数（表明更高的自然度），平均为 32.50，而 E2NeRF 为 36.59。
- 新视角合成：在合成数据上，E2GS 在 PSNR、SSIM 和 LPIPS 指标上表现出优于或具有竞争力的结果，对比标准 GS 和 E2NeRF。在真实世界新视角合成中，E2GS 再次取得了最佳的 BRISQUE 分数（平均 32.77）。
效率：
- 训练：与 E2NeRF 相比，E2GS 将训练时间缩短了 60 倍（50 分钟对比 2 天）。
- 渲染：E2GS 实现了 140 FPS 的渲染速度，相较于 E2NeRF（0.04 FPS）实现了 3500 倍的速度提升。

意义与主张

论文声称，E2GS 成功弥合了基于事件的 NeRF 方法的高质量重建与高斯泼溅的计算效率之间的差距。作者断言，他们的方法在生成视觉上令人愉悦的渲染图的同时，提供了显著更快的训练和渲染速度，使得从运动模糊、事件增强的数据中进行实时或近实时的 3D 重建成为可能。

作者总结道，虽然他们的方法能有效处理静态场景，但未来的研究方向包括处理具有快速移动主体（例如体育运动）的动态场景，这对于当前仅基于 RGB 或专注于静态场景的方法而言仍然具有挑战性。