💻 computer science

DeLux: Cross-Modal Local Artifact Restoration in Video Using Neuromorphic Data

该论文介绍了 DeLux，一种利用神经形态事件流作为结构先验来有效检测并修复 RGB 视频中局部光照伪影的新型跨模态流水线，在恢复被遮挡细节方面显著优于现有的仅基于 RGB 和事件引导的基准方法。

原作者： Bartosz Stachowiak, Dariusz Brzezinski

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Bartosz Stachowiak, Dariusz Brzezinski

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图拍摄一张美丽的日落照片，但太阳太亮了，甚至让你的相机“失明”了。结果就是照片中原本应该是树木的地方出现了一个巨大的、白茫茫的、被冲洗掉细节的色块，或者屏幕上出现了一道奇怪的彩虹光晕。这就是标准相机（RGB 相机）在面对过于强烈或复杂的强光时会发生的情况。它们会“饱和”，这意味着它们在那些明亮区域丢失了所有细节；一旦这些信息丢失，通常无法仅通过重新查看照片来找回。

这篇论文介绍了一个名为 DeLux（代表 Deluxe Lux 修复）的新系统，它解决了这个问题，通过使用一对“永不被致盲”的“第二双眼睛”来解决。

问题所在：被致盲的相机

把标准相机想象成人类的眼睛。如果你直视刺眼的强光，你的视觉会变成一片空白，你看不见背后的任何东西。在数字世界中，这会产生“伪影”，比如眩光、镜头光晕、闪烁的光线或过曝。现有的软件试图通过猜测“可能存在的东西”来修复这些照片，但由于原始数据已经完全消失，这种方法往往会失败。

解决方案：“超强视觉”之眼

作者意识到，虽然标准相机会被致盲，但一种被称为**神经形态事件相机（neuromorphic event camera）**的特殊相机却不会。

类比： 想象标准相机是一个快门速度较慢的人在拍照。如果闪光灯闪了一下，照片就毁了。而事件相机则像是一个拥有超快反应能力的人，它只注意到光线的变化。它不像传统方式那样拍摄“图像”；它记录的是每秒钟数百万个微小的光影“跳动”。即使太阳让标准相机感到眩目，这个事件相机仍然能“看到”树木和建筑的细节，因为它对标准相机所忽略的亮度微小偏移非常敏感。

DeLux 是如何工作的：四步厨房法

作者构建了一个名为 DeLux 的模块化流水线（一个分步食谱），它结合了这两种相机来修复糟糕的照片。以下是它的工作原理，我们使用厨房类比：

备份厨师（事件转视频）：
首先，系统将来自事件相机的原始“跳动”数据转化为一段平滑的黑白视频。可以把这想象成一位能在黑暗和强光下都看清情况的“备份厨师”。这段视频作为一个“地图”，展示了场景实际的样子，且不受眩光干扰。
观察员（伪影检测）：
接下来，一个智能 AI 会观察原始的、损坏的照片，并询问：“问题到底出在哪里？”它会在明亮的、被冲洗掉细节的地方画出一个数字掩模（就像一个模板/镂空模具）。它现在还不尝试修复整个画面，而只是识别出受损区域。
融合站（多模态融合）：
这是神奇的一步。系统获取损坏的照片、来自“备份厨师”的清晰“地图”，以及来自“观察员”的模板，并将它们融合在一起。这就像一位知道哪部分汤烧焦了的厨师：他们只刮掉烧焦的部分，并用“备份厨师”锅里的新鲜食材进行替换，同时保持其余部分的汤汁原封不动。
修复者（伪影移除）：
最后，系统利用这些融合后的信息，在原始照片上进行“补漆”。因为有了来自事件相机的清晰细节，它可以还原被眩光遮挡住的树木、道路或建筑物。

为什么这很重要

论文声称，以往的方法试图孤立地解决这些问题：

有些试图修复眩光，但在处理镜头光晕时失败了。
有些试图修复过曝，但它们只是把整个图像变暗（就像戴上了墨镜），而不是恢复隐藏的细节。
有些试图利用事件相机让整个图像变亮，但这往往会让丑陋的眩光射线依然存在。

DeLux 与众不同，因为它是第一个专门针对“局部”损伤的系统。它不仅仅是调亮整个图像，而是通过外科手术式地移除坏光，并利用事件相机的数据精准替换掉缺失的细节。

实验结果

作者在以下场景测试了 DeLux：

合成数据： 他们创建了带有模拟眩光和光晕的计算机生成照片，以测试系统的修复能力。
真实数据： 他们使用了汽车在晴朗天气下行驶的真实片段。

结果显示，DeLux 在恢复隐藏细节方面优于其他任何方法。它在衡量修复图像与原始场景匹配程度的分数上达到了 0.99 以上（在 1.0 为完美的标尺上）。在真实的汽车影像中，它将眩光的严重程度降低了高达 88%。

局限性（注意事项）

作者诚实地指出了 DeLux 目前还不能做到的事情：

静态场景： 事件相机依赖于运动或光线的变化才能工作。如果场景完全静止且光线没有变化，事件相机可能会保持沉默，此时 DeLux 也无法提供帮助。
合成训练： 他们必须使用计算机生成的模拟眩光来训练系统，因为很难找到既有“损坏版本”又有“完美版本”的同一场景的真实照片。
闪烁： 由于系统是逐帧修复的，修复后的视频在帧与帧之间可能会出现轻微的闪烁，不过作者指出这是未来的研究方向。

简而言之，DeLux 是一种巧妙的方法，利用“超敏感”的相机来帮助“普通”相机纠正错误，使我们即使在太阳试图致盲我们的情况下，也能看得清清楚楚。

技术摘要：DeLux – 利用神经形态数据进行视频中的跨模态局部伪影修复

1. 问题陈述

传统的 RGB 相机容易受到严重的照明伪影影响，例如镜头光晕（lens flare）、眩光（glare）、过曝光（overexposure）和闪烁（flicker），这在具有极端动态范围的户外场景中尤为明显。这些伪影通常会导致局部的细节丢失，即像素强度达到完全饱和或裁剪的状态，使得通过标准的仅基于 RGB 的后处理进行恢复变得不可能。现有的修复方法通常孤立地处理这些问题（例如，仅针对眩光或仅针对过曝光），或者依赖于全局色调映射（global tone mapping）。后者的做法虽然保留了光学伪影（如光晕射线）的结构完整性，但仅能压缩动态范围，无法完全恢复被退化现象遮蔽的细节。此外，目前的文献缺乏一种能够同时解决多种空间离散照明退化问题的通用范式。

2. 方法论：DeLux 流水线

作者提出了 DeLux，这是一个模块化的、端到端的概念验证流水线，它利用**神经形态事件流（neuromorphic event streams）**作为结构先验，来引导针对性的照明伪影检测与图像修复。该框架明确将伪影检测与多模态融合及图像修复解耦。该流水线由四个不同的阶段组成：

事件到视频重建（Event-to-Video Reconstruction）： 将来自神经形态相机的异步事件数据通过预训练模型（E2VID 或 E2VID++）转换为稠密的灰度视频帧。这些重建帧作为第二种模态，能够以微秒级的精度捕捉亮度变化，且其动态范围超过 140 dB，即使在 RGB 传感器饱和的情况下也能有效工作。
伪影检测（Artifact Detection）： 一个专门的基于 UNet 的分割网络处理输入的 RGB 帧，生成像素级置信度图（伪影掩码），用以指示伪影（眩光、光晕、过曝光、闪烁）存在的可能性。此步骤通过在合成生成的伪影掩码上进行训练，以实现跨条件的泛化。
多模态融合（Multimodal Fusion）： 将 RGB 帧、事件重建帧和伪影掩码沿通道维度进行拼接。一个卷积模块对这些输入进行融合，创建一个统一的表示。至关重要的是，伪影掩码作为一个手动覆盖接口，允许在推理阶段无需重新训练即可配置融合行为。这一阶段确保了事件流中的结构细节主要被用于受损区域。
伪影去除（Artifact Removal）： 一个最终的基于 UNet 的模块执行针对性的图像修复（inpainting）。它接收融合后的表示并输出一张干净、无伪影的 RGB 图像。模型旨在修复受损区域，同时保留未受影响的内容。

训练策略：
该流水线通过对检测器、融合模块和去除模块进行联合优化来训练，而事件到视频的重建器保持冻结状态。训练目标结合了三个损失组件：

检测损失 ( $L_{det}$ )：预测掩码与真实掩码之间的 Huber 损失。
重建损失 ( $L_{recon}$ )：结合了平均绝对误差（MAE）、多尺度结构相似性（MS-SSIM）、VGG 感知损失和全变分（TV）正则化。
非掩码损失 ( $L_{nm}$ )：一个一致性项，惩罚对非伪影区域的修改，从而确保模型不会改变干净的像素。

数据：
系统在混合数据集上进行训练，该数据集包含注入到干净帧中的合成伪影（使用 CARLA 和 Cityscapes）以及真实的神经形态数据（DSEC, E2VID）。对于真实世界的评估，作者从包含严重伪影发生的特定汽车驾驶视频时间窗口中提取了数据。

3. 核心贡献

新颖的研究方向： 本文引入了“跨模态局部伪影修复”的概念，这一范式将局部的照明伪影视为特定模态的信息丢失，并通过集成第二种传感模态（神经形态事件）来引导 RGB 修复。
DeLux 框架： 首个旨在通过将标准视频与神经形态事件数据融合，在单一深度学习流水线内检测并消除多种类型照明伪影的系统。
严谨的基准测试： 作者建立了一个包含合成与真实世界照明伪影的基准测试，为未来的跨模态修复模型提供了评估协议。他们发布了合成伪影生成工具和精选的真实世界数据集，以促进进一步研究。

4. 实验结果

作者将 DeLux 与最先进的基线模型进行了对比，包括单模态修复模型（Flare7K++, Wu et al., SHDR）、统一单网络方法（DAD†）以及事件引导的 HDR 模型（HDRev-Diff）。

合成数据表现： 在所有伪影类型（眩光、光晕、过曝光）中，DeLux 在 MS-SSIM、PSNR 和 MAPE 方面均取得了最高的性能。其在所有伪影类型上的平均 MS-SSIM 超过 0.99，显著优于仅基于 RGB 的基线模型和事件引导的 HDR 模型。
真实世界表现： 在真实的汽车视频片段中，DeLux 实现高达 88% 的伪影强度降低（通过自定义的强伪影抑制指标 SAS 进行衡量）。相比之下，像 HDRev-Diff 这样的全局色调映射基线往往无法抑制局部伪影，导致某些序列出现负值的 SAS 分数。
效率： 在 NVIDIA A100 上，DeLux 拥有 9020 万个参数，运行速度为 16.5 FPS，这使得它比基于扩散模型的基线（例如，在 1.6B 参数下仅为 1.1 FPS 的 HDRev-Diff）快了一个数量级且更轻量。
消融实验： 研究证实，移除事件模态（DeLux-NE）或显式检测器（DeLux-ND）会导致性能严重下降。研究还发现，非掩码损失 ( $L_{nm}$ ) 对于平衡检测准确性与受控的局部重建至关重要。

5. 重要性与主张

论文声称 DeLux 代表了对全局增强方法的重大偏离。通过将伪影定位与多模态融合显式解耦，该框架防止了对干净图像区域的不当修改，从而允许网络仅在 RGB 传感器失效的地方选择性地使用第二种模态。

作者将 DeLux 定位为解决严重局部图像退化的模板，利用第二种传感模态来应对这些问题。他们认为，这种跨模态方法超越了单一传感器的限制，为开发能够在恶劣照明条件下运行的高度可靠的图像处理系统提供了路径。

作者承认的局限性：

静态场景： 神经形态相机本质上在没有事件触发的静态场景中难以工作，尽管其模块化架构允许集成其他模态（如热成像）来缓解这一问题。
合成评估： 虽然使用了高质量的合成叠加，但它们无法完全模拟光线在复杂透镜组中的物理相互作用。
时间一致性： 由于当前的实现是独立地修复每一帧，因此输出无法保证时间上的连续性，可能会产生可见的闪烁。作者指出，多帧建模是未来工作的必要方向。
优化： 对冻结的 E2VID 重建器的依赖限制了全端到端的优化，这表明未来的流水线可以直接摄取原始事件表示。