💻 computer science

ENCORE: Event-Assisted Complementary Motion Refinement for Learned Video Compression

本文提出了 ENCORE，一种利用事件相机数据通过互补表示分解、冗余感知校准和能量感知路由来优化基于 RGB 的运动估计的学习型视频压缩框架，在各种数据集上实现了显著的码率节省和质量提升。

原作者： Shuhan Ye, Hongbin Yu, Chenqi Kong, Pingchuan Ma, Chong Wang, Jun Wan, Qixin Zhang

发布于 2026-07-31

📖 1 分钟阅读☕ 轻松阅读

原作者： Shuhan Ye, Hongbin Yu, Chenqi Kong, Pingchuan Ma, Chong Wang, Jun Wan, Qixin Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过一部网络连接缓慢的手机，向朋友们发送一场足球比赛的现场视频。为了让视频能够传输，你必须对其进行压缩，这意味着要丢弃一些信息。视频压缩中最棘手的部分是处理运动。如果一名球员跑过屏幕，计算机不需要发送整个球员的新图像，它只需要说：“球员向左移动了两步。”这被称为运动估计（motion estimation）。然而，标准摄像机以固定的速度拍摄照片，就像一本翻页书（flipbook）。如果球员移动得太快，或者天气雾蒙蒙的，或者相机抖动，这些翻页书的页面可能会变得模糊或令人困惑。计算机会在球员实际去了哪里的问题上陷入猜测，导致出现像素化的混乱，或者生成一个体积仍然过大的文件。

这就是一种被称为“事件相机”（event camera）的特殊相机发挥作用的地方。与每秒拍摄一张完整照片的标准相机不同，事件相机就像一个超级敏感的保安，只有在发生“变化”时才会大声呼喊。如果一个像素变亮或变暗，事件相机会立即报告。它不在乎草地的颜色或球衣的纹理；它只在乎运动和光线的变化。它极其快速，即使在黑暗或物体高速运动的情况下也能表现出色。科学家们一直以来的大问题是：我们能否利用这个“大声呼喊的保安”来帮助“翻页书”相机做出更好的运动猜测，从而让我们在传输更少数据的情况下发送更清晰的视频？

这篇题为 ENCORE 的论文给出了答案：“可以，但需要一种非常特定的策略。”研究人员构建了一个新系统，该系统利用事件相机的数据来辅助标准的视频压缩算法，但有一个转折：最终的视频仍然是普通的视频。事件数据永远不会发送给观众，它仅在幕后被用于修复运动中的“猜测游戏”。

作者发现，简单地将两种类型的数据混合在一起（比如把事件数据直接丢进视频文件中）实际上会让情况变得更糟。这就像是在试图读一本书时，有人在你耳边大声喊着随机数字；这些额外的噪音只会让你感到困惑。相反，他们创建了一个包含三个明确步骤的智能过滤系统，使事件数据变得有用：

翻译官 (CMR)： 首先，系统将两种相机都能看到的“常识性”运动与只有事件相机能看到的“特殊信息”分离开来。它意识到，有时两台相机对物体的走向达成共识，但有时事件相机捕捉到了普通相机错过的模糊影像。
编辑 (SERIC)： 接下来，它扮演一个严格编辑的角色。它观察事件相机的“呼喊”，并询问：“这是新信息，还是仅仅是噪声？”如果事件相机正在大声呼喊的内容是普通相机已经完美搞定的事情，编辑就会让它保持安静。如果事件相机发现了普通相机无法察觉的快速运动，编辑就会将其高亮显示。
交通警察 (EAR)： 最后，一个路由系统决定了在哪里以及使用多少这种新信息。如果普通相机在追踪一个移动缓慢的树木方面做得很好，交通警察就会告诉事件数据保持沉默。但如果一辆汽车疾驰而过，导致普通相机感到困惑，交通警察就会打开闸门，让事件数据引导修正过程。

结果令人印象深刻。当他们在涉及快速运动和复杂光照条件的三个数据集上测试该系统时，它始终能在保持高视频质量的同时节省大量数据。在名为 BS-ERGB 的特定测试集上，与目前最好的标准方法相比，该系统在不损失任何图像质量的前提下，成功减少了 20.80% 的文件大小（以 PSNR-RGB BD-rate 节省量衡量）和 22.14% 的文件大小（以 MS-SSIM-RGB BD-rate 节省量衡量）。即使在具有不同传感器和高速摄影的其他数据集上，该系统也展现出了明显的改进。

论文明确反对那种应该将所有数据强行揉在一起，或者尝试将事件数据随视频一起发送的想法。他们证明这样做会引入噪声并实际上损害性能。相反，他们证明了将事件严格作为精炼主视频运动猜测的“助手”才是获胜的策略。虽然该系统确实需要稍微多一点的计算能力（每帧增加约 7.3% 的计算量），但这种权衡是值得的，因为它可以带来巨大的数据传输节省。简而言之，ENCORE 教会我们，有时为了看清未来，你不需要更多的图片；你只需要倾听那些发生变化的事物。

技术摘要：ENCORE —— 用于学习型视频压缩的事件辅助互补运动细化技术

1. 问题定义

学习型视频压缩（LVC）高度依赖于准确的时域建模，以利用相邻帧之间的冗余。然而，现有的编解码器仅通过离散采样的 RGB 帧来推断运动。这种方法在涉及快速运动、运动模糊、遮挡、弱纹理、低照度或亮度突变的情况下会变得不可靠。不准确的时域建模会降低预测质量，增加运动和残差表示的不确定性，并最终导致码率上升。

虽然多模态压缩已经存在，但大多数方法要么联合编码多种模态（例如 RGB-D、立体视觉），要么使用辅助模态进行语义引导（例如文本生成图像）。目前缺乏能够利用辅助时间流来专门优化 RGB 视频压缩中的运动估计，且无需重建辅助信号本身的方法。事件相机能够异步捕捉具有高时间分辨率和高动态范围的细粒度强度变化，为 RGB 帧提供了关于帧间动态的互补证据。然而，对事件数据进行朴素融合往往会引入噪声和冗余，无法提升压缩性能。

2. 方法论

作者提出了 ENCORE（Event-Assisted Complementary Motion Refinement，事件辅助互补运动细化），这是一个将事件流作为辅助模态集成到标准学习型视频压缩流水线中，以细化运动估计的框架。该系统保留 RGB 作为唯一的编码和重建目标，仅使用事件来辅助编码器的运动建模。

该框架基于 HyTIP 主干网络，并在编码侧的运动估计接口中插入了三个专门的模块：

A. 互补运动表示 (Complementary Motion Representation, CMR)

CMR 模块将对齐后的 RGB 和事件特征分解为三个不同的组件，以防止互补线索被稀释：

共同运动 ( $F^c_t$ )： 由两种模态共同支持的结构（例如，主导的位移模式）。
RGB 特有运动 ( $F^{r,s}_t$ )： RGB 密集外观所特有的信息。
事件特有运动 ( $F^{e,s}_t$ )： 事件流所特有的动态特性（例如，快速的亮度变化）。

这种分解通过重建损失（以保留原始信息）和分离损失（以确保各分支之间的正交性）来强制执行，从而防止共同分支重复模态特有的信息。

B. 空间能量与冗余告知校准 (Spatial Energy and Redundancy-Informed Calibration, SERIC)

并非所有的事件响应都是有用的；有些是噪声，有些与 RGB 冗余，或者过于微弱。SERIC 识别并校准最有价值的事件证据：

活性图 ( $E_t$ )： 测量事件特有特征的局部能量（平方幅度），以识别活跃区域。
新颖性图 ( $N_t$ )： 计算事件特征与 RGB 特征（投影到事件空间后）之间的差异，以识别 RGB 无法解释的证据。
效用估计： 一个可学习的函数结合 $E_t$ 和 $N_t$ 来生成效用图 ( $U_t$ )。该图抑制微弱或冗余的响应，同时保留提供新颖、高能量动态证据的区域。
校正预测： 校准后的事件特征与共同运动相结合，以预测候选流校正量 ( $\Delta v_t$ )。

C. 能量感知路由 (Energy-Aware Routing, EAR)

最后阶段决定在何处以及多强程度上应用候选校正来细化初始 RGB 流。

路由网络将局部活性、新颖性、初始 RGB 流的大小以及校正量的大小作为输入。
它输出一个空间路由图 ( $G_t \in [0, 1]$ )，该图作为一个门控。
细化流： 最终的运动向量计算为 $v^{evt}_t = v^r_t + G_t \odot \Delta v_t$ 。
该机制确保在 RGB 流已经足够可靠的区域，校正会被抑制（趋于零），从而防止不必要的扰动。在具有强互补动态的区域，则应用校正。

D. 优化

系统进行端到端训练，以最小化重建 RGB 视频的率失真代价 ( $L_{RD}$ )。辅助损失在训练期间用于引导分解和对齐，但在推理时会被丢弃：

重建损失 ( $L_r, L_s$ )： 强制执行 CMR 分解的质量。
运动对齐损失 ( $L_m$ )： 利用基于光度误差的可靠性掩码，将可靠的 RGB 位移蒸馏到事件分支中。
变形损失 ( $L_w$ )： 通过最小化前一帧的变形误差来监督细化后的流。

3. 核心贡献

论文声称了三个主要贡献：

首次应用： 据作者所知，这是第一个将事件数据作为辅助模态专门用于 RGB 视频压缩的工作，在保持 RGB 为唯一编码目标的同时，提升了时域预测能力。
渐进式细化框架： 开发了一种新型架构（CMR、SERIC、EAR），能够显式分离共同运动与模态特有运动，识别出 RGB 未能解释的活跃事件证据，并对生成的流校正进行空间路由。
全面评估： 在三个 RGB-事件数据集（BS-ERGB、HQ-EVFI、CED）和两种 GOP 设置下进行了广泛实验，证明了在计算复杂度略微增加的情况下（每帧 P 帧增加 7.3% 的 GFLOPs），实现了持续的编码增益。

4. 实验结果

作者将 ENCORE 与仅使用 RGB 的 HyTIP 基线以及朴素的 RGB+事件拼接方法进行了对比。

数据集： BS-ERGB（主要）、HQ-EVFI（高帧率）和 CED（不同传感器）。
短 GOP (GOP=8)： 在 BS-ERGB 上，ENCORE 实现了 19.31% 的 PSNR-RGB BD-rate 节省和 16.73% 的 MS-SSIM-RGB 节省。朴素的拼接方法表现比基线更差，凸显了所提议的细化模块的必要性。
长 GOP (GOP=32)： 在 BS-ERGB 上，ENCORE 实现了高达 20.80% 的 PSNR-RGB 和 22.14% 的 MS-SSIM-RGB BD-rate 节省。
泛化性： 在 HQ-EVFI 和 CED 上均观察到了持续的增益，证明了在不同采集条件和传感器类型下的鲁棒性。
复杂度： 与主干网络相比，该框架仅增加了 7.3% 的每帧 P 帧总 GFLOPs。

5. 重要性与主张

论文将 ENCORE 定位为解决挑战性视频压缩场景中仅依靠 RGB 时域建模局限性的解决方案。其重要性在于：

效率： 它证明了辅助传感器可以在不承担重建辅助信号或联合编码多种模态开销的情况下，显著降低码率。
鲁棒性： 通过显式地校准和路由事件证据，该方法避免了朴素特征融合的陷阱，有效地处理了事件流固有的噪声和冗余。
实用性： 该框架可以无缝集成到现有的学习型压缩流水线（特别是 HyTIP）中，且架构改动极小，计算开销较低，使其成为未来可能具备事件相机的视频压缩标准的有力候选方案。

作者保持谦逊，指出虽然结果一致且显著，但该方法专门设计用于事件数据在编码端同步可用且在推理时丢弃辅助头的情景。