DeLiVR: Differential Spatiotemporal Lie Bias for Efficient Video Deraining

本文提出了 DeLiVR,一种通过向网络注意力分数中注入时空李群微分偏差(包含旋转约束的相对偏差和微分群位移)来高效解决视频去雨中因相机姿态变化导致的跨帧失配及伪影问题的新方法。

Shuning Sun, Jialang Lu, Xiang Chen, Jichao Wang, Dianjie Lu, Guijuan Zhang, Guangwei Gao, Zhuoran Zheng

发布于 2026-02-17
📖 1 分钟阅读☕ 轻松阅读

Each language version is independently generated for its own context, not a direct translation.

这篇论文介绍了一种名为 DeLiVR 的新方法,专门用来解决下雨天拍摄的视频模糊、有雨痕的问题。

想象一下,你正在用手机拍一段风景视频,突然下起了大雨。雨滴打在镜头上,或者划过画面,导致视频里全是白色的雨线,画面还变得模糊不清。更糟糕的是,如果你手稍微抖了一下(或者相机位置变了),视频里的物体就会“跳来跳去”,看起来很不自然。

以前的方法就像是一个笨拙的修图师,试图通过猜测雨滴怎么动、或者用复杂的数学公式去强行对齐每一帧画面,结果往往算得慢,而且一遇到复杂的场景(比如快速移动或相机晃动)就“算晕了”,导致修复后的视频要么还有雨痕,要么画面抖动。

DeLiVR 的聪明之处在于:它给视频修复加了一个“几何导航仪”。

我们可以用三个生动的比喻来理解它的核心原理:

1. 给每一帧视频装上“指南针” (SO(2) Head)

以前的方法在处理视频时,往往忽略了相机本身的微小转动。就像你在旋转的椅子上画画,如果不知道椅子转了多少度,画出来的东西就会对不上。

DeLiVR 做了一个小模块(叫 SO(2) Head),它像是一个超级敏感的指南针。在修复视频的每一帧之前,它先快速判断:“这一帧画面相对于上一帧,是不是转了一个小角度?转了多少度?”

  • 比喻:就像你在玩拼图,以前是硬把两块拼图往一起按,现在 DeLiVR 先告诉你:“这块拼图其实需要顺时针转 5 度才能对上。”

2. 用“数学魔法”来对齐 (Lie Group / 李群)

一旦知道了旋转角度,DeLiVR 并没有用笨办法去硬算,而是使用了一种叫**“李群(Lie Group)”**的数学理论。

  • 比喻:想象你在一个巨大的、平滑的球面上移动。以前的方法像是在球面上乱爬,容易迷路;而“李群”就像给这个球面画好了经纬线。DeLiVR 利用这些经纬线,能非常精准、平滑地计算出雨滴和背景物体在空间中的真实位置。
  • 作用:它确保了即使相机在晃动,视频里的物体也能稳稳地“站”在原来的位置,不会乱跑。

3. 给注意力机制加上“过滤器” (Differential Spatiotemporal Lie Bias)

这是 DeLiVR 最核心的创新。现在的 AI 修复视频,通常使用一种叫“注意力机制”的技术(让 AI 知道该关注画面的哪一部分)。以前的 AI 在看雨滴时,容易把雨滴和背景搞混,或者被雨滴的随机运动带偏。

DeLiVR 给这个“注意力机制”加了一个特殊的过滤器

  • 空间过滤器:根据刚才那个“指南针”算出的角度,告诉 AI:“嘿,别盯着那些乱动的雨滴看,要看那些符合几何规律的物体边缘。”
  • 时间过滤器:告诉 AI:“雨滴是快速划过的,但背景是连贯的。我们要关注那些随时间平滑变化的部分,忽略那些突然跳变的噪点。”
  • 比喻:就像在嘈杂的派对上(下雨的视频),以前的 AI 试图听清每个人的声音,结果被雨声(噪音)淹没了。DeLiVR 则给了你一副智能降噪耳机,它能根据你头部的转动(相机姿态),精准地过滤掉雨声,只让你听清你想听的人声(清晰的画面)。

总结:它好在哪里?

  1. 更清晰:它不仅能去掉雨痕,还能保留树木、建筑的细节,不会把画面修得像“磨皮”一样模糊。
  2. 更稳定:即使你手抖了,或者相机在转,视频里的物体也不会“鬼影重重”地乱跳。
  3. 更聪明:它不需要像以前那样先算出复杂的“光流”(计算每个像素怎么动),而是直接用几何原理“猜”得准,所以速度更快,计算量更小。
  4. 更有用:修复后的视频不仅人看着舒服,还能让自动驾驶汽车、机器人看得更清楚,避免因为雨滴误判而撞车。

一句话总结:
DeLiVR 就像给视频修复技术装上了一个懂几何学的“导航大脑”,它不再盲目地擦除雨滴,而是先理解相机是怎么动的,然后顺着这个逻辑,把被雨遮挡的清晰世界“还原”出来。

在收件箱中获取类似论文

根据您的兴趣定制的每日或每周摘要。Gist或技术摘要,使用您的语言。

试用 Digest →