💻 computer science

ReMATF: Recurrent Motion-Adaptive Multi-scale Turbulence Mitigation for Dynamic Scenes

ReMATF 是一种轻量级循环框架，它仅利用两帧图像，通过多尺度编码器 - 解码器结构和运动自适应时序融合来抑制动态场景中的大气湍流，在显著降低计算成本的同时，实现了优于现有基于多帧 Transformer 方法的视觉质量和时序一致性。

原作者： Zhiming Liu, Zhicheng Zou, Nantheera Anantrasirichai

发布于 2026-05-21

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhiming Liu, Zhicheng Zou, Nantheera Anantrasirichai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，在一个炎热的日子里，你试图拍摄远处的山脉。近地面的空气在 shimmering（闪烁），使得山脉看起来像是在跳舞、波动或融化。这就是大气湍流。它也是导致星星闪烁，或使夏季道路看起来像有积水的原因。

当你尝试录制这段视频时，问题会变得更加严重。图像不仅看起来模糊，还会闪烁、扭曲和跳动，让人难以看清实际发生了什么。

本文介绍了一种名为ReMATF的新工具，用于修复这些抖动、不稳的视频。以下是其工作原理的简明解释：

旧方法的问题

以往尝试修复这些视频的方法，就像试图通过同时查看 50 张同一扇脏窗户的照片来清洁它。

过于沉重：这些方法需要巨大的计算能力和内存，就像试图背着一个装满砖块的沉重背包。它们对于实时应用来说太慢了。
过于僵化：它们通常假设场景是静止的（像雕像一样）。但在现实世界中，汽车在移动，人们在行走，树叶在飘动。当场景移动时，这些旧方法会感到困惑，并在移动物体后面产生“鬼影”或奇怪的拖尾。

ReMATF 解决方案：“智能记忆”方法

作者创建了 ReMATF，它就像一个轻量级、智能的编辑器，只需要同时查看两帧：当前模糊的帧和刚刚修复的那一帧。

以下是 ReMATF 使用的三个主要“技巧”：

1. “两步舞”（循环框架）

ReMATF 不是一次性处理整个视频，而是逐步工作。

类比：想象你正穿过一片雾蒙蒙的森林。你不需要看到整片森林就知道自己在哪里；你只需要记得一秒前你在哪里，并看看现在你在哪里。
工作原理：ReMATF 将当前扭曲的图像与前一秒生成的“干净”图像结合起来，以此推测干净图像应该是什么样子。这保持了低内存占用，就像携带一个小笔记本而不是整个图书馆。

2. “运动敏感开关”（运动自适应时间融合）

这是本文最重要的创新。系统必须决定：我应该相信新图像，还是旧图像？

类比：想象一名保安在监视屏幕。
- 如果是一个静止物体（如建筑物）在闪烁，保安会说：“那只是空气在 shimmering。我会相信一秒前建筑物看起来的样子来平滑它。”
- 如果是一个移动物体（如汽车）在闪烁，保安会说：“汽车在移动！如果我使用旧画面，我会得到鬼影般的拖尾。我必须相信新画面以保持汽车的清晰。”
工作原理：ReMATF 有一个特殊模块（MATF），它会查看每一个像素。如果像素属于移动物体，它就信任新帧；如果它属于静止背景，它就信任旧帧。这既阻止了“鬼影”效应，又保持了背景的平滑。

3. “恒温器”（湍流级别调节）

并非每一天的风都一样大。有些日子空气只是有点波动；其他日子则是一片混乱。

类比：想象一个恒温器，它能感知房间有多冷并自动调节加热器。
工作原理：ReMATF 有一个传感器，可以估算当前湍流有多“糟糕”。如果空气湍流非常严重，系统就会调高其“校正能力”以应对严重的扭曲。如果空气平静，它就专注于保持细节的锐利。这有助于该工具在各种不同条件下都能良好工作，而无需重新训练。

结果

作者在计算机生成的视频以及真实的抖动、热空气场景 footage 上测试了该工具。

速度：它比之前使用的复杂重型方法快得多。它可以在标准硬件上实时运行。
质量：它生成的图像更清晰，闪烁更少，移动物体后面的“鬼影”拖尾也更少。
效率：它在仅使用先前方法所需计算机内存的一小部分的情况下，实现了这些高质量结果。

简而言之，ReMATF 是一个轻量级、智能的视频清洁器，它记得过去足以平滑空气，但也知道何时放手以保持移动物体的清晰。

技术摘要：ReMATF

问题陈述

大气湍流（AT）通过引入几何畸变、模糊和时序闪烁，严重降低了长距离成像系统中的视频质量。这些失真源于空气折射率在空间和时间上的变化。虽然传统方法（例如非刚性配准、多帧融合）在静态场景中表现良好，但在时间冗余不足的动态场景中却难以奏效。

最近的深度学习方法，特别是基于 Transformer 和 3D 架构的方法，已显示出潜力，但它们通常需要多帧输入（例如 5 帧），并产生高昂的计算成本和内存占用。这限制了它们在资源受限场景中的部署。此外，现有的数据驱动方法由于依赖合成数据集以及失真严重程度各异，往往缺乏对真实世界湍流的泛化能力。

方法论

作者提出了 ReMATF（递归运动自适应多尺度湍流框架），这是一个轻量级递归框架，旨在仅使用两帧（当前失真帧和上一帧恢复输出）来恢复视频，同时保留空间细节和时序稳定性。

核心架构

该框架以递归方式运行，通过接收当前失真帧 $I_t$ 和上一帧恢复帧 $O_{t-1}$ 来处理时间步 $t$ 。

湍流级别条件化：
- 为了适应不同程度的失真，模型使用基于 CLIP 的图像质量评估（CLIP-IQA）模型估计每一帧的湍流级别。
- 该标量分数通过一个轻量级 MLP 转换为潜在嵌入，并通过交叉注意力调制层注入骨干网络。这使得模型能够动态重新加权特征响应，在严重湍流时优先进行几何稳定，在轻微湍流时优先进行细节细化。
校正器（多阶段模块）：
- 多尺度特征提取： 输入被下采样以创建三级尺度层次结构。3D 卷积块在每个尺度上提取局部时空表示（波纹、强度波动）。
- 时序对齐（TWT 块）： 在每个尺度上，采用 Transformer-Warp-Transformer（TWT）块。
  - 第一个 Transformer 增强嵌入并促进对应关系推理。
  - 一个轻量级光流估计分支预测光流，以指导流形变模块（使用可变形卷积）进行细粒度的几何补偿。
  - 第二个 Transformer 细化对齐后的特征。
- 特征细化： 来自所有尺度的对齐特征被融合，并由额外的 TWT 块处理，以重建高频纹理并去除残余失真，生成中间恢复结果 $\hat{O}_t$ 。
运动自适应时序融合（MATF）：
- 为了在不增加内存窗口的情况下强制长期时序一致性，中间输出 $\hat{O}_t$ 与运动补偿后的上一输出 $O_{t-1}$ 进行融合。
- 一个 运动自适应时序融合（MATF） 模块执行逐像素融合。它利用运动幅度、光度差异和光流一致性等线索生成运动图。
- 动态区域 更多地依赖当前恢复结果，以避免重影并保留边界。
- 静态区域 更多地依赖上一输出，以确保时序连贯性并减少闪烁。
- 一个边缘感知抑制项防止结构边界被误判为运动。
- 最终输出 $O_t$ 被递归传播到下一个时间步。

损失函数

训练目标结合了多种损失，以确保空间保真度和时序连贯性：

重建损失： 使用 Charbonnier 惩罚进行鲁棒的像素级监督。
小波域损失： Haar 小波约束以保留高频结构。
拉普拉斯结构损失： 惩罚拉普拉斯响应的差异以增强边缘锐度。
静态感知时序一致性损失： 在 MATF 掩码识别的静态区域内，强制当前输出与扭曲后的上一预测之间的一致性。
多步光流一致性损失： 利用估计的光流场，鼓励与多个历史预测保持一致性。

主要贡献

ReMATF 框架： 第一种通过耦合短期和长期递归机制来减轻 AT 失真的方法，实现了每次仅使用两帧进行恢复。
短期递归： 提供即时恢复线索以抑制波纹伪影。
通过 MATF 实现的长期递归： 通过运动感知权重图整合当前和上一输出，实现了内存高效的长距离时序聚合，其中来自早期帧的信息被隐式衰减。
湍流级别条件化： 引入了一种机制，帮助网络在不使用单独模型的情况下适应广泛的失真严重程度。
真实世界数据集构建： 通过复制静态场景中的动态内容来创建配对真实世界 AT 数据集，生成用于监督训练的伪真值。

结果

实验在合成数据集（ATSyn-Dynamic, DeTurb）和真实世界数据集（CLEAR, RLR-AT, ATD）上进行。

合成性能： 在 ATSyn-Dynamic 数据集上，ReMATF 在所有指标（PSNR, SSIM, LPIPS）上均取得了最先进的性能，在弱、中、强湍流级别上均优于 MambaTM、DATUM 和 TMT 等基线方法。
真实世界性能： 在真实动态场景中，与之前的最佳递归方法（RMFAT）相比，ReMATF 将 PSNR 提高了 +2.83 dB，SSIM 提高了 +0.05，并将 LPIPS 降低了 0.048。它表现出卓越的时序稳定性（最低的 tLPIPS），并在具有挑战性的区域（例如车辆边界、远处物体）保留了结构细节，而其他方法在这些区域会产生模糊或闪烁。
效率： ReMATF 比多帧 Transformer 基线方法快得多且内存效率更高。它在 NVIDIA RTX4090 上处理帧的时间约为 0.008 秒，且仅有 2.60M 参数，使其适用于资源受限的场景。
消融研究： 移除 MATF 模块、多尺度扭曲或湍流级别条件化会导致性能显著下降，证实了每个组件对于处理空间变化失真和维持时序稳定性的必要性。

意义

该论文声称，ReMATF 解决了大气湍流抑制中时序信息利用与计算效率之间的关键权衡。通过在轻量级递归框架内解耦短期和长期推理，ReMATF 在动态场景中实现了鲁棒的恢复，而无需大型多帧窗口带来的内存开销。引入湍流级别条件化和运动自适应融合，使模型能够泛化到不同的失真严重程度和运动模式，为传统多帧方法不可行的场景提供了实时部署的实用解决方案。