💻 computer science

Real-Time Underwater Image Enhancement via Frequency-Guided Dual-Path Attention

本文提出了一种轻量级、实时的水下图像增强框架，该框架通过集成频率引导的双路径注意力机制与具有固定离散余弦变换（DCT）先验的可重参数化卷积，以极低的计算成本和极高的推理速度实现了最先进的性能。

原作者： Leshen Zhang, Ao Li, Ce Zhu

发布于 2026-06-30

📖 1 分钟阅读☕ 轻松阅读

原作者： Leshen Zhang, Ao Li, Ce Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正试图在水下拍摄一张照片。那感觉就像是透过一层厚厚的、青绿色的浓雾在观察。光线被吸收了，色彩变得暗淡，物体的边缘看起来也模糊不清。对于需要通过“看”清水下环境来进行导航或寻找目标的机器人或摄像机来说，这是一个巨大的难题。

这篇论文介绍了一种全新的、超快速的计算机程序，旨在清理这些模糊的水下照片。作者们称之为“实时水下图像增强”（Real-Time Underwater Image Enhancement）系统。你可以把它想象成一个神奇的照片编辑器，它运行速度极快，可以在小型机器人的大脑中直接运行，而不会造成卡顿。

以下是他们是如何实现的，使用了简单的类比：

问题所在：“沉重型”与“轻量型”

通常情况下，要修复一张模糊的照片，你需要一个非常沉重、复杂的计算机大脑（大型 AI 模型）。但这些沉重的大脑对于小型机器人来说太慢了，而且太耗电。
另一方面，也有一些“超轻量级”的模型，它们虽然快速且体积小，但却像是一个戴着眼罩试图修理画作的人。它们只能观察图片的颜色和形状（“空间”视角），却忽略了频率（隐藏的细节和色彩波纹模式）。因为水下的问题本质上都与光波如何被干扰有关，如果忽略了“频率”，修复效果就不会完美。

解决方案：双重超能力

作者构建了一个微小且快速的模型，让它能同时“看到”图片本身和隐藏的波纹。他们通过两个主要的技巧实现了这一点：

1. “预加载”过滤器 (MBRConv-DCT)
想象一下你正在教一个学生画画。与其让他们去猜测如何画一条直线或一条斜线，不如给他们一套预先画好的模板（模板/描图纸），让他们进行描摹。

工作原理： 该模型有一个特殊的“训练模式”，在这个模式下，它使用固定的、预制的数学模式（称为 DCT 核），这些模式充当了水平、垂直和对角线的模板。这些模板帮助模型理解水下图像是如何变得模糊的。
神奇的魔术： 一旦学生（模型）通过这些模板学会了知识，模板就会被移除！模型将这些模板的知识直接融入到了自己的大脑中。因此，当它实际处理照片（推理）时，不再需要这些模板。它运行起来和普通的模型一样快，但它已经具备了识别这些模式的“聪明才智”。

2. “双路径”侦探 (FGDPA)
想象一位侦探正在侦破案件。一位侦探观察物理证据（照片的颜色和形状），而第二位侦探则观察场景的“氛围”或整体能量（频率）。

工作多少： 这个模块拥有两条路径。
- 路径 A（空间）： 正常地观察图片以寻找重要的细节。
- 路径 B（频率）： 利用一种数学工具（FFT）对图片的“声波”进行一次微小且快速的快照，以观察颜色和边缘是如何在全球范围内分布的。这就像是通过听房间里的嗡嗡声来判断是否正在举行派对，而不是去观察每一个人的情况。
结果： 这两位侦探会进行交流。“频率侦探”会告诉“空间侦探”：“嘿，整张图片太绿了，我们得修一下，”或者“边缘太弱了，我们需要把它们锐化。”这个过程非常快，因为频率检查是在一个微小的、固定大小的网格上进行的，而不是针对整个巨大的图像。

结果：快速且清晰

作者测试了他们的创造物，发现：

它很小： 整个模型的规模非常小（仅约 4,200 个“参数”，这就像与其他拥有数百万参数的模型相比，拥有一个非常小的词汇量）。
它很快： 在一台高性能计算机上，它每秒可以处理超过 600 张照片；在小型嵌入式机器人芯片（如 Jetson AGX Orin）上，每秒可以处理超过 100 张照片。
它很有效： 当他们将该模型与其他方法进行对比时，发现即使是面对比它大得多的、更沉重的模型，该模型也能产生更清晰、色彩更丰富且更锐利的图像。它比竞争对手更好地修复了“绿色浓雾”并恢复了细节。

总结

简而言之，作者将一个微小、快速的 AI 模型进行了升级，教会了它去关注水下图像的“隐藏波纹”。他们通过提供在学习后会自动消失的特殊训练工具，以及添加一个快速的“频率检查”来辅助修复颜色和细节。其结果是一个既足够小到可以由机器人携带，又足够聪明到能在深蓝之中看清世界的照片清理器。

技术摘要：基于频率引导双路径注意力的实时水下图像增强

问题陈述

实时水下图像增强（UIE）对于移动摄影、自主水下航行器（AUV）以及嵌入式视觉系统至关重要。这些应用要求模型具备低延迟、紧凑的内存占用以及极低的功耗。虽然近期基于结构重参数化（如 RepVGG、MobileOne）的超轻量化卷积神经网络（CNN）满足了这些效率约束，但它们主要在空间域内运行。这种方法忽略了水下退化的频率敏感特性，即光吸收会重塑全局光谱分布（影响颜色），而散射则会衰减高频成分（侵蚀边缘）。现有的频率感知方法往往依赖于沉重的架构或复杂的频率分解，这引入了与实时、资源受限的边缘部署不兼容的计算开销。此外，经典的轻量化注意力机制（如 SENet、CBAM）缺乏显式的频率建模，而当前的重参数化模型在分支合并为单个卷积核进行推理时，往往会丢失方向性和光谱多样性。

方法论

作者提出了一种轻量级的 UIE 框架，该框架将频率域建模集成到重参数化 CNN 架构中，且不会增加推理开销。该框架由两个主要部分组成：

1. 带有固定 DCT 先验的多分支重参数化卷积 (MBRConv-DCT)

该模块增强了标准重参数化卷积的频谱表示能力。

机制： 在训练期间，MBRConv-DCT 添加了一个专门的线性分支，其中包含固定的非直流（non-DC） $3 \times 3$ 离散余弦变换（DCT）卷积核。这些卷积核编码了涵盖从低频到高频的结构化方向频率响应（水平、垂直、对角线）。
训练： 该分支包含一个可学习的点卷积和一个标量门控（初始化为零），以确保该分支不会干扰训练初期。
推理： 至关重要的是，DCT 分支是完全线性的。在重参数化阶段，这些固定卷积核和学习到的权重会被解析地融合进一个标准的 $3 \times 3$ 卷积核中。因此，MBRConv-DCT 在训练期间丰富了模型对方向性频率线索的敏感度，但在推理阶段引入了零额外的参数或 FLOPs。

2. 频率引导双路径注意力 (FGDPA)

该模块通过融合空间和频谱线索来进行自适应特征调制。

频率路径： 为了确保分辨率不变性和稳定性，输入特征图被下采样至固定的 $32 \times 32$ 网格。应用二维快速傅里叶变换（FFT）以获得对数压缩后的幅度谱。通过全局平均池化聚合这些统计量，从而形成紧凑的频谱描述符。该描述符直接在频率域内引导通道调制，避免了逆快速傅里叶变换（IFFT）带来的计算成本。
空间路径： 平行的分支纯粹在空间域运行，利用最大池化和平均池化生成空间显著性图。
融合： 两条路径通过一个静态的可学习混合门控机制进行结合。最终的注意力图是频率引导通道注意力和空间显著性图的加权和及逐元素乘积。
效率： 频率分支在恒定的 $32 \times 32$ 分辨率下运行，且所有卷积均为 $1 \times 1$ ，确保了极低的运行时开销。

该框架保留了来自 MobileIE 的特征自变换（FST）模块，以增强非线性特征交互。整个网络采用可重参数化的训练结构，在推理时坍缩为一个轻量级的前馈模型。

核心贡献

FGDPA 模块： 一种超轻量级的注意力机制，它通过固定分辨率的 FFT 幅度构建分辨率不变的频谱描述符。它利用全局频谱统计量来引导通道调制而不使用逆 FFT，从而高效地捕捉全局退化线索。
MBRConv-DCT： 一种多分支重参数化卷积，在训练期间注入固定的非直流 DCT 方向先验。该线性分支是可解析坍缩的，在不增加推理成本的前提下丰富了频谱多样性。
频率引导集成： 本研究证明了显式频率引导可以无缝集成到超轻量级重参数化 CNN 中，并仅用 4.23K 个参数即可实现最先进的性能。

实验结果

该方法在 UIEB 数据集（有监督）以及 EUVP 和 UIQS 数据集（无监督/无参考）上进行了评估。

性能： 在 UIEB 基准测试中，该模型实现了 23.97 dB PSNR 和 0.9155 SSIM，在保持相当参数量（约 4.2K）的同时，性能超过了最强的轻量化竞争对手（MobileIE）超过 1.1 dB。它在失真度指标和感知指标上均超越了参数量大得多的 U-Shape Transformer（31.5M 参数），其 LPIPS 最低，为 0.1188。
泛化能力： 在真实世界数据集（EUVP 和 UIQS）上，该模型展示了卓越的鲁棒性，在 EUVP 上取得了最先进的 UIQM 和 UCIQE 分数，并在 UIQS 上排名第二。
效率： 在 $480 \times 640$ 分辨率下，该模型在 NVIDIA RTX 3090 上运行速度达到 628+ FPS。在嵌入式平台（Jetson AGX Orin）上，它实现了 106.9 FPS 的速度，延迟为 9.35 ms。
消融实验： 移除注意力路径中的频率幅度会导致性能显著下降（从 23.97 dB 降至 22.81 dB），证实了频率感知通道调制是不可或缺的。固定的 DCT 卷积核提供了稳健的频谱归纳偏置，其性能在不同的卷积核数量（ $K=2$ 到 $8$）下保持稳定。

意义与主张

本文声称，显式频率建模可以有效地集成到超轻量级 CNN 中，而不会牺牲实时性能。通过利用结构化频谱先验（通过 MBRConv-DCT）和轻量化基于 FFT 的统计量（通过 FGDPA），所提出的框架解决了水下图像中仅靠空间模型无法处理的频率敏感型退化问题。

作者将这项工作定位为解决当前超轻量化重参数化模型中“效率-有效性差距”的方案。他们证明了在该领域，性能的提升并不一定需要增加模型深度或参数数量，而是通过提高每个参数的表示效率（即频率感知设计）来实现。研究结果表明，这些模型在水下无人机和嵌入式机器人系统等资源受限的平台上具有强大的部署潜力。