💻 computer science

Variational Deep Unfolding with Mamba-Based Nonlocal Modeling for Underwater Image Enhancement

本文提出了一种用于水下图像增强的变分深度展开网络，该网络将基于去雾的变分公式与用于高效非局部建模的 Mamba 层以及用于实现卓越视觉和定量性能的近端轨迹损失相结合。

原作者： Daniel Torres, Julia Navarro, Catalina Sbert, Joan Duran

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Daniel Torres, Julia Navarro, Catalina Sbert, Joan Duran

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图拍摄一张美丽的珊瑚礁照片，但水质浑浊、泛着绿光且雾气蒙蒙。色彩看起来褪去了，细节也变得模糊不清。这就是水下成像面临的日常困境。

你分享的这篇论文提出了一种新的“智能过滤器”来修复这些照片。作者并没有仅仅靠猜测来修复图像，而是构建了一个将经典物理学与**现代人工智能（AI）**相结合的系统。以下是他们实现这一目标的原理，通过简单的解释呈现如下：

1. 问题所在：“浑浊水质”的配方

作者首先提出了一个关于水下图像是如何被破坏的已知“配方”。他们认为，一张糟糕的水下照片基本上是由三部分组成的混合物：

真实场景： 你真正想要看到的画面。
霾（Haze）： 类似于水下的雾，由光线在微粒上反射引起。
噪声： 随机出现的斑点和颜色失真。

大多数旧方法试图通过单纯提高亮度（就像在暗室里调亮灯光）或者使用基于物理学的复杂数学公式来修复这个问题。问题在于：数学公式过于僵化，而“单纯调亮”的方法往往会让照片看起来很不自然或颜色怪异。

2. 解决方案：一个“智能展开”机器

作者创建了一个名为深度展开网络（Deep Unfolding Network）的新系统。你可以把它想象成一个循序渐进的烹饪课程，而不是一个神奇的微波炉。

“展开（Unfolding）”的部分： 想象你有一个描述如何净化水质的复杂数学方程。通常，你会像剥洋葱一样，一层一层地解决这个方程中的每一个步骤。作者将这些特定的步骤转化为了一个个微型的 AI 大脑。
“深度学习（Deep Learning）”的部分： 他们没有硬编码每一层如何剥开的规则，而是让 AI 通过观察成千上万张“糟糕照片”及其“完美版本”的对比示例，来学习最佳的剥离方式。
结果： 该系统不仅仅是在猜测；它遵循一个逻辑性的、基于物理学的路径，但在每一步中都利用 AI 来做出决策。

3. 秘密配方

为了让这个系统比以往任何方法都更出色，他们加入了两个特殊的成分：

“Mamba”引擎：
通常，观察全局图像（以了解左边的鱼与右边的岩石之间的关系）的 AI 模型运行速度很慢，且非常消耗计算资源。作者使用了一种名为 Mamba（基于“状态空间模型”）的新技术。
- 类比： 想象你在读一本书。旧的 AI 模型会读每一个字，检查整页，然后移动到下一行。Mamba 则像是一个超级快速的读者，能够瞬间理解故事的脉络，以及开头是如何与结尾相连的，而不会感到疲劳或需要庞大的记忆库。它让系统能够非常高效地观察水下场景的“大局观”。
“非局部（Non-Local）”侦探：
在水下，一条鱼可能看起来很模糊，但它鳞片的图案可能与远处的一块岩石上的图案完全一致。该系统使用“非局部”约束来寻找整个图像中这些匹配的模式。
- 类比： 这就像一位侦探，他知道如果嫌疑人的鞋印出现在厨房里，那么他们在客厅里可能也留下了鞋印，即使这两个房间离得很远。这有助于系统锐化边缘并保持细节清晰，即使是在模糊的部分也是如此。
“轨迹（Trajectory）”教练：
在训练 AI 时，他们不仅仅告诉它，“让最终的照片看起来很好”。他们还添加了一个特殊的规则，称为近端轨迹损失（Proximal Trajectory Loss）。
- 类比： 想象在训练一名跑步者。你不仅在比赛结束时检查他们是否获胜，你还会检查他们在比赛中每一步的姿势。这个“教练”确保了 AI 采取的每一个中间步骤都是逻辑性的，并且是在正确的方向上前进，从而防止它为了达到看似完美的终点而采取错误的捷径。

4. 结果：更清晰、更锐利、更快

作者使用标准的水下照片数据集，将他们的系统与许多其他方法（包括旧的基于数学的方法和其他的 AI 模型）进行了对比测试。

视觉质量： 他们的照片看起来最自然。其他方法往往会让水色变成绿色或红色，或者让鱼看起来很模糊。而他们的方法保持了真实的色彩和锐利的边缘。
数据指标： 在技术测试中（衡量清晰度和色彩准确度），他们的方法得分最高。
效率： 由于使用了 “Mamba” 引擎，他们的系统比其他尝试完成同样工作的先进 AI 模型运行得更快，且使用的计算机内存更少。

总结

简而言之，作者构建了一个智能的、循序渐进的水下照片 AI 清洁器。它利用物理学的逻辑来明确“需要修复什么”，同时利用超高效的 AI 引擎（Mamba）来搞清楚“如何修复”。其结果是，水下图像变得更加清晰、色彩更佳，并且比我们以前见过的图像更加真实。

以下是关于论文《基于 Mamba 非局部建模的变分深度展开式水下图像增强》的技术总结翻译：

问题陈述

水下成像对于海洋工程和海洋研究至关重要，但捕获的数据经常受到能见度低、光照不均匀、颜色衰减和噪声的影响。这些退化现象显著阻碍了后续的计算机视觉任务。

经典方法： 传统方法分为无模型技术（在没有物理假设的情况下操纵像素强度）和基于物理模型的算法（基于水下图像形成模型——通常为 Jaffe-McGlamery 模型来解决逆问题）。虽然变分方法具有可解释性，但其有效性高度依赖于对手动选择合适先验知识的依赖。
深度学习方法： 数据驱动的深度学习方法直接从数据中学习先验，但往往需要复杂的架构和大规模数据集。纯数据驱动的模型可能缺乏可解释性，而标准的深度学习架构（如 Transformer）在捕捉长程依赖关系时会产生高昂的计算成本。
差距： 需要弥合基于模型的优化（具有可解释性）与深度学习（具有灵活性）之间的差距，特别是解决如何高效捕捉水下场景中长程自相似性的挑战。

方法论

作者提出了一种基于模型的深度展开网络，将变分建模集成到可学习的架构中。该方法由三个主要部分组成：变分基准、深度展开架构以及专门的训练策略。

1. 变分基准

该方法基于去雾分解的变分公式。作者提出了一个改进的图像形成模型：
$I = (J + N)t + A(1 - t)$
其中 $I$ 是退化图像， $J$ 是恢复图像， $N$ 是乘性残差分量（用于吸收剩余伪影）， $t$ 是透射率图， $A$ 是全局背向散射光。

要最小化的能量泛函包括：

数据保真项（Data Fidelity）： 基于上述分解模型。
非局部正则项（ $\alpha$ -项）： 一种非局部梯度约束，用于保留精细细节和纹理。
全变分项（ $\beta$ -项）： 应用于透射率图，以确保空间平滑性同时保留深度不连续性。
残差约束项（ $\lambda$ -项）： 限制残差分量的吸收。
非局部梯度保真项（ $\mu$ -项）： 惩罚恢复图像的梯度与特定向量场 $V$ （源自退化输入的放大梯度）之间的距离。该项旨在加强隐藏在低对比度水下图像中的结构信息。
透射率保真项（ $\rho$ -项）： 确保估计的透射率图接近初始估计值（源自暗通道先验）。

作者提供了理论证明，确立了该变分问题在定义的容许空间内存在极小值点。

2. 深度展开网络

优化算法（基于 Chambolle–Pock 的原始-对偶策略）被“展开”为一个具有 $K$ 个阶段的深度神经网络。在此框架下，优化变量（ $J, t, N$ ）的迭代更新对应于网络层。

可学习先验： 与图像先验（ $J$ ）和透射率图（ $t$ ）相关的近端算子被替换为可学习的神经网络。
Mamba 集成： 为了在不产生 Transformer 高昂计算成本的情况下高效捕捉长程依赖和自相似性，作者集成了 Mamba 层（状态空间模型）。
- MambaResNet： 取代图像 $J$ 的近端算子。它采用多分支设计，处理输入图像、白平衡增强版本和直方图均衡化版本。它使用 2D 选择性扫描（SS2D）模块来建模非局部交互。
- ProxNet： 用于透射率图 $t$ 的轻量级残差网络。
- MambaNet： 一个在梯度域内运行的模块，用于对非局部梯度保真项进行建模。
初始化： 网络使用退化图像作为 $J$ 的初始化，用零作为 $N$ 的初始化，并使用暗通道先验估计作为 $t$ 的初始化。

3. 近端轨迹损失（Proximal Trajectory Loss）

为了确保展开网络遵循底层的优化逻辑，作者引入了近端轨迹损失。该损失不仅监督最终输出，还强制要求网络的中间阶段与一个“理想”恢复正则化器（源自涉及地面真值的简化优化问题）的迭代过程保持一致。这防止了中间阶段偏离预期的优化路径。

核心贡献

变分公式化： 一种新的用于水下增强的能量泛函，结合了乘性残差分量和非局部梯度型约束，以处理伪影并保留边缘。
理论分析： 证明了所提非凸变分问题存在极小值点的理论。
基于 Mamba 的展开： 一个深度展开网络，通过将近端算子替换为基于 Mamba 的模块，实现了对水下场景长程依赖的高效建模。
近端轨迹损失： 一种新型损失函数，旨在使网络的展开阶段与理想优化算法的迭代保持一致，从而提高可解释性和性能。

实验结果

该方法在 UIEB 和 SUIM-E 数据集上进行了评估，并与经典方法（如 CBAF、BayesianRetinex）、纯深度学习方法（如 UColor、Phaseformer、Mamba-UIE）以及其他展开方法（UnfoldNet）进行了对比。

定量性能： 所提出的展开方法在两个数据集的所有指标（PSNR, SSIM, LPIPS）上均达到了最先进（SOTA）水平。例如，在 UIEB 上，它实现了 25.16 的 PSNR 和 0.9140 的 SSIM，显著超过了第二名的模型（Mamba-UIE）。
视觉质量： 视觉对比显示，与其他方法相比，该方法能更好地恢复色彩准确度（减少了常见的红/绿色调）并保留精细细节（如鱼鳞、海床纹理）。
消融实验：
- 去雾 vs. Retinex： 基于去雾的公式优于基于 Retinex 的替代方案。
- 梯度约束： 去除非局部梯度约束会导致边缘对比度和感知质量下降。
- 轨迹损失： 通过近端轨迹损失对中间阶段进行监督，相比仅使用最终输出的 MSE，显著提升了最终指标。
- 效率： 与多头注意力机制（MHA）的对比表明，Mamba 架构在保持更高吞吐量的同时，实现了更低的 FLOPs 和 GPU 显存占用，尤其是在高分辨率下。

意义与主张

论文声称所提框架成功弥合了基于模型的优化与深度学习之间的鸿沟。通过将具有物理动机的变分模型与 Mamba（状态空间模型）的高效性相结合，作者实现了：

改进的恢复效果： 与近期最先进的方法相比，具有更优的视觉质量和定量性能。
可解释性： 展开结构保留了底层优化问题的逻辑，并得到了解的存在性理论保证。
高效性： 使用 Mamba 层可以实现线性复杂度的全局上下文捕捉（非局部建模），解决了水下成像中 Transformer 方法的计算瓶颈问题。

作者指出，尽管结果令人鼓舞，但未来的工作可以侧重于改进初始透射率估计（目前依赖于暗通道先验）并将模型扩展到视频增强和时间一致性方面。