GSTurb: Gaussian Splatting for Atmospheric Turbulence Mitigation

本文提出了名为 GSTurb 的新框架，通过结合光流引导的倾斜校正与高斯泼溅技术来建模非等晕性模糊，从而在合成及真实世界数据集上显著提升了大气湍流图像的去畸变与复原效果。

要点

这篇论文介绍了一种名为 GSTurb 的新方法，专门用来解决一个让人头疼的问题：大气湍流（也就是我们常说的“热浪”或“空气抖动”）导致远处物体看起来模糊、扭曲的现象。

想象一下，你在夏天站在路边看远处的柏油马路，空气因为受热而上下翻滚，导致远处的景物看起来像在水波里一样晃动、变形。这就是大气湍流。对于长距离摄影、天文观测或监控来说，这种“空气抖动”会让画面变得无法辨认。

为了解决这个问题，作者们发明了一套“魔法组合拳”，我们可以把它拆解成三个简单的步骤来理解：

1. 核心魔法：把图像变成“无数个小光球” (高斯泼溅技术)

传统的修图方法像是在用 Photoshop 一点点修补，而 GSTurb 换了一种思路。它把整张图片想象成是由无数个透明的、彩色的“小光球”（高斯球）组成的。

• 比喻：想象你要用乐高积木拼出一幅画。传统的修图是试图把画布上的颜料抹平；而 GSTurb 是调整每一个乐高积木的位置、大小、旋转角度和透明度。
• 作用：大气湍流会让这些“小光球”乱跑（位置偏移，即倾斜）或者变模糊（形状拉伸，即模糊）。GSTurb 的核心任务就是把这些乱跑、变形的“小光球”重新摆正、摆圆，让它们拼回原本清晰的样子。因为每个“小光球”都可以独立调整，所以它能处理画面中不同区域不同程度的模糊（这叫“非等晕性”），就像能同时照顾到画面左边和右边不同的抖动情况。

2. 第一步：先扶正歪掉的画框 (光流倾斜校正)

大气湍流首先会让整个画面像手抖一样左右晃动。

• 比喻：想象你在看一个晃来晃去的视频，你首先得把视频“扶正”。
• 做法：作者们用了一个叫 RAFT 的 AI 模型，它像一双极其敏锐的眼睛，能计算出每一帧画面相对于参考画面“跑”了多远。然后，利用统计学原理（假设晃动是随机的，平均下来应该回到原点），把这些“跑偏”的像素强行拉回正确的位置。
• 效果：这一步先把画面从“晃动的果冻”变成了“静止但依然模糊的果冻”。

3. 第二步：给模糊的镜头“磨镜片” (模糊核估计)

扶正之后，画面虽然不晃了，但还是模糊的，就像透过脏玻璃看东西。

• 比喻：想象你有一副眼镜，镜片上沾了不同形状的水渍。有的地方水渍是圆形的，有的是长条形的。
• 做法：作者设计了一个叫 BKENet 的神经网络。它不像以前那样假设整张图的模糊都是一样的（那是旧方法），而是把画面切分成很多小块（就像把大镜子切成很多小镜片）。它分析每一小块里的“水渍”（模糊核）是什么样子的，然后计算出需要怎么“磨”才能把这块区域变清晰。
• 创新点：它把模糊分解成很多基础形状的组合，就像用乐高积木拼出各种复杂的污渍形状，这样就能精准地还原出画面细节。

4. 最终大招：循环验证 (闭环优化)

最厉害的是，这三个步骤不是做完就结束，而是互相配合、反复打磨。

• 比喻：就像你一边修车，一边试车。修好一点，试一下，发现哪里还不对，再回去修。
• 做法：系统会不断尝试：把“小光球”摆好 -> 看看能不能还原出清晰的图 -> 如果还原出来的图还能再清晰一点，就继续调整“小光球”的位置和形状。这个过程会循环很多次，直到画面达到最清晰的状态。

实验结果怎么样？

作者们在电脑模拟的“热浪”数据和真实的野外拍摄数据上都做了测试：

• 比以前的方法好很多：在清晰度指标（PSNR）上，比目前最好的方法提高了约 4.5%。这听起来不多，但在图像修复领域，这相当于把一张模糊的“马赛克”变成了高清的“照片”。
• 真实场景也有效：即使在真实的大气湍流下（比如看远处的山或建筑物），它也能把画面修得非常清楚，细节保留得很好。

总结

简单来说，GSTurb 就像是一个超级智能的“空气透视”修复师。
它不再把模糊的图像当成一张平面的画去修补，而是把图像拆解成无数个可以独立控制的“小光点”。它先利用 AI 算出画面是怎么晃动的并把它扶正，再像微雕大师一样，针对画面中每一小块区域的模糊程度进行精准“打磨”，最后通过不断的自我修正，把被大气湍流“揉皱”的图像重新“熨平”，还原出原本清晰锐利的景象。

这项技术未来可以让长距离监控、天文望远镜甚至无人机航拍在恶劣天气下也能拍出清晰的照片。

技术摘要

以下是基于论文《GSTurb: Gaussian Splatting for Atmospheric Turbulence Mitigation》的详细技术总结：

1. 研究背景与问题定义

大气湍流（Atmospheric Turbulence） 是长距离成像系统中的主要退化因素，由大气折射率的随机时空波动引起。其导致的图像退化主要表现为两种效应：

1. 像素位移（倾斜/Tilt）： 图像发生随机几何畸变。
2. 模糊（Blur）： 图像清晰度下降。

现有方法的局限性：

• 传统方法： 倾斜校正通常依赖特征配准或光流，假设存在无倾斜的参考帧（易产生偏差）；去模糊通常假设等晕成像（Isoplanatic，即模糊核空间不变），但在大视场（FOV）下，湍流导致非等晕成像（Non-isoplanatic），模糊核随空间变化，传统盲去卷积方法难以处理。
• 深度学习方法： 虽然数据驱动的方法取得了进展，但受限于模型容量，难以处理大规模图像批次；且往往未能充分结合大气湍流的物理过程，导致泛化能力不足。
• 核心挑战： 如何在非等晕条件下，有效建模随机变化的模糊核，并统一处理倾斜和模糊的联合优化问题。

2. 方法论：GSTurb 框架

本文提出了一种名为 GSTurb 的新型框架，首次将 3D 高斯泼溅（3D Gaussian Splatting, 3DGS） 技术引入大气湍流抑制领域。该框架将湍流退化过程映射到高斯参数优化中，通过联合优化实现图像恢复。

核心模块：

1. 高斯湍流退化建模 (GS Turbulence Degradation Modeling)：

   • 利用 3DGS 的参数（位置 $x$、旋转 $r$、缩放 $s$、不透明度 $\alpha$）来表征图像。
   • 倾斜建模： 将倾斜视为高斯分布均值位置 $\Delta x$ 的随机偏移。
   • 模糊建模： 将非等晕模糊视为各向异性高斯模糊核的加权和。模糊效应直接影响高斯的协方差矩阵（即旋转 $r$ 和缩放 $s$）。
   • 物理一致性： 通过构建循环一致性损失函数（Cyclic Consistency Loss），确保从清晰图像到模糊图像（通过模糊核卷积）再恢复回清晰图像的过程在物理上自洽，解决多解性问题。

2. 基于光流的倾斜校正模块 (Tilt Correction Module)：

   • 利用 RAFT（Recurrent All-Pairs Field Transforms）模型估计参考帧与退化帧之间的光流场。
   • 基于湍流倾斜的零均值先验（Zero-mean prior），计算多帧光流的平均场，以此作为逆畸变场来校正参考帧的倾斜。
   • 校正后的无倾斜图像作为后续去模糊的输入。

3. 模糊核估计网络 (Blur Kernel Estimation Module - BKENet)：

   • 基于 ResNeXt 架构设计，用于估计空间变化的模糊核权重。
   • PCA 分解： 将湍流模糊核分解为 1 个主成分和 100 个子成分基函数。网络预测这些基函数的权重，线性组合生成模糊核。
   • 等晕区简化： 利用等晕角（Isoplanatic angle）理论，将图像划分为多个局部等晕区域（如 32x32 块），在每个区域内假设模糊核一致，大幅减少优化参数数量，提高稳定性。
   • 约束机制： 引入权重非负约束（符合物理意义）和稀疏正则化（防止过拟合，聚焦关键基函数）。

3. 主要贡献

1. 首创性框架： 首次将 3D Gaussian Splatting 应用于大气湍流抑制，建立了高斯参数与湍流退化过程（倾斜 + 非等晕模糊）的映射模型，统一了恢复流程。
2. 高效的光流倾斜校正： 创新性地结合 RAFT 光流估计与湍流统计先验，提出了一种简单高效的倾斜校正方法，显著提高了校正精度。
3. BKENet 与参数简化： 提出了基于 ResNeXt 的模糊核估计网络，结合 PCA 基函数分解和等晕区划分策略，有效解决了非等晕模糊核估计的复杂性和计算量问题，增强了模型的泛化能力。
4. 突破数据限制： 得益于 3DGS 的高效表示和计算能力，该框架能够处理比现有深度学习模型更多的输入帧，显著提升了恢复质量。

4. 实验结果

实验在合成数据集（ATSyn-static）和真实世界数据集（TSRWGAN Real-World, CLEAR）上进行。

• 合成数据集 (ATSyn-static)：

  • PSNR: 达到 27.67 dB，比当前最先进方法（DeTurb）提升 1.3 dB (4.5%)。
  • SSIM: 达到 0.8735，比 DeTurb 提升 0.048 (5.8%)。
  • 相比最弱方法 TSRWGAN，PSNR 提升了 4.51 dB。

• 真实数据集 (CLEAR)：

  • 在不同湍流强度（弱、中、强）下，GSTurb 均优于对比方法。
  • 在强湍流条件下，PSNR 达到 23.35 dB，比 DeTurb 提升 1.30 dB，显示出对强随机畸变的鲁棒性。

• 真实无参考数据集 (TSRWGAN)：

  • 使用无参考指标 BRISQUE（越低越好）和 GCL（越高越好）。
  • GSTurb 获得最低的 BRISQUE (39.13) 和最高的 GCL (17.10)，证明其在真实场景下能更好地恢复图像自然度和细节。

• 消融实验：

  • 证明了增加输入帧数量能提升 PSNR。
  • 证明了划分等晕区（32x32）比全图优化（512x512）效果更好且更稳定。
  • 证明了正权重约束和稀疏正则化对模型收敛和最终质量至关重要。

5. 意义与展望

• 理论意义： 成功将 3DGS 的几何与辐射度建模能力引入大气湍流领域，为处理非等晕成像问题提供了新的物理驱动视角。
• 应用价值： 显著提升了长距离成像、自由空间光通信、天文观测和遥感领域的图像质量，特别是在强湍流和大视场条件下。
• 未来工作： 目前主要限于静态场景，未来计划扩展至动态场景抑制，并尝试结合大气波前检测技术，进一步提升泛化能力和实际部署效果。

总结： GSTurb 通过结合光流引导的倾斜校正和基于高斯泼溅的非等晕模糊建模，在物理一致性和数据驱动之间找到了平衡，显著优于现有的传统和深度学习方法，为大气湍流图像恢复提供了新的 SOTA 解决方案。