⚡ electrical engineering

GALOSH: Blind, Training-Free Denoising of Raw Bayer and sRGB Images by Parallel-Friendly Local Shrinkage

GALOSH 是一种快速、无需训练的去噪方法，它通过将低效的块匹配搜索替换为由噪声估计、广义 Anscombe 变换和局部收缩组成的完全局部化、数据无关的流水线，在原始 Bayer 和 sRGB 图像上均实现了高质量结果，使其适用于 CPU 和定点硬件部署。

原作者： Yoshiro Sato

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yoshiro Sato

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一张看起来像是由于手抖而在暗室中拍摄的照片。照片充满了“颗粒感”（随机的斑点）和“色彩斑块”（奇怪的红、绿或蓝色色块）。你的目标是在不让照片看起来像塑料油画或丢失重要细节的情况下，将其清理干净。

长期以来，一直有两种主要的修复照片方法：

“侦探”法（经典方法）： 这些程序（如 BM3D）就像侦探一样。它们扫描整个图像，寻找与正在尝试修复的有噪声的图块相似的小图块。它们通过比较数百万个图块来找到最佳匹配。这种方法效果很好，但速度很慢，因为计算机必须进行“搜索”，而且它采取的路径会根据照片中的内容而变化。这就像是在试图从一堆干草中寻找一根特定的针，必须逐一检查每一根干草。
“学生”法（AI/深度学习）： 这些程序就像记住了成千上万张清晰照片的学生。当它们看到一张有噪声的照片时，会根据它们学习过的知识来猜测照片原本应该是什么样子的。如果照片与它们学习的内容完全一致，它们会非常快速且准确。但如果照片不同（例如使用了不同的相机或光照），它们就会感到困惑并犯下巨大的错误。此外，它们需要庞大的计算机（GPU）才能运行。

迎来 GALOSH：一位“局部技工”

论文介绍了一种名为 GALOSH 的新方法。它不像是一个在整幅图像中搜索的侦探，也不像是一个记忆世界的学生，GALOSH 更像是一位局部技工，他知道如何使用一套固定的工具来修理特定类型的发动机零件。

以下是 GALOSH 的工作原理，分为几个简单的步骤：

1. 无需搜索，仅进行局部修复

GALOSH 不会在整张照片中寻找相似的图块。相反，它观察每个像素周围的一个微小邻域，并在原地进行修复。

类比： 想象一下人群。 “侦探”方法试图寻找所有看起来和你相似的人，以便模仿他们的衣服。GALOSH 则只是为你派来一位裁缝，根据你当下的身材，就在你站立的地方为你修整衣服。
益处： 因为它不需要搜索，也不需要根据所见内容做出决策，所以处理过程对每一个像素都是相同的。这使得它极其快速，并且可以在普通计算机（CPU）上轻松运行，而不依赖于超级计算机。

2. 两种不同的工具应对两种不同的问题

GALOSH 意识到“噪声”并不只有一种。它将图像分为两个独立的层级进行处理：

“颗粒感”（亮度层）： 这是黑白纹理。一点点颗粒感其实看起来挺好看，就像老电影里的胶片质感。在此处，GALOSH 表现得很温柔，它只是适度地平滑纹理，以保留质感同时去除丑陋的部分。
“斑块”（色度层）： 这是奇怪的色彩噪声（比如蓝天上的红斑）。这种现象是绝对不可接受的。在此处，GALOTH 会更加激进，彻底清除这些颜色。
类比： 想象在擦拭一扇沾满泥水的窗户。你可能会轻轻擦拭玻璃以去除污垢（颗粒感），但对于一大块掉落的油漆（色彩斑块），你会使用刮板用力将其刮掉。GALOSH 使用“温柔的擦拭”来处理纹理，并使用“刮板”来处理颜色。

3. 无需盲目训练，无需预先学习

GALOSH 不需要通过成千上万个例子来学习。它只需通过观察照片本身，就能弄清楚“噪声水平”。

类比： 大多数 AI 清理程序就像一位只学过意大利菜谱的厨师。如果你给他们一道日本料理，他们就会失败。GALOSH 则像是一位能够品尝眼前食材，并能立即判断出该如何烹饪任何菜肴，而无需查阅食谱的厨师。

4. 速度与硬件

由于 GALOSH 不进行搜索，也不需要庞大的“大脑”（AI 模型），因此它的速度极快。

数据： 在标准显卡上，它比最好的 AI 清理程序快 7 到 650 倍。在普通的计算机处理器（CPU）上，它是唯一真正有效的强力方法；AI 方法在 CPU 上运行太慢，无法实际应用。
未来： 论文提到，由于这些步骤非常规律且简单，该方法旨在直接构建在相机芯片（硬件）中，利用简单的数学运算（定点运算），这使其成为未来智能手机和相机的完美选择。

结果总结

作者在现实世界的噪声照片（来自智能手机和相机）上测试了 GALOSH，并将其与最好的“侦探”方法和最好的“学生”（AI）方法进行了对比。

对比“侦探”： 即使在给予“侦探”完美答案（已知确切噪声水平）的情况下，GALOSH 在清理照片方面表现得更好，且看起来更自然。
对比“学生”： 如果照片与 AI 训练时的场景完全一致，GALOSH 并不比 AI 学生那么完美。然而，如果照片不同或噪声极大，AI 学生往往会出错或崩溃，而 GALOSH 则保持稳定可靠。
胜出者： GALOSH 是唯一一种既快速、能在普通计算机上运行、无需训练，且在处理原始相机数据和成品照片时都效果出色的方法。

简而言之，GALOSH 吸收了传统照片修复的最佳理念，去除了缓慢的“搜索”部分，创造出了一种快速、可靠且通用的清理工具，可以应用于任何地方的任何照片。

技术摘要：GALOSH —— 基于并行友好型局部收缩的盲、免训练去噪技术

1. 问题陈述

图像去噪目前由两个截然不同的家族主导，且各具局限性：

经典免训练方法（如 BM3D、非局部均值 NLM）： 这些方法在不同传感器之间具有良好的泛化能力，无需训练数据，但过度依赖于依赖内容的搜索（块匹配、邻域加权）。这种搜索机制产生了不规则的内存访问和数据依赖型控制流，阻碍了向量化、GPU 占用率以及固定延迟实现。此外，它们通常假设噪声水平已知。
学习型方法（CNN、Transformer）： 它们在各自的训练领域内能达到极高的质量，但需要大量的成对训练数据，在训练分布之外会遭受灾难性的性能退化，并且需要极高的计算预算（每像素数万次 MAC），这实际上必须依赖 GPU 加速。

本文提出的问题是：如果通过设计移除搜索机制，经典家族的质量还能保留多少？ 目标是创建一个盲、免训练、多领域的去噪器，该去噪器既快速、可并行，又能在不牺牲感知质量的前提下适用于固定延迟硬件。

2. 方法论：GALOSH

GALOSH（广义 Anscombe 局部收缩）用一个局部、正则且数据无关的流水线取代了经典方法的基于搜索的架构。其计算图对每个像素都是固定的，从而实现了平凡的并行化。

该流水线由四个核心阶段组成：

A. 盲噪声估计

GALOSH 不再假设噪声水平已知，而是直接从噪声帧中拟合一个泊松-高斯噪声模型（ $Var[x] = \alpha E[x] + \sigma^2$ ）。这是通过对重叠块内的局部拉普拉斯方差对局部均值进行鲁棒回归（一种 Foi 式估计器）来实现的，从而在无需先验数据或校准的情况下获得单幅图像的参数 $(\alpha, \sigma^2)$ 。

B. 方差稳定化 (GAT)

广义 Anscombe 变换 (GAT) 将信号相关的噪声映射为近似单位方差的高斯噪声。这使得一个单一的全局阈值在整个帧中都是有效的。该变换使用精确的无偏逆变换进行重建。

C. 两阶段局部亮度收缩 (LOSH)

亮度通过在重叠的 $8 \times 8$ Walsh–Hadamard 块上进行循环旋转局部收缩来进行去噪，取代了 BM3D 的协作 3D 堆叠：

第一阶段： 应用鲁棒的 BayesShrink 阈值以生成先验估计。
第二阶段： 应用根据先验系数计算的经验维纳增益（Wiener gain）。
重叠块通过窗口化叠加（overlap-add）进行合并。这在移除所有内容依赖性的同时，保留了 BM3D “先收缩后维纳”的精细化架构。

D. 亮度引导的色度回归

基于感知需求，色度处理方式与亮度不同：

亮度噪声表现为颗粒感并与纹理共存；因此，对其进行保守收缩以保留高频结构。
色度噪声表现为不可接受的色彩斑块；因此，对其进行激进平滑。
色度平面通过受去噪亮度引导的度数为 1 的局部加权回归（LOESS）进行处理。多尺度残差金字塔用于处理大颗粒斑块。至关重要的是，重建的色度值被限制在局部输入色度范围内，以防止“发明”输入中不存在的颜色。

领域前端
单个核心处理两种输入：

GALOSH-RAW： 直接作用于 Bayer 马赛克。一个 $2 \times 2$ Walsh–Hadamard 变换将每个四元组拆分为全分辨率亮度平面和半分辨率色度平面。
GALOSH-YUV/RGB： 作用于渲染后的 sRGB 图像。输入经过线性化并转换为 BT.709 YCbCr；色度在全分辨率下进行处理而不进行下采样。

3. 核心贡献

无搜索流水线： 一个完全盲、免训练的去噪流水线，其所有阶段均为局部、正则且数据无关，并拥有一个带有两个领域前端（Raw Bayer 和 s-RGB/YUV）的共享核心。
感知质量超越经典方法： 在四个真实噪声基准测试（SIDD Medium, RawNIND）中，证据表明 GALOSH 是最强的盲、免训练方法，即使在基准方法获得先验噪声水平的情况下，也显著优于 BM3D 和 NLM 系列。
速度与硬件效率： 证明了移除搜索可以带来巨大的加速（在 GPU 上比深度学习基准快 7 倍至 650 倍），并具备实际的 CPU 性能。通过操作计数分析和 INT16 实现，展示了其固定的计算图能够自然地映射到定点和流式硬件。

4. 实验结果

论文在 Raw Bayer 和 sRGB 领域将 GALOSH 与经典基准（BM3D、NLM 及其变体）以及深度学习基准（Blind2Unblind、NAFNet、Restormer、SCUNet）进行了评估。

Raw 领域： GALOSH 在感知指标（LPIPS, DISTS）上大幅领先所有盲、免训练方法，在无需训练的情况下，极大地缩小了与经过训练的 Blind2Unblock 网络之间的差距。
sRGB 领域：
- GALOSH 决定性地击败了盲、经典方法（例如在 SIDD sRGB 上为 35.01 dB，而基准为 27–29 dB）。
- 即使当经典方法被给予先验噪声水平时，它们仍无法达到 GALOSH 的性能，这证明了优势在于算法本身，而非仅仅是噪声估计。
- 与训练好的深度学习模型对比： 在领域内数据（SIDD）上，训练好的网络（如 NAFNet）保持微弱领先。然而，在跨领域数据（RawNIND）的高 ISO 环境下，训练好的网络仅保持极小的领先优势（+0.3–0.7 dB），而 GALOSH 则显著优于经典方法。值得注意的是，在近黑场景下，GALOSH 比某些训练好的网络表现得更加数值稳定。
速度：
- GPU： 处理 16-MP raw 帧需 0.76s（相比之下，Blind2Unblind 为 5.6s）；处理 15.8-MP sRGB 帧需 0.87s（相比之下，DL 基准为 13.5s–565s）。
- CPU： GALOSH 是唯一能在 CPU 上实际应用的强力方法，在处理 raw 数据时比 BM3D-CFA/NLM-CFA 快 2–3 倍，且在处理 sRGB 时比 Color-NLM 更快且质量更高。

5. 重要性与主张

论文声称，GALOSH 证明了搜索对于高质量去噪并非必不可少。通过使用方差稳定化的循环旋转局部收缩和亮度引导回归来取代内容依赖的搜索，该方法保留并扩展了经典家族的质量，同时实现了：

盲性： 无需训练数据或噪声水平先验。
多领域覆盖： 单个核心可处理原始马赛克和渲染图像。
并行性与延迟： 固定、数据无关的结构支持固定延迟实现，并能自然映射到定点流式硬件（通过 INT16 实现支持）。
鲁棒性： 避免了训练网络中常见的领域退化和数值不稳定问题。

作者将 GALOSH 定位为：它不是要在领域内训练网络的质量上进行竞争，而是针对盲、免训练、多领域且硬件高效去噪这一特定约束下的更优解决方案。