💻 computer science

Freqformer: Image-Demoiréing Transformer via Effective Frequency Decomposition

Freqformer 是一个紧凑的、基于 Transformer 的图像去纹理（demoiréing）框架，它通过采用有效的频率分解将纹理模式分离为不同的高频和低频分量，随后通过双分支架构进行处理，并使用可学习的频率组合变换进行自适应融合，从而实现了最先进的性能。

原作者： Xiaoyang Liu, Bolin Qiu, Zheng Chen, Libo Zhu, Zihan Zhou, Kai Liu, Jiezhang Cao, Yulun Zhang

发布于 2026-07-08

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Xiaoyang Liu, Bolin Qiu, Zheng Chen, Libo Zhu, Zihan Zhou, Kai Liu, Jiezhang Cao, Yulun Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正尝试用手机拍摄电脑屏幕。结果拍出来的不是清晰的照片，而是一团奇怪的、波浪状的、彩虹色的乱象。这被称为摩尔纹（moiré pattern）。这是因为屏幕上的微小点阵与你相机传感器上的微小点阵没有完美对齐，从而产生了这种令人困惑的干涉图案。

长期以来，计算机一直试图通过仅仅“猜测”清晰图像应该是什么样子来修复这个问题，但它们经常会产生误判，因为那些奇怪的波纹看起来非常像真实的细节（比如头发或织物的纹理）。

这篇论文介绍了一种名为 Freqformer 的新型 AI 模型，它通过一个聪明的技巧更好地解决了这个问题：将混乱的内容分为两个不同的“桶”。

核心思想：“两桶策略”

Freqformer 并没有试图一次性修复整个混乱的图像，而是将问题分成了两个截然不同的部分，就像分离物体的“形状”与“颜色”一样。

高频桶（纹理）： 这个桶保存着锐利的细节和那些烦人的、波浪状的摩尔纹。可以把这部分看作图像中“脆硬”的部分。论文指出，这些图案是非常局部的——它们发生在微小的、特定的位置。
- 策略： AI 通过提取图像中的小型、随机“片段”（crops）来观察这个桶。它不需要看到整张图片就能修复一根微小的波浪线；它只需要放大并聚焦在那个特定的位置即可。
低频桶（颜色）： 这个桶保存着平滑的色彩和整体的光照。这里的摩尔纹看起来不像波浪，而更像是一种奇怪的色调（例如，整张图片看起来太蓝或太红）。
- 策略： 因为这些色彩问题是平滑且分布广泛的，AI 可以将这个桶缩小到一个极小的尺寸（就像把照片缩得很小一样），而不会丢失重要信息。它在缩小后的版本上修复颜色，然后再将其放大。这不仅速度更快，还能防止 AI 意外地将真实的细节模糊掉。

特殊工具

为了实现这一目标，作者构建了三个特殊的工具：

神奇的分离器（频率分解）： 旧的方法使用僵化的数学工具（比如一把固定的尺子）来拆分图像，这往往会留下“锯齿状边缘”或让图片看起来有块状感。Freqformer 使用了一个可学习的分离器。想象一个智能过滤器，它能学习如何完美地拆分图像而不留下任何杂乱的残余，确保“纹理”和“颜色”这两个桶都非常纯净。
智能混合器（可学习的 FCT）： 一旦 AI 修复了第一个桶里的纹理和第二个桶里的颜色，它就必须将它们重新组合在一起。旧的方法只是简单地将它们相加，这有时会导致误差累积。Freqformer 使用了一个可学习的频率组合变换（Learnable Frequency Composition Transform）。把它想象成一位聪明的厨师，在混合两种食材之前会先品尝一下，以确保它们完美融合而不会破坏风味。
聚焦之眼（SA-CA 模块）： 摩尔纹在红色、绿色和蓝色通道中的表现往往不同。该模型使用了一个**空间感知通道注意力（Spatial-Aware Channel Attention）**模块。想象一个保安，他知道图像中哪些部分是“可疑的”（即出现摩尔纹的地方）以及哪些颜色受影响最严重。这位保安会让 AI 的注意力只集中在问题区域，忽略其他部分，从而节省能量并提高速度。

为什么它更好

论文声称 Freqformer 是一个轻量级冠军。

体积更小： 与许多顶尖模型相比，它的“参数”（即 AI 的脑细胞）更少。它就像一辆紧凑型轿车，比大型卡车的油耗更低。
质量更高： 它比以往的方法能更好地去除彩虹波纹并修复色彩偏差，从而得到更干净、更真实的图像。
效率更高： 因为它缩小了颜色桶，并且只在纹理点进行放大，所以它不需要做太多繁重的体力活，这使得它适用于高分辨率的 4K 图像。

简而言之，Freqformer 并不试图用蛮力去对抗摩尔纹。相反，它智能地将图像分类为“纹理”和“颜色”，用最合适的工具分别处理每一部分，然后将它们天衣无缝地融合在一起。

技术摘要：Freqformer

问题陈述

图像去摩尔纹（Image demoiréing）——即消除由于屏幕子像素布局与相机颜色滤镜阵列之间的混叠（aliasing）而产生的摩尔纹——仍然是一项具有挑战性的底层视觉任务。现有方法往往无法有效解耦摩尔纹中固有的纹理损坏与色彩失真之间复杂的相互作用。虽然频率感知方法（例如使用 Haar 小波或基于块的 DCT）提供了一个有前景的方向，但它们存在显著的局限性：

空间不连续性与误差累积： 离散变换（如 DWT 和 DCT）缺乏空间平滑性，导致在固定的逆过程过程中出现像素级失真和误差累积。
分辨率退化： 递归分解会剧烈降低空间分辨率，从而带来二次混叠和移变性（shift-variance）问题。
解耦不完全： 传统方法往往无法完全分离高频摩尔纹与低频分量，或者由于对局部信号平稳性的假设而引入块效应。
计算效率低下： 许多最先进的模型依赖于沉重的 U-Net 骨干网络（10M–50M 参数），这使得它们在超高分辨率（如 4K）推理时计算效率低下。

方法论

作者提出了 Freqformer，这是一个基于 Transformer 的框架，旨在通过针对性的频率分离和自适应融合来解决上述局限性。

1. 新颖的频率分解

与传统的 DWT 或 DCT 不同，Freqformer 引入了一种可学习的、抗混叠的频率分解策略。

机制： 它利用具有特定卷积核和扩张率（dilation rates）的递归卷积过程，将输入的摩尔纹图像 ( $I_m$ ) 分解为高频分量 ( $I_h$ ) 和低频分量 ( $I_l$ )。
分离特性：
- 高频 ( $I_h$ )： 包含摩尔纹纹理和精细细节。它表现出强烈的空间局部性。
- 低频 ( $I_l$ )： 包含平滑的色彩信息，但存在色彩失真（包括摩尔纹引起的以及数据集相关的偏移）。它对尺度变化具有鲁棒性。
优势： 该方法保持了空间平滑性，并避免了标准离散变换带来的分辨率退化和移变性问题。

2. 双分支非对称架构

该框架采用双分支编码器-解码器结构，每个分支都针对其对应频率分量的特定特征进行了定制：

高频分支： 使用基于裁剪（crop-based）的训练策略。由于高频摩尔纹纹理具有局部依赖性，该分支处理全分辨率输入（或其裁剪部分），以在不需要全局上下文的情况下保留精细的结构细节。
低频分支： 使用基于缩放（resize-based）的训练策略。低频分量在训练和推理时会被下采样（例如降至 0.1× 分辨率）。这种方法专注于纠正全局色彩失真，同时避免了下采样自然纹理带来的细节丢失风险。
共享骨干网络： 两个分支均使用具有**空间感知通道注意力（SA-CA）**模块的分层 Transformer 架构。

3. 关键模块

空间感知通道注意力 (SA-CA)： 旨在高效聚合空间依赖性和通道间的互补信息。受“摩尔纹在不同颜色通道间表现各异（其中绿色通道受影响通常较小）”这一观察结果的启发，SA-CA 使用残差扩张密集块（RDDB）来实现大感受野，并使用门控前馈网络（FFN）来过滤不当信息。它能选择性地强调易受摩尔纹影响的区域，而不会增加过多的计算成本。
可学习频率组合变换 (FCT)： Freqformer 没有使用固定的逆变换，而是使用一个可学习的 FCT 模块来自适应地融合高频和低频分支的输出。该模块在特征空间（在投影到图像维度之前）中通过 Transformer 块（PostFusion）进行操作，以确保一致且高保真的重建，从而减轻因简单相加可能导致的重建误差。

4. 训练策略

模型分为两个阶段进行训练：

独立训练： 高频分支和低频分支分别使用各自的裁剪和缩放策略进行独立训练。
联合微调： 对两个分支及可学习的 FCT 模块进行联合微调，以优化特征融合和最终重建。

损失函数： 训练结合使用了 $L_1$ 损失和感知损失（基于 VGG16），以平衡像素精度和感知质量。

核心贡献

频率分解策略： 一种有效将摩尔纹分离为高频（纹理）和低频（色彩）分量的新方法，从而实现针对不同类型伪影的定向学习。
双分支非对称设计： 一种通过分别采用基于裁剪和基于缩放的策略来独立处理高频和低频的架构，并辅以用于自适应融合的可学习 FCT 模块。
高效的 SA-CA 模块： 一种轻量级的注意力机制，增强了空间和通道维度的特征交互，使模型能够以紧凑的参数量（约 6M）实现最先进的性能。

实验结果

在四个基准数据集上进行了广泛的实验：TIP2018、LCDMoire、FHDMi 和 UHDM（4K 分辨率）。

定量性能： Freqformer 在多个指标（PSNR, SSIM, LPIPS）上均达到了最先进（SOTA）的水平。
- 在 UHDM 上，它在 SSIM 和 LPIPS 指标上排名第一，在 PSNR 指标上排名第二，紧随 ESDNet-L 之后。
- 在 FHDMi 上，它在所有指标上均取得了最佳得分（PSNR: 25.26, SSIM: 0.8518, LPIPS: 0.1253）。
模型效率： 尽管性能卓越，Freqformer 仍保持了紧凑的模型规模，仅为 6.065M 参数，显著小于竞争对手如 MopNet（58.5M）和 MBCNN（14.2M）。处理 4K 图像仅需 2.46 TFLOPS，与 ESDNet 相当，且低于 ESDNet-L 及其他修复模型。
定性性能： 视觉对比表明，Freqformer 能有效去除摩尔纹伪影和色彩失真，同时保留精细细节和原始色调，优于生成式模型（如 OSEDiff）和其他修复基线模型（后者往往会留下残留痕迹或产生色彩偏移）。

意义与主张

本文声称，Freqformer 通过证明集成频率分解、可学习融合和空间-通道注意力可以有效解决纹理与色彩伪影之间复杂的相互作用，从而推动了图像去摩尔纹领域的发展。

适度主张： 作者承认，虽然 Freqformer 达到了 SOTA 性能，但其推理速度（4K 图像为 0.58s/张）目前仍慢于纯卷积模型（如 ESDNet-L，0.25s/张）。他们将其归因于标准注意力操作在硬件加速和算子融合方面尚未得到充分优化，并将其确定为未来的优化方向。
核心洞察： 本研究强调，将摩尔纹去除视为一个整体的修复任务是不够的；相反，将问题解耦为具有定制化训练策略的特定频率子任务，可以以更少的参数获得更优的结果。