Fourier-Attentive Representation Learning: A Fourier-Guided Framework for Few-Shot Generalization in Vision-Language Models

本文提出了名为 FARL 的框架，通过利用傅里叶分析将图像的相位（结构）与幅度（风格）特征解耦，并借助双交叉注意力机制引导视觉 - 语言模型进行自适应，从而显著提升了其在少样本场景下的泛化能力。

要点

这篇论文介绍了一种名为 FARL（傅里叶注意力表示学习）的新方法，旨在让现有的“视觉 - 语言模型”（比如著名的 CLIP）在数据很少的情况下也能学得更聪明、更通用。

为了让你轻松理解，我们可以把整个过程想象成教一个学生（AI）如何识别动物。

1. 核心问题：学生为什么容易“死记硬背”？

现在的 AI 模型很强大，但当你只给它看几张新动物的照片（比如只有 5 张“猫”的照片）让它学习时，它容易犯一个错误：死记硬背背景。

• 现状：如果你给 AI 看 5 张在“绿色草地”上拍的猫，AI 可能会想：“哦，猫就是‘绿色的毛茸茸的东西’。”
• 后果：下次你给它看一张在“红色地毯”上的猫，它就认不出来了，因为它把“绿色草地”（风格/纹理）当成了猫的核心特征，而忽略了猫真正的形状（结构）。
• 学术术语：这叫“频谱偏差”。AI 太关注振幅（颜色、纹理、光照这些表面信息），而忽略了相位（物体的轮廓、形状、几何结构这些本质信息）。

2. 解决方案：FARL 的“魔法眼镜”

FARL 给 AI 戴上了一副特殊的“傅里叶眼镜”，这副眼镜能把一张照片瞬间拆解成两个完全不同的部分：

1. 骨架图（相位/Phase）：
   • 比喻：就像把照片变成了素描线稿。它只保留物体的轮廓、形状和结构，去掉了所有的颜色和纹理。
   • 作用：告诉 AI：“看，这才是猫真正的样子（有四条腿、尖耳朵），不管它穿什么颜色的衣服。”
2. 滤镜图（振幅/Amplitude）：
   • 比喻：就像把照片变成了只有颜色和模糊光影的油画。它保留了草地、阳光、毛发的质感，但把形状都抹平了。
   • 作用：告诉 AI：“哦，这只猫是在草地上，毛很蓬松。”这是辅助信息，不是核心身份。

3. 核心机制：双管齐下的“注意力”

FARL 不仅仅是把照片拆开，它设计了一个聪明的**“双路注意力机制”**：

• 左脑（结构专家）：专门盯着“骨架图”看，学习物体的形状。这保证了 AI 能认出没见过的新品种（比如一只在沙漠里的猫）。
• 右脑（风格专家）：专门盯着“滤镜图”看，学习物体的纹理和背景。这帮助 AI 在熟悉的环境下更精准地描述细节。

关键点：这两个大脑是分开工作的，互不干扰，最后再融合。这样 AI 就不会把“草地”误认为是“猫”的一部分了。

4. 独特的“不对称注入”策略

这是这篇论文最巧妙的地方。FARL 把学到的知识注入到模型的两个不同部分，而且不一样：

• 注入给“语言端”（Text Encoder）：注入“融合后的精华”
  • 比喻：就像给老师（语言模型）看了一份完美的教案。这份教案既包含了猫的骨架（结构），也包含了猫在草地上的样子（风格）。
  • 目的：让老师能写出更精准的描述，比如“一只在草地上奔跑的、毛茸茸的猫”，而不是泛泛的“一只猫”。
• 注入给“视觉端”（Image Encoder）：只注入“通用的骨架”
  • 比喻：给看图的助手（图像模型）只发通用的观察指南，不塞给它具体的“草地”信息。
  • 目的：防止助手被具体的背景（如草地）带偏。助手需要保持“冷静”，只关注物体本身的形状，避免“过拟合”（死记硬背）。

为什么要这样做？
如果把“草地”这种具体信息也塞给图像助手，助手就会以为“猫=草地”。但如果只给语言端看，语言端就能学会如何灵活描述，而图像端依然保持强大的通用识别能力。

5. 实验结果：真的有效吗？

作者在 15 个不同的数据集上进行了测试（包括识别花朵、飞机、宠物、风景等）。

• 结果：FARL 在“举一反三”的能力上（即看到新类别或新背景时）表现最好。
• 比喻：以前的模型像是一个只会背课文的学生，换个环境就懵了；FARL 像是一个真正理解了原理的学生，不管猫是在草地、雪地还是地毯上，它都能一眼认出那是猫。

总结

这篇论文的核心思想就是：不要只让 AI 看照片的“皮”（颜色和纹理），要让它看透照片的“骨”（形状和结构）。

通过傅里叶变换把照片的“骨”和“皮”分开，再用不对称的策略分别指导 AI 的“眼睛”和“大脑”，FARL 成功解决了 AI 在数据少时容易“死记硬背”的毛病，让它变得更聪明、更通用。

技术摘要

1. 研究背景与问题 (Problem)

核心痛点：
尽管大规模预训练的视觉 - 语言模型（VLMs，如 CLIP）在少样本学习（Few-Shot Learning）中表现出色，但现有的适配方法（如提示学习 Prompt Learning 和适配器 Adapter）在低数据 regime 下仍然脆弱，泛化能力不足。

根本原因分析（频谱偏差 Spectral Bias）：
作者指出，这种脆弱性源于频谱偏差。

• 神经网络倾向： 深度神经网络倾向于优先学习浅层的统计特征（如纹理、颜色），这些特征主要编码在图像的**幅度谱（Amplitude Spectrum）**中。
• 语义结构： 鲁棒的语义结构和几何形状主要编码在**相位谱（Phase Spectrum）**中。
• 现有方法的缺陷： 现有的少样本适配方法通常处理的是“整体特征嵌入（Holistic Representations）”，其中幅度和相位信息是隐式纠缠的。这导致模型在少样本训练时，过度拟合支持集（Support Set）中特定的幅度统计信息（如特定的背景纹理或光照），从而在遇到新类别或域偏移（Domain Shift）时泛化能力下降。

现有差距：

• 提示学习方法将视觉特征视为黑盒，无法控制哪些频谱分量驱动适配。
• 现有的基于傅里叶的域泛化方法主要将其作为数据增强手段（如交换幅度谱），而非在 VLM 内部作为显式的表示学习机制。

---

2. 方法论 (Methodology)

作者提出了 FARL (Fourier-Attentive Representation Learning) 框架，旨在通过显式解耦视觉表示来解决频谱偏差问题。

2.1 核心流程

FARL 包含三个关键阶段：

1. 傅里叶分解与特征提取 (Fourier Decomposition & Feature Extraction)：

   • 对输入图像 $I$ 进行二维快速傅里叶变换 (FFT)，得到幅度谱 $A$ 和相位谱 $P$。
   • 相位重建 ($I_{phase}$)：保留原始相位谱，将幅度谱设为 1。此分量保留形状、边缘等结构信息（域不变特征）。
   • 幅度重建 ($I_{amp}$)：保留原始幅度谱，将相位谱设为 0。此分量保留颜色、纹理、光照等风格信息（域特定特征）。
   • 这两部分图像分别通过轻量级 CNN 提取特征序列 $F_{phase}$ 和 $F_{amp}$。

2. 双路交叉注意力融合 (Dual Cross-Attention Fusion)：

   • 引入一组可学习的、模态无关的概念 Token $R$ 作为查询（Query）。
   • 双路机制：$R$ 并行地查询 $F_{phase}$ 和 $F_{amp}$（作为 Key/Value），生成两组专用 Token：
     • $R'_{phase}$：结构感知 Token。
     • $R'_{amp}$：风格感知 Token。
   • 融合：通过 MLP 融合这两组 Token，并通过残差连接加回原始 Token，得到增强后的解耦 Token $R_{fused}$。
   • 这一过程迫使模型显式地关注几何结构，同时保留必要的上下文风格信息。

3. 非对称注入策略 (Asymmetric Injection Strategy)：

   • 这是 FARL 的关键设计，将解耦后的 Token 以不同方式注入 VLM 的深层：
     • 文本编码器 (Text Encoder)：注入增强后的融合 Token ($R_{fused}$)。
       • 作用：将通用的文本提示（如 "a photo of a dog"）转化为实例特定的语义描述（隐含了该实例的结构和风格信息），使文本端能动态调整以匹配输入图像的频谱特性，缩小模态差距。
     • 图像编码器 (Image Encoder)：注入原始的通用 Token ($R$)。
       • 作用：作为正则化锚点。防止图像编码器过度拟合支持集的特定风格（幅度谱），保持预训练模型在视觉特征上的通用性和鲁棒性。
   • 解耦推理 (Decoupled Inference)：
     • 训练时同时优化基于类特征 ($f_v$) 和表示特征 ($f_r$) 的损失。
     • 推理时：对于基类 (Base Classes)，结合两者预测；对于新类 (Novel Classes)，仅使用更通用的类特征 $f_v$，以保留零样本能力。

2.2 损失函数

结合交叉熵损失 ($L_{ce}$) 和余弦正则化损失 ($L_{cos}$)，确保新学习的特征不偏离原始 CLIP 空间，同时优化基类和新类的表现。

---

3. 主要贡献 (Key Contributions)

1. 重新定义问题视角：从频谱偏差的角度重新审视少样本 VLM 适配失败的原因，揭示了整体适配器容易过拟合域特定幅度统计的机制。
2. 提出 FARL 框架：这是首个将基于傅里叶的解耦机制直接集成到表示学习循环中的提示学习框架。它不依赖数据增强，而是在架构层面强制分离结构和风格。
3. 非对称注入设计：提出了独特的“文本端注入融合特征，图像端注入通用特征”的策略，在提供丰富语义引导的同时，防止视觉编码器过拟合。
4. 广泛的实验验证：在 15 个数据集上进行了 extensive 实验，证明了该方法在基类到新类泛化（Base-to-Novel）和跨数据集迁移上的有效性。

---

4. 实验结果 (Results)

实验在 11 个通用分类数据集（如 ImageNet, Caltech101, OxfordPets 等）和 4 个域泛化数据集上进行，主要对比了 CoOp, CoCoOp, MaPLe, MMRL 等 SOTA 方法。

• 基类到新类泛化 (Base-to-Novel Generalization)：
  • 在 15 个数据集的平均调和均值 (HM) 上，FARL 达到了 81.57%，优于之前的 SOTA 方法 MMRL (80.65%)。
  • 特别是在具有挑战性的数据集（如 EuroSAT, DTD）上，FARL 表现出显著的鲁棒性提升。例如在 EuroSAT 上，新类准确率提升了约 10%。
• 跨数据集评估 (Cross-Dataset Transfer)：
  • 在 ImageNet 上训练并直接在其他 10 个数据集上进行零样本测试，FARL 取得了最高的平均准确率，证明了其学习到的解耦表示具有极强的迁移性。
• 域泛化 (Domain Generalization)：
  • 在 ImageNet 的变体（V2, Sketch, A, R）上，FARL 展现了优于所有基线的鲁棒性，验证了其对域偏移（如从照片到素描）的适应能力。
• 消融实验 (Ablation Studies)：
  • 相位的重要性：仅使用相位流 ($FARL_{Phase}$) 在少样本泛化上表现接近完整模型，证明了结构信息是泛化的关键。
  • 幅度的作用：移除幅度流导致性能大幅下降，说明风格信息对于区分结构模糊的类别是必要的。
  • 傅里叶分解的必要性：用原始 RGB 图像替换傅里叶分解的双路输入 ($FARL_{Spatial}$) 会导致性能下降，证明显式的频谱解耦是提升性能的关键，而非仅仅是增加网络分支。

---

5. 意义与启示 (Significance)

• 理论突破：该工作将信号处理的基本原理（傅里叶分析）直接融入深度学习的表示学习循环，而非仅仅作为预处理或数据增强手段。这为理解神经网络的频谱偏差提供了新的理论视角。
• 架构创新：提出的“非对称注入”策略为 VLM 的适配提供了一种新的范式，即在不同模态的编码器中采用不同的适配策略（文本端求“变”以适应实例，图像端求“稳”以保持通用性）。
• 实际应用：FARL 显著提升了少样本场景下的模型鲁棒性，特别是在处理纹理复杂、背景多变或存在严重域偏移的任务中，为构建更通用的视觉 - 语言系统提供了有效工具。

总结：FARL 通过显式解耦图像的“结构（相位）”与“风格（幅度）”，并利用非对称注入策略引导 VLM 学习，成功解决了少样本学习中的频谱偏差问题，实现了在保持零样本能力的同时，显著提升了对新类别的泛化性能。