Flatness Guided Test-Time Adaptation for Vision-Language Models

本文提出了一种名为 FGA 的平坦度引导测试时适应框架，通过利用锐度感知提示微调获取的平坦极小值几何线索来指导测试样本选择，从而在不进行昂贵参数更新的情况下，有效统一了视觉语言模型的训练与测试过程并显著提升了跨域性能。

要点

这篇论文提出了一种名为 FGA (Flatness-Guided Adaptation，平坦度引导的自适应) 的新方法，旨在让“视觉 - 语言模型”（比如著名的 CLIP）在面对从未见过的数据时，表现得更加聪明和稳健。

为了让你轻松理解，我们可以把整个故事想象成一位“老练的向导”如何带领游客穿越陌生地形。

1. 背景：向导遇到了新地形

想象你有一位非常博学的向导（这就是预训练好的 AI 模型，比如 CLIP）。他在训练阶段（平时）见过无数张猫和狗的照片，学会了怎么识别它们。

但是，当他带着游客（测试数据）来到一个新的地方（分布偏移，比如照片变成了素描、或者是在恶劣天气下拍摄的），以前的经验可能就不够用了。这时候，传统的做法是：

• 旧方法 (TPT)：向导在遇到新地形时，会立刻停下来，拿出一张纸和笔，拼命修改自己的记忆（更新参数），试图适应眼前的路。这就像向导在赶路时还要停下来重新背地图，既慢又累，而且容易因为太着急而记错路。

2. 核心洞察：平坦的“山谷”最安全

这篇论文发现了一个有趣的几何现象：

• 尖锐的山谷 (Sharp Minima)：如果你站在一个尖尖的山顶上，稍微动一下脚，就会滚得很远，非常不稳定。这代表模型对数据变化很敏感，容易出错。
• 平坦的盆地 (Flat Minima)：如果你站在一个宽阔平坦的盆地中心，即使你左右晃动一下，也还在盆地范围内，非常安全。这代表模型泛化能力强，能适应各种变化。

以前的训练方法只关注怎么让向导“认识路”（降低损失），而忽略了让他站在“平坦的盆地”里。

3. FGA 的解决方案：两步走策略

FGA 不再让向导在赶路时手忙脚乱地改地图，而是分两步走：

第一步：训练时——“寻找最平坦的营地” (Sharpness-Aware Prompt Tuning)

在出发前（训练阶段），向导不再只是随便找个地方扎营。他特意使用一种**“平坦度感知”的方法，在地图上寻找那个最宽阔、最平坦的盆地**扎营。

• 比喻：这就好比向导在出发前，特意选了一个即使下大雨、刮大风，也不会被冲走的坚固营地。这个营地的位置（模型参数）本身就非常稳定。

第二步：测试时——“只选对的路，不改营地” (Sharpness-Based Test Sample Selection)

当向导带着游客来到新地形（测试阶段）时：

• 旧方法：向导会试图把营地搬到一个新地方，或者在原地拼命调整姿势。
• FGA 方法：向导完全不移动营地（不更新参数，省时间！）。他手里有一堆游客拍回来的不同角度的照片（数据增强）。
  • 他拿出一个“探测器”（尖锐度评分），去探测这些照片对应的地形。
  • 如果某张照片对应的地形，能让向导站在原来的“平坦营地”上依然觉得很稳（损失平坦），那就选这张照片。
  • 如果某张照片对应的地形，会让向导觉得站在原地摇摇欲坠（损失尖锐），那就直接扔掉这张照片。
• 比喻：向导不需要重新背地图，他只需要从游客提供的几十张模糊照片里，挑出那些最能让他发挥原有水平的照片，然后基于这些好照片做决定。

4. 为什么这很厉害？

1. 快如闪电 (高效)：因为向导在测试时不需要停下来修改记忆（不需要反向传播更新参数），所以速度极快，省下的计算资源相当于快了 8 到 23 倍，内存占用也大幅减少。
2. 更稳更准 (效果好)：因为它利用了“平坦度”这个几何线索，确保模型始终处于最稳定的状态。实验证明，在 ImageNet 等著名数据集的变体测试中，FGA 比现有的最先进方法（如 TPT+CoOp）平均提高了 4.88% 的准确率。
3. 理论扎实：论文还从数学上证明了，那些让模型感觉“平坦”的测试样本，通常离训练时的数据分布更近，因此预测结果更可靠。

总结

这就好比一位老练的向导，他平时就练就了站在最稳固的“平坦盆地”上（训练优化），出门遇到新地形时，他不改变自己的站位，而是聪明地筛选那些能让他保持平衡的视角（测试样本选择），从而在陌生环境中依然能给出最准确的判断。

这种方法既省去了“临时抱佛脚”的麻烦，又保证了在陌生环境下的卓越表现。

技术摘要

这是一篇发表于 ICLR 2026 的会议论文，题为《FLATNESS GUIDED TEST-TIME ADAPTATION FOR VISION-LANGUAGE MODELS》（面向视觉语言模型的平坦性引导测试时自适应）。

以下是对该论文的详细技术总结：

1. 研究背景与问题 (Problem)

• 背景：视觉语言模型（VLMs，如 CLIP）在零样本任务中表现优异，但在面对测试时的分布偏移（Distribution Shifts）时，性能往往会下降。测试时自适应（Test-Time Adaptation, TTA）技术旨在利用无标签的测试数据流在推理阶段快速调整模型。
• 现有问题：
  • 训练与测试的割裂：现有的 TTA 方法（如 Test-Time Prompt Tuning, TPT）通常将测试阶段视为一个独立的优化问题，忽略了模型训练历史（Training History）对测试时适应的内在影响。
  • 计算开销大：基于 TPT 的方法通常需要在测试时对提示词（Prompts）参数进行反向传播和更新，导致计算成本高、推理延迟大。
  • 几何特性利用不足：现有方法未能有效利用损失函数景观（Loss Landscape）中的几何特性（如“平坦性”Flatness）来指导适应过程。研究表明，位于平坦极小值（Flat Minima）的参数通常具有更好的泛化能力。

2. 核心方法论 (Methodology)

论文提出了一个名为 FGA (Flatness-Guided Adaptation) 的新框架，旨在从损失景观几何的角度统一训练和测试过程。其核心思想是：利用训练阶段获得的平坦极小值作为几何线索，引导测试阶段的自适应过程，确保测试样本的损失景观平坦区域与训练阶段对齐。

FGA 包含两个协同阶段：

(1) 训练阶段：感知尖锐度的提示词微调 (Sharpness-Aware Prompt Tuning, SAPT)

• 目标：在下游任务的训练集上微调提示词，不仅最小化损失，还最小化损失的“尖锐度”（Sharpness），从而找到训练损失景观中的平坦极小值。
• 机制：采用感知尖锐度最小化（SAM）的思想。损失函数定义为交叉熵损失加上尖锐度项：
  $$\ell_{SAPT}(p) = \ell_{CE}(p) + \lambda \max_{\|\epsilon\| \le \rho} [\ell_{CE}(p + \epsilon) - \ell_{CE}(p)]$$
  其中，$\epsilon$ 是对提示词参数 $p$ 的小扰动。通过显式地最小化扰动带来的损失变化，SAPT 能够找到泛化性更强的平坦解，并为测试阶段提供“平坦性”这一几何基准。

(2) 测试阶段：基于尖锐度的测试样本选择 (Sharpness-based Test Sample Selection, STSS)

• 目标：在测试时不更新模型参数，而是通过选择合适的数据增强视图（Augmented Views）来调整测试损失景观，使其平坦极小值与训练阶段找到的平坦极小值对齐。
• 机制：
  • 对于每个测试样本，生成多个增强视图。
  • 计算每个增强视图的基于尖锐度的分数（Sharpness-based Score）。该分数衡量在训练得到的平坦极小值附近，该测试样本损失景观的波动程度。
  • 选择策略：保留那些尖锐度分数较低（即损失景观更平坦、更接近训练分布）的增强视图，丢弃那些导致损失景观剧烈波动的视图。
  • 预测：最终预测由选出的最可靠（低尖锐度）的增强视图投票或平均得出。
• 优势：避免了测试时的反向传播和参数更新，显著降低了计算开销。

3. 理论分析 (Theoretical Analysis)

• 论文推导了泛化误差的上界，证明了当测试分布与训练分布的散度（Discrepancy）较小时，模型表现更可靠。
• 理论表明，基于尖锐度的度量可以有效区分测试样本与训练分布的接近程度。越接近训练分布的增强样本，其基于尖锐度的分数越低。
• 通过选择低尖锐度分数的样本，FGA 能够确保模型在测试时处于一个与训练时几何结构相似的平坦区域，从而提高了预测的可靠性。

4. 实验结果 (Results)

论文在域泛化（Domain Generalization）和跨数据集（Cross-Dataset）基准上进行了广泛实验，主要使用 CLIP-ViT-B/16 和 CLIP-ResNet50 作为骨干网络。

• 域泛化性能 (Domain Generalization)：

  • 在 ImageNet 及其四个 OOD 变体（IN-A, IN-V2, IN-R, IN-Sketch）上，FGA 取得了最先进（SOTA）的性能。
  • 关键数据：在使用 ViT-B/16 编码器时，FGA 的平均 OOD 准确率比强基线 TPT+CoOp 高出 4.88% (61.67% $\to$ 66.55%)。
  • 即使仅使用 STSS 组件（STSS+CoOp），性能也超越了所有现有方法，证明了样本选择策略的有效性。

• 跨数据集泛化 (Cross-Dataset Generalization)：

  • 在从 ImageNet 迁移到 10 个细粒度分类数据集（如 Caltech101, Pets, Cars 等）的任务中，FGA 取得了 67.60% 的平均准确率，比 TPT+CoOp 高出 1.94%。
  • 在 Caltech101 数据集上达到了 96.96% 的惊人准确率。

• 效率分析 (Efficiency)：

  • 速度：FGA 每张图像仅需 0.07秒，比 DiffTPT 快 23.86 倍，比 TPT 快 8.86 倍。
  • 显存：FGA 显存占用仅为 4.14 GB，比 TPT (19.33 GB) 低 4.67 倍。
  • 这证明了 FGA 在保持高性能的同时，极大地降低了推理成本，适合资源受限场景。

• 消融实验：

  • 验证了 SAPT（训练阶段）和 STSS（测试阶段）的必要性。SAPT 提升了基线 0.92%，STSS 提升了 4.76%，两者结合（FGA）产生了协同效应，总提升达 5.40%。

5. 主要贡献 (Key Contributions)

1. 提出 FGA 框架：首次将“平坦性”作为统一原则，协同优化 VLM 的训练和测试过程，打破了训练与测试的隔离。
2. 无需参数更新的 TTA：提出了一种新颖的测试时策略，通过数据增强选择而非参数更新来实现自适应，大幅降低了计算和内存开销。
3. 理论支撑：提供了理论证明，解释了基于尖锐度的样本选择如何提高预测可靠性，并建立了分布差异与泛化误差之间的数学联系。
4. SOTA 性能：在多个具有挑战性的基准测试中，FGA 显著优于现有的 TTA 方法（如 TPT, DiffTPT, ZERO 等），特别是在单样本适应场景下。

6. 意义与影响 (Significance)

• 范式转变：该工作改变了 TTA 的设计思路，从“在测试时重新优化参数”转向“利用训练时的几何特性指导测试样本的选择”，为高效、鲁棒的测试时适应提供了新视角。
• 实用价值：由于消除了测试时的反向传播，FGA 使得在边缘设备或实时系统中部署自适应 VLM 成为可能。
• 通用性：该方法基于损失景观的几何特性，理论上可推广至其他模型架构和提示词学习方法，为未来 VLM 的泛化研究奠定了基础。

总结来说，这篇论文通过巧妙利用损失景观的平坦性，设计了一种无需更新参数的高效测试时自适应框架，在显著提升视觉语言模型泛化能力的同时，解决了现有方法计算成本高昂的痛点。