Local-Global Prompt Learning via Sparse Optimal Transport

本文提出了 SOT-GLP 方法，通过共享稀疏补丁支持和平衡最优传输分配，在少样本视觉语言模型适应中实现了全局与局部提示的协同学习，从而在提升分类精度的同时，通过保留原生特征几何结构显著增强了分布外检测性能。

要点

这篇文章介绍了一种名为 SOT-GLP 的新方法，旨在让 AI 模型（特别是像 CLIP 这样的“看图说话”模型）在只有很少样本（比如只有几张图）的情况下，也能更聪明地识别物体，并且能更好地分辨“陌生”的图片。

为了让你轻松理解，我们可以把 AI 识别图片的过程想象成**“招聘面试”**。

1. 背景：以前的面试有什么问题？

想象一下，你是一家大公司的 HR，手里有一堆简历（图片），你需要把它们分给不同的部门（类别，比如“猫”、“狗”、“飞机”）。

• 以前的做法（全局匹配）：
  你只看求职者的整体印象（比如身高、学历）。这就像 AI 以前只看整张图的“平均感觉”。

  • 缺点： 如果一张图里既有猫又有狗，或者背景很乱，AI 就会糊涂。它分不清到底是“猫”还是“背景里的草地”。

• 最近的改进（局部匹配）：
  现在的 AI 开始看细节了，比如“猫耳朵”、“狗尾巴”。

  • 新问题： 就像一群面试官（Prompt）各自为战。面试官 A 盯着猫耳朵看，面试官 B 也盯着猫耳朵看，结果大家都抢着看同一个地方，而忽略了猫尾巴。这就叫**“重复劳动”和“资源浪费”**。而且，如果大家都盯着同一个地方，一旦那个地方看错了，整个判断就全错了。

2. SOT-GLP 的解决方案：聪明的“分派任务”

SOT-GLP 就像是一位超级聪明的面试主管，它做对了三件事：

第一招：双管齐下（全局 + 局部）

它保留了“看整体”的能力（全局分支），确保不会把“猫”认成“狗”这种大方向错误。同时，它专门开辟了一个“细节观察员”团队（局部分支），专门盯着图片里的纹理、小零件。

第二招：只挑重点（稀疏选择）

以前，细节观察员会盯着图片里的每一寸地方看（包括背景里的灰尘、树叶）。
SOT-GLP 说：“别看了！只挑最有用的部分！”
它利用一种叫V-V 注意力的技术，像探照灯一样，自动过滤掉背景噪音，只把聚光灯打在“猫耳朵”、“汽车车灯”这些关键部位上。

第三招：公平分配（稀疏最优传输）

这是最核心的创新。
想象有 4 个面试官（Prompt），分别负责找“猫的特征”。

• 以前的做法： 4 个面试官都抢着看“猫耳朵”，没人看“猫尾巴”。
• SOT-GLP 的做法： 它使用一种数学工具叫**“最优传输”（Optimal Transport）。这就像是一个公平的调度员**。
  • 调度员规定：每个面试官必须分配到一个独特的“猫耳朵”或“猫尾巴”区域。
  • 大家不能抢同一个地方。
  • 结果：有的面试官负责看眼睛，有的负责看胡须，有的负责看尾巴。大家分工合作，拼凑出一个完整的“猫”的概念。这就避免了大家挤在一起看同一个地方，也避免了某个面试官“偷懒”只看一个地方。

3. 一个有趣的发现：速度与稳健的“天平”

论文还发现了一个非常有趣的“权衡”现象，就像**“精准度”与“抗干扰能力”**之间的博弈：

• 模式 A（带投影）： 如果让面试官们完全根据新公司的要求（训练数据）去调整自己的眼光，他们在熟悉的领域（比如只认猫狗）会非常准，成绩很好。
• 模式 B（无投影）： 如果让面试官们保持原本的眼光（不强行调整），虽然他们在熟悉领域的分数稍微低了一点点（比如从 99 分降到 98 分），但他们极其擅长发现“陌生人”。
  • 比喻： 一个完全适应了新环境的保安，可能认不出混进来的伪装者；而一个坚持自己原则的保安，只要看到不对劲的地方（比如背景里的奇怪纹理），立刻就能报警。
  • 结果： 论文发现，去掉那个“强行调整”的步骤，AI 在识别异常图片（Out-of-Distribution，比如把猫的图片拿去识别成“汽车”）时，表现达到了世界顶尖水平。

4. 总结：这有什么用？

简单来说，SOT-GLP 让 AI 变得更聪明、更公平：

1. 少样本学习更强： 哪怕只给几张图，它也能通过“分工合作”迅速学会识别新物体。
2. 不瞎凑热闹： 它强迫不同的“观察员”去关注图片的不同部分，避免了重复和混乱。
3. 更安全： 它提供了一种选择，如果你更看重“别把假东西当真东西”，就可以选择那个“不调整”的模式，让 AI 对陌生事物保持警惕。

一句话总结：
SOT-GLP 就像给 AI 配备了一支分工明确、互不抢戏的特种部队，既能精准识别目标，又能敏锐地察觉异常，而且还能根据任务需求，灵活地在“追求高分”和“追求安全”之间切换。

技术摘要

论文技术总结：基于稀疏最优传输的局部 - 全局提示学习 (SOT-GLP)

1. 研究背景与问题定义

背景：
视觉 - 语言模型（VLMs，如 CLIP）在零样本和少样本学习中表现出色，但其性能主要受限于两个因素：

1. 提示词（Prompt）质量：手工设计的模板往往不够灵活。
2. 细粒度视觉结构捕捉能力：现有的提示学习方法（如 CoOp）通常将单个全局图像嵌入（通常是 [CLS] token）与全局文本提示进行匹配。这种“全图”目标平均了所有空间区域，丢弃了对区分相似类别至关重要的细粒度局部特征（如物体部件、纹理模式、空间配置）。

核心问题：
现有的引入局部对齐的方法虽然试图捕捉细粒度线索，但存在以下缺陷：

• 提示重叠与冗余：每个提示词独立选择局部区域，导致多个提示词关注相同的显著区域，造成特征利用的冗余和提示词之间的无效竞争。
• 背景干扰：密集的对齐方法容易将质量分配给无关的背景区域。
• 分布外（OOD）检测与精度的权衡：可学习的投影虽然能优化分布内（In-Distribution, ID）的拟合度，但往往会破坏预训练模型的基础特征流形，导致 OOD 检测性能下降。

2. 方法论：SOT-GLP

作者提出了 SOT-GLP (Sparse Optimal Transport Guided Local-Global Prompt Learning) 框架，旨在在保留 CLIP 全局对齐能力的同时，显式建模细粒度空间结构。

2.1 双分支架构

模型包含两个互补的分支：

1. 全局提示分支 (Global Branch)：
   • 使用标准的 CLIP 查询 - 键（Q-K）自注意力机制。
   • 提取 [CLS] token 作为全局图像嵌入。
   • 与共享的全局提示词（Global Prompts）进行匹配，维持鲁棒的类别级泛化能力，防止过拟合。
2. 局部提示分支 (Local Branch)：
   • V-V 注意力机制：利用值 - 值（Value-Value）注意力替代标准的 Q-K 注意力，增强 Patch 之间的交互，提取对纹理和局部部件更敏感的局部特征。
   • 类特定局部提示：为每个类别学习特定的局部提示词（Local Prompts），捕捉类别特有的判别性属性。

2.2 核心创新：稀疏最优传输 (Sparse Optimal Transport, SOT)

为了解决提示重叠和背景干扰问题，局部分支采用了两阶段对齐策略：

1. 显著性引导的稀疏化 (Saliency-Guided Sparsification)：
   • 计算每个 Patch 与类别特定局部提示集的平均相似度，生成显著性图。
   • 仅保留 Top-K 个最显著的 Patch，构建一个共享的稀疏支持集。这有效过滤了非判别性的背景噪声。
2. 平衡熵最优传输 (Balanced Entropic Optimal Transport)：
   • 将稀疏后的 Patch 特征与多个类特定局部提示词的对齐建模为最优传输问题。
   • 关键约束：强制传输计划的边缘分布（Marginals）均匀。这意味着每个提示词必须接收大致相等的“质量”分配。
   • 效果：防止了“提示词坍缩”（即所有提示词都关注同一个最强 Patch），强制不同的提示词专注于不同的视觉部件，实现了 Patch 的软划分（Soft Partition），确保了提示词的多样性。

2.3 训练与推理

• 损失函数：总损失 = 全局对比损失 + $\lambda$ * 局部交叉熵损失。
• 推理：结合全局得分和局部得分（通过 Top-K 选择和 OT 匹配计算），进行加权融合。
• OOD 检测：利用 GL-MCM 协议，结合全局相似度和局部增强相似度来检测分布外样本。

3. 关键贡献

1. 共享稀疏支持集与平衡 OT 分配：首次提出在提示学习中引入共享的 Top-K 显著 Patch 集，并通过平衡最优传输显式地将这些 Patch 分配给不同的类特定提示词，从根本上解决了提示重叠和冗余问题。
2. V-V 注意力作为局部特征流：重新利用 V-V 注意力机制，专门用于增强 Patch 到 Patch 的相关性，作为独立的局部特征流，显著提升了细粒度特征的提取能力。
3. 发现精度 - 鲁棒性权衡 (Accuracy-Robustness Trade-off)：
   • 研究发现，可学习的局部投影（Learnable Projection）虽然能提升少样本分类精度（+0.9%），但会破坏 CLIP 预训练的特征流形几何结构，降低 OOD 检测能力。
   • 无投影变体：移除局部投影后，虽然分类精度略有下降，但保留了 CLIP 的原始几何结构，实现了最先进的 OOD 检测性能（AUC 94.2%），证明了在部署时可以根据需求在精度和鲁棒性之间进行灵活配置。

4. 实验结果

4.1 少样本分类 (Few-Shot Classification)

• 数据集：在 11 个标准基准数据集（包括 ImageNet, Caltech101, Flowers102, Aircraft 等）上进行评估。
• 性能：在 16-shot 设置下，SOT-GLP 取得了 85.1% 的平均准确率，优于所有现有的提示学习方法（如 GalLoP, MaPLe, PLOT 等）。
• 优势领域：在依赖局部特征的任务上提升最为显著，如纹理识别 (DTD, +1.6%)、细粒度花卉 (Flowers102, +0.4%) 和动作识别 (UCF101)。

4.2 分布外检测 (OOD Detection)

• 性能：
  • 完整模型：FPR95 为 28.1，AUC 为 93.2。
  • 无投影变体 (SOT-GLP w/o proj.)：FPR95 降至 23.8，AUC 提升至 94.2。
• 意义：无投影变体在保持 ImageNet 分类精度（75.4%，仅比完整模型低 0.1%）的同时，显著超越了所有基线方法的 OOD 检测能力，证明了保留预训练特征流形的重要性。

4.3 消融实验

• V-V 注意力：移除后平均精度下降 0.3%，特别是在纹理和场景识别任务上。
• 局部投影：移除后精度下降 0.9%，但 OOD 检测性能大幅提升，验证了上述权衡。
• 类特定提示：移除后（使用共享池）平均精度下降 0.6%，特别是在细粒度任务上，证明了类特定提示对捕捉判别性部件的必要性。

5. 意义与结论

SOT-GLP 提出了一种新颖的局部 - 全局提示学习范式，通过稀疏最优传输机制，成功解决了多提示词在局部特征分配上的竞争与重叠问题。

• 技术层面：它证明了在少样本学习中，显式建模细粒度空间结构并强制提示词多样化（通过 OT 平衡约束）是提升性能的关键。
• 应用层面：该工作揭示了提示学习中精度与鲁棒性之间的微妙平衡，为实际部署提供了可配置的选项：若追求极致分类精度，使用带投影的模型；若需高鲁棒性（如安全关键应用中的 OOD 检测），则使用无投影变体。
• 局限性：在极度细粒度且 CLIP 预训练特征缺乏相关判别部件的领域（如特定飞机型号），性能提升有限，未来可探索领域自适应的 Patch 选择机制。

总体而言，SOT-GLP 在保持计算效率的同时，显著提升了 VLM 在少样本分类和异常检测任务上的表现，为视觉 - 语言模型的微调提供了新的思路。