💻 computer science

U-shaped Multi-granularity Learning for Vision-Language Models

为了解决视觉-语言提示学习中的粒度困境，本文提出了 UPrompt，这是一个 U 型多粒度框架，它通过整合由粗到精的上下文传播以及由细到粗的分层监督，以极低的计算开销在 17 个基准测试中实现了最先进的性能。

原作者： Biao Chen, Yunqian Yu, Xiangxu Zhao, Zhongshu Chen, Mengmeng Jing, Lin Zuo

发布于 2026-07-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Biao Chen, Yunqian Yu, Xiangxu Zhao, Zhongshu Chen, Mengmeng Jing, Lin Zuo

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图通过向一个机器人展示图片并读给它听故事，来教它理解这个世界。这就是视觉-语言模型（Vision-Language Models, VLMs）这一令人兴奋的领域。把这些模型想象成超级聪明的学生，他们读过每一本书，看过每一张照片，但他们需要一点小小的引导来让他们专注于正确的事物。这种引导被称为提示学习（prompt learning）。我们不需要重写机器人的整个大脑（那太慢了），我们只需要微调一些特殊的“指令词”（提示词），来告诉它如何观察一张图片或阅读一个句子。

然而，这些指令存在一个棘手的问题。如果你给机器人一个宽泛、笼统的指令，比如“看整张图片”，它能看到大局，但会错过微小的、重要的细节（比如鸟喙的颜色）。但如果你给它一个超级具体的指令，比如“看鸟喙”，它可能会忽略掉这只鸟正停在树枝上的事实。这就是“粒度困境”（granularity dilemma）：要么太宽泛，要么太狭窄。你即将阅读的这篇论文正是针对这一问题展开研究，试图教机器人如何同时看到“森林”与“树木”。

U型解决方案：教机器人进行分层观察

认识一下 UPrompt，这是一个由研究员 Biao Chen 及其团队创造的新方法。他们借鉴了一个用于医学成像的著名工具——U-Net，它就像一位大师级的厨师，既能将蔬菜切成极小的碎块，又能立即将它们重新混合进一锅大汤中，以保持口味的平衡。研究人员问道：“为什么我们不能利用这种‘U型’的思想来帮助我们的视觉-语言机器人呢？”

在过去，大多数机器人尝试只用一种类型的指令进行学习：要么是“全局”指令（大局），要么是“局部”指令（微小细节）。研究人员发现，这种单一的方法限制了机器人的发展。这就像试图通过只说“这是一部动作片”（太模糊）或者只描述英雄跳跃的那一帧画面（太具体）来描述一部电影。你需要两者才能理解整个故事。

核心理念：双向通道
UPrompt 构建了一条特殊的“U型”学习路径。想象一下一个先向下走再向上爬的游乐场滑梯。

向下走（从粗糙到精细）： 机器人首先观察整幅图像和宏观的故事。然后，它顺着滑梯向下移动，观察得越来越仔细，利用这种宏观理解来强化微小的细节。这就像一名侦探，先观察整个犯罪现场，然后利用这些背景信息去锁定一个特定的指纹。
向上走（从精细到粗糙）： 但等等，它并没有到此为止！机器人还会向上传递信息。它提取那些极其清晰、微小的细节，并利用这些细节来确保宏观图景不会产生混乱或“偏离”真相。这就像老师检查学生的作文：学生写出了精彩的段落（细节），而老师利用这些段落来确保整个章节（宏观图景）依然逻辑通顺。

这种双向交通确保了机器人在观察树木时不会迷失森林，在欣赏森林时也不会错过树木。

他们是如何实现的
团队并非凭空猜测；他们构建了这个系统，并在 17 个不同的基准测试（一种高级说法，指 17 个不同的测试集）上进行了测试。

视觉方面： 他们将图像分解成不同的尺寸，从一个极小的 1x1 点（非常模糊，代表宏观图景）到清晰的 14x14 网格（超精细细节）。
文本方面： 他们使用了一个智能语言模型（类似于非常先进的聊天机器人）将同一个句子以不同的精细程度进行改写。一个版本可能说“一个男人在擦窗户”，而一个更精细的版本则会说“一个穿着蓝色衬衫的男人站在梯子上，正在擦拭一栋高楼的窗户”。
连接方式： 他们使用一种特殊的“注意力（attention）”机制将这些不同的层次连接起来。这就像一个聚光灯，帮助机器人在每一个细节层级上，根据文本来聚焦图像的正确部分，反之亦然。

他们的发现
结果令人印象深刻。UPrompt 不仅仅表现尚可，它在多个领域都击败了现有的最优方法：

检索（为句子找到正确的图片）： 在 MSCOCO 数据集上，UPrompt 在名为 “rSum” 的评分指标上比之前的最优方法 (MAMET) 高出 4.1 分，比另一顶尖方法 (VPKE) 高出 7.3 分。
泛化能力（学习新事物）： 在测试新类别（从基础到新颖的泛化）时，UPrompt 比 CoCoA-Mix 提升了 5.09% 的性能。
效率： 最酷的部分之一是，机器人如果愿意，可以变得很“懒”。因为该系统理解不同的细节层次，它可以选择提前停止，如果答案已经显而易见的话，从而节省能量。研究人员发现，他们模型的“中等”版本在达到其他顶尖模型性能的同时，仅使用了 1/3 的计算成本。

为什么这很重要
这篇论文表明，那种在“大局”或“小细节”之间做单选题的旧思维方式是一个死胡同。通过创建一个信息双向流动的系统，UPrompt 展示了机器人可以变得更加聪明和灵活。这不仅仅关乎看得更多，更关乎理解微小的部分是如何融入宏大的故事之中的。

研究人员谨慎地指出，尽管这是一个巨大的进步，但该系统仍有局限性。他们目前还无法模拟无限层级的细节，且其“U型”结构的深度目前也是有限的。但就目前而言，UPrompt 为如何帮助我们的数字伙伴睁大双眼观察世界提供了一种清晰且有原则性的方法。

技术摘要：用于视觉-语言模型的 U 型多粒度学习 (UPrompt)

1. 问题陈述

通过提示学习（Prompt Learning）进行适配的视觉-语言模型（VLMs）面临着根本性的粒度困境。现有的方法通常在单一且固定的粒度上进行优化，从而产生了一种内在的权衡：

全局提示（Global Prompts）： 像 CoOp 这样的策略可以捕捉广泛的上下文，但缺乏细粒度的语义感知，无法编码进行详细推理所需的局部特征（例如，在 FGVCAircraft 数据集上表现不佳）。
局部提示（Local Prompts）： 精细结构的提示保留了局部细节，但难以整合充足的全局上下文或建模跨区域的组合关系。

这种局限性限制了其在跨模态检索、少样本分类以及基础到新颖类泛化（base-to-novel generalization）等多样化任务中的适配性能和泛化能力。虽然像 U-Net 这样的层次化架构已在密集预测任务中成功统一了多级表示（作用于空间像素网格），但将这些原则迁移到提示学习中并非易事。提示学习是在抽象的嵌入空间中运行的，文本提示缺乏内在的几何结构，这使得构建有意义的多粒度表示以及双向信息流成为一个重大挑战。

2. 方法论：UPrompt

作者提出了 UPrompt，一种受 U-Net 启发的 U 型多粒度提示学习框架。它在视觉和文本两种模态中构建了平行的多粒度表示，并通过双向信息流机制进行连接。

2.1 U 型多粒度构建

该框架将 CLIP 编码器扩展为多粒度版本（ $k \in [1, K]$ ），涵盖从最粗糙到最精细的各个层级。

视觉模态： 通过在嵌入空间中进行渐进式空间池化，构建嵌套的补丁（patch）层级。从最精细的补丁标记（ $E^{(K)}_{patch}$ ）开始，递归地导出更粗糙的表示（ $E^{(k)}_{patch} = Pool^{(k)}(E^{(k+1)}_{patch})$ ）。可学习的提示在被送入视觉编码器之前，与这些池化后的嵌入进行拼接。
文本模态： 通过渐进式丰富构建语义层级。首先提取核心语义（ $T^{(1)}_{embed}$ ），随后通过迭代添加特定粒度的详述来生成后续层级（ $T^{(k)}_{embed} = T^{(k-1)}_{embed} \oplus \Phi^{(k)}_{refine}(t)$ ）。这些层级利用大语言模型（LLMs）生成层次化的文本描述（例如，从抽象概念到详细描述）。

2.2 双向连接机制

为了确保跨层级的一致性和互补学习，UPrompt 引入了两个类似于 U-Net 跳跃连接的关键机制：

由粗到精的级联增强 (CE)：
- 目标： 解决细粒度嵌入缺乏全局引导导致的上下文缺失问题。
- 机制： 使用跨粒度注意力机制将粗粒度的上下文信息注入到更精细的嵌入中。增强后的嵌入 $\hat{X}^{(k)}$ 通过关注较粗层级的增强表示 $\hat{X}^{(k-1)}$ 来计算。
- 效果： 使细粒度特征能够从全局表示中提取上下文相关的信息，从而改善局部建模。
由精到粗的层次化监督 (HS)：
- 目标： 解决粗粒度层级的优化不一致和语义漂移问题。
- 机制： 使用最精细层级的特征（其具备最优的跨模态对应关系）作为“教师信号”，通过知识蒸馏来监督较粗的层级。通过最小化粗层级相似度分布与脱离（detached）的细层级分布之间的 KL 散度来实现。
- 效果： 确保了不同尺度间的语义一致性，防止粗层级表示发生漂移，同时保持其互补特性。

2.3 总体目标

训练目标结合了所有 $K$ 个粒度层级的对比对齐损失以及层次化监督损失 ( $L_{guide}$ )。在推理阶段，系统可以灵活选择粒度层级以平衡性能与效率，默认选择最精细层级以获得最佳精度。

3. 核心贡献

UPrompt 框架： 一个受 U-Net 启发的框架，通过引入结构化层次结构为视觉-语言适配带来了多路径并行，克服了单尺度限制。
双向信息流： 引入了由粗到精的级联增强（将全局上下文注入局部细节）和由精到粗的层次化监督（利用细层级对齐来正则化粗粒度），以确保语义一致性和互补学习。
全面的验证： 在包括跨模态检索、少样本分类、基础到新颖类泛化以及分布外（OOD）场景在内的 17 个基准测试中展示了卓越的性能。

4. 实验结果

广泛的实验验证了 UPrompt 的有效性：

跨模态检索：
- 在 MSCOCO 上，UPrompt 分别超越 MAMET 和 VPKE 4.1 和 7.3 rSum。
- 在 Flickr30K 上，它实现了 571.1 的 rSum，超过了 DoPL、MAMET 和 VPKE 等近期的微调方法。
基础到新颖类泛化：
- 在 11 个数据集上实现了 82.12% 的调和平均值 (HM)，优于 CoCoA-Mix 5.09%，并超过了 TAP 和 SurPL-G。
- 在具有挑战性的数据集如 FGVCAircraft 上观察到了显著提升（+0.79% HM）。
少样本分类：
- 在 11 个数据集的 16-shot 任务中达到了 85.13% 的平均准确率，优于 GalLoP、ProVP-Ref 和 MMA。
效率与适应性：
- 自适应推理： 通过级联早停策略，UPrompt 在匹配细粒度准确率的同时，将计算成本降低至 48%，实现了 2.1 倍的加速。
- 性价比： 中粒度配置（UPrompt-M）仅需 1/3 的 FLOPs 即可达到与 PSRC 相当的准确率。
鲁棒性：
- 展示了强大的分布外 (OOD) 泛化能力（在 ImageNet 变体上平均为 61.22%），优于 GalLoP 和 HiCroPL。
- 在使用不同 LLM（Qwen3, Llama3）生成文本层级时，性能保持稳定。

5. 意义与主张

论文声称 UPrompt 通过将层次化表示学习原则从 U-Net 桥接到基于提示的 VLMs，为视觉-语言适配提供了一个原则性的解决方案。

解决权衡问题： 它通过建立一个统一的框架，通过双向信息流同时实现全局理解和局部精度，成功解决了单粒度方法的局限性。
语义一致性： 该框架确保了不同表示尺度间的语义一致性，防止了在孤立的多粒度模块中常见的性能退化。
灵活性： 层次化设计实现了灵活的性能-效率权衡，允许模型在不显著损失准确率的情况下适应资源约束。

作者承认，尽管目前非常有效，但目前的层次深度有限，未来的工作将探索更深层的多粒度架构以建模更丰富的语义结构。