🤖 AI

HERMAN: Hierarchical Representation Matching for CLIP-based Class-Incremental Learning

HERMAN 是一个针对 CLIP 的新型类增量学习框架，它利用大语言模型生成层级化文本描述符，并将其自适应地与多级视觉表示进行匹配，从而通过更好地捕捉细粒度差异并缓解灾难性遗忘，实现了最先进的性能。

原作者： Zhen-Hao Xie, Yan Wang, Lan Li, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Zhen-Hao Xie, Yan Wang, Lan Li, Han-Jia Ye, De-Chuan Zhan, Da-Wei Zhou

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一位非常聪明、见多识广的图书管理员（即 AI）如何识别新的动物。你从猫和狗开始，图书管理员很快就能轻松分辨它们。

接着，你引入了狼。这变得很棘手，因为狼看起来很像狗。如果你只是告诉图书管理员：“嘿，记住狼有尖耳朵，”并强迫他们在一次性更新整个大脑库的同时进行学习，他们可能会不小心搞乱对“狗”的定义。突然间，他们可能会因为这些尖耳朵而开始认为金毛寻回犬也是狼，甚至可能完全忘记如何区分猫和狗。这被称为灾难性遗忘（Catastrophic Forgetting）——学习新知识破坏了已有的知识。

这篇论文介绍了一种名为 HERMAN 的新系统来解决这个问题。以下是它的工作原理，使用简单的类比：

1. 问题所在：“一刀切”的错误

目前的 AI 方法就像一个只有一个巨大且混乱书架的图书管理员。他们试图将“猫与狗”之间的宏观差异与“狗与狼”之间的微观差异放在同一个书架上。当他们试图添加“狼”的细节时，会不小心撞倒“猫与狗”的书籍。系统会感到困惑，因为它试图在同一个细节层级上处理所有事情。

2. 解决方案：多层级图书馆（层级化表示）

HERMAN 改变了图书馆的结构。它不再是一个混乱的单一书架，而是构建了一个多层级结构：

顶层书架（粗粒度层）： 存放宏大的、宽泛的类别，如“动物”、“交通工具”或“水果”。它非常稳定。
中层书架： 存放中等程度的细节，如“有毛发”、“有轮子”或“是红色的”。
底层书架（细粒度层）： 存放极小的、具体的细节，如“尖耳朵”、“生锈的轮毂盖”或“小茎”。

HERMAN 是如何构建这个结构的：
HERMAN 不仅仅是问图书管理员“什么是狼？”，而是利用一个超级聪明的助手（大语言模型/LLM）为每种动物编写一份完整的描述列表，涵盖从非常笼统到非常具体的各个维度。

笼统： “它是一种犬科动物。”
具体： “它有长鼻子和厚实的皮毛。”

随后，AI 将这些书面描述与自身“大脑”（视觉层）的不同层级进行匹配。大脑的高层部分观察大局，而底层部分则观察微小的细节。这确保了“猫与狗”的规则安全地留在顶层书架上，而“狗与狼”的规则则在底层的特定空间内运行。

3. 智能管理者：自适应路由

那么，AI 如何知道该看哪一层书架呢？

如果你展示的是汽车对比自行车，它只需要“顶层书架”（有轮子 vs 无轮子）。
如果你展示的是麻雀对比雀类，它则需要“底层书架”（细微的颜色图案）。

HERMAN 使用了一个智能管理者（路由器）。这个管理者会观察图像，并决定：“好吧，对于这张特定的照片，我需要听取顶层书架 80% 的声音，以及底层书架 20% 的声音。”它会根据所观察的对象，动态调整每个细节层级的“音量”。

4. 安全网：基于投影的更新

这是最棘手的部分：当智能管理者学习新任务的新规则时，我们如何确保它不会忘记旧规则？

想象一下，管理者的脑海是一个装满家具（知识）的房间。

旧方法： 当你搬入新家具（新知识）时，你直接把它塞进去，从而撞倒了旧椅子。
HERMAN 的方法： 在搬入新家具之前，管理者会对旧椅子占据的空间进行一次“快照”。在添加新知识时，它被强制要求将新物品放入空隙中，或者以一种不触碰旧椅子的堆叠方式进行摆放。

在技术层面，这被称为基于投影的策略（Projection-based strategy）。它确保了新的学习是在与旧知识“正交”（即成直角）的方向上进行的，从而使旧知识保持完好无损。

结果

通过将知识组织成层级（层级化）、使用智能管理者选择合适的细节水平，并使用安全网保护旧记忆，HERMAN 让 AI 能够学习新的类别（比如增加 100 种新型汽车或鸟类），而不会忘记旧的类别。

该论文声称，这种方法在标准测试中击败了所有先前的方法，在保持 AI 智能且不遗忘方面达到了最先进（SOTA）的效果。它无需存储旧照片，仅通过这些巧妙的数学技巧来组织 AI 的记忆。

技术摘要：用于类增量学习的 HERMAN

问题陈述

类增量学习（Class-Incremental Learning, CIL）旨在持续获取新类别，同时保留对已学习类别的知识。该领域的一个主要挑战是灾难性遗忘（catastrophic forgetting），即学习新信息会导致旧任务性能下降。虽然最近的方法利用预训练模型（如 CLIP）来提供强大的跨模态对齐和先验知识，但现有的基于 CLIP 的 CIL 方法存在两个关键局限性：

脆弱的知识表示： 大多数方法依赖于最终视觉层与固定文本模板（例如“一张 [CLASS] 的照片”）之间的单层、粗粒度对齐。这迫使细粒度更新（例如区分“狼”和“狗”）必须进入与粗粒度分离（例如“犬科”与“猫科”）相同的语义空间。因此，针对新细节的更新可能会无意中移动决策边界，从而降低对旧类别的性能。
层次化语义利用不足： CLIP 的视觉和文本编码器本质上捕捉了从粗粒度概念到细粒度属性的多级特征和描述符。然而，现有方法通常忽略这些中间表示，仅关注最终层。

方法论：HERMAN

作者提出了 HERMAN（HiErarchical Representation MAtching，层次化表示匹配），这是一个旨在结构化、对齐并自适应路由基于 CLIP 的 CIL 中的层次化语义的框架。该方法由三个核心组件组成：

1. 层次化表示匹配

HERMAN 没有使用单一的固定提示词，而是利用 大语言模型（LLM） 为每个类别生成一组 $M$ 个文本描述符，涵盖从粗粒度身份线索到细粒度视觉细节的范围。

文本生成： 对于类别 $i$ ，LLM 递归地生成描述符 $T_i = \{t_{i,1}, \dots, t_{i,M}\}$ 。例如，对于“阿斯顿·马丁 Virage”，描述符从“跑车”（粗粒度）到“雕刻般的侧面板”（细粒度）不等。
多级对齐： 这些描述符通过 CLIP 文本编码器进行编码，形成层次化文本空间。模型将这些文本嵌入显式地与 CLIP 视觉编码器的中间视觉层（而非仅最终层）进行对齐。
Top-K 聚合： 为了减少噪声，模型为每个视觉层选择前 $K$ 个最匹配的描述符，并将它们聚合成一个紧凑的文本嵌入 $h_i^b$ （针对第 $b$ 层）。

2. 自适应层次路由

考虑到不同层次的重要性随输入和任务而变化，HERMAN 引入了一个基于输入的自适应路由器。

动态权重： 一个轻量级线性层根据最终视觉表示生成非负权重 $\beta_i$ 。这些权重动态地平衡来自不同层的统一层次化文本嵌入的贡献，从而形成最终表示 $\tilde{h}_i$ 。
基于投影的更新（抗遗忘）： 为了防止路由器忘记为先前任务学习到的策略，路由器权重使用基于投影的策略进行更新。
- 通过奇异值分解（SVD）对权重矩阵 $W_r$ 进行分解。
- 构建投影矩阵 $P_{old}$ 以保留包含先前任务路由模式的子空间。
- 新的更新被分解为属于该保留子空间的成分（稳定性）和正交方向（塑性）。最终的更新结合了这两者，以在不破坏既有知识的情况下适应新任务。

3. 跨模态匹配与训练

该框架采用了轻量级视觉适配器和对比目标。

混合嵌入： 最终预测利用聚合层次化嵌入 $\tilde{h}_i$ 与标准模板嵌入 $e_i$ 的凸插值进行，并由因子 $\lambda$ 控制。
生成式重放： 为了进一步减轻遗忘而不存储原始图像，该方法使用特征级生成式重放。它将每个类别的最终视觉标记（ $x_{cls}^B$ ）的分布建模为高斯分布，在增量训练期间采样伪特征，以稳定过去的知识。

核心贡献

层次化语义结构化： 本文提出了一种生成并将多级文本描述符与中间视觉特征对齐的方法，超越了单层对齐，创建了一个结构化的语义空间。
自适应路由机制： 一种新型路由器可以根据实例动态平衡层次化贡献，使模型能够根据需要优先考虑粗粒度或细粒度线索。
基于投影的持续适应： 路由器的基于投影的更新策略确保了学习新任务不会覆盖对旧任务至关重要的路由策略，有效地缓解了灾难性遗忘。
最先进的性能： 这些组件的集成使得该框架在持续学习场景中增强了判别能力和鲁棒性。

实验结果

作者在 九个基准数据集（包括 CIFAR100, ImageNet-R, CUB200, StanfordCars 和 SUN397）上评估了 HERMAN 在各种增量设置（如 Base0 Inc10, Base50 Inc10）下的表现。

性能： HERMAN 在平均准确率 ( $\bar{A}$ ) 和最终准确率 ( $A_B$ ) 方面始终优于最先进的方法（包括 L2P, DualPrompt, CODA-Prompt, RAPF 和 PROOF），领先幅度为 1% 到 5%。
鲁棒性： 该方法在不同的类别划分随机种子下表现出稳定性，并且对超参数（如 Top-K 描述符、混合因子 $\lambda$ 以及投影参数 $\delta, \rho$ ）的变化保持鲁棒。
效率： 与竞争方法相比，HERMAN 需要更少的训练时间，同时保持卓越的性能，使其在大规模任务中具有计算效率。
消融研究： 实验证实，每个组件（LLM 描述符、自适应路由器和投影更新）都对最终性能做出了积极贡献。投影机制特别被证明能随着时间的推移保持旧类别的视觉与文本嵌入之间的高余弦相似度，而没有投影的方法则会出现快速退化。

意义与主张

本文声称 HERMAN 通过在不同语义粒度间解耦学习，解决了现有基于 CLIP 的 CIL 方法中存在的根本性脆弱问题。通过将细粒度更新隔离到特定层次，同时锚定粗粒度分离，该方法防止了破坏性的边界偏移。作者断言，他们的方法有效地利用了预训练模型固有的层次化能力，将其转化为更强大的持续学习者，能够在适应新类别而不遗忘先前知识的同时进行演进。这项工作强调了将 LLM 生成的语义丰富性与结构化、自适应对齐相结合在视觉语言模型中的潜力。