🤖 AI

Identifying Latent Concepts and Structures for Generalized Category Discovery

本文引入了组合原语场（Compositional Primitive Fields, CPF-GCD），这是一个即插即用的表示学习框架，通过强制执行低秩组合结构将图像分解为可重用的视觉原语及其空间排列，从而解决了标准视觉骨干网络在广义类别发现中的局限性，进而实现对已知类别和新颖类别的更有效识别。

原作者： Boyang Dai, Chaoqi Chen, Yizhou Yu

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Boyang Dai, Chaoqi Chen, Yizhou Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《识别用于广义类别发现的潜在概念与结构》的解释，使用了简单的语言和日常类比。

核心问题：一个“嘈杂的房间”

想象一下，你正在试图教一个机器人识别动物。你给它看狗和猫的照片（“已知”类别）。但随后，你也给它看一些它从未见过的动物照片，比如鸭嘴兽或穿山甲（“未知”类别），并让它分辨哪些是同类。

论文指出，目前的 AI 模型就像是在一个嘈随且拥挤的房间里学习的学生。

现状： 当标准的 AI 观察一张图片时，它会将图像分解成数千个微小的拼图碎片（称为“token”）。在标准 AI 中，这些碎片是非常混乱的。一个显示狗耳朵的碎片可能会与背景中的草地或阴影碎片混杂在一起。这就像是一堆边缘模糊、颜色相互渗透的拼图碎片。
瓶颈： 由于这些碎片非常混乱且“纠缠”在一起，AI 很难正确地对新动物进行分组。它可能会因为“喙”的碎片与“水”的碎片混合在一起，而误认为鸭嘴兽是一种奇怪的鸭子；或者因为它认为光影不同，就把同一只狗拆分成了两个不同的组。

解决方案：“乐高字母表”

作者提出了一种名为 CPF-GCD（组合原语场）的新工具。你可以把它看作是一个位于 AI 的眼睛和大脑之间的翻译器或重组器。

CPF-GCD 不让 AI 直接处理那些混乱的拼图碎片，而是强制 AI 将这些碎片转化为一小组干净、可重复使用的乐高积木（称为“原语/primitives”）。

以下是它的工作步骤：

乐高盒子（原语码本）： 想象一个盒子里只有 12 到 16 种特定的乐高积木。这些不是完整的动物，而是基础形状，如“翅膀”、“腿”、“鳍”、“毛发”或“光滑皮肤”。AI 学习识别这些基础构建模块。
翻译（重写图像）： 当 AI 看到一张新图片时，它不再看原始像素。相反，它会问自己：“哪些乐高积木构成了这张图像？它们是如何放置的？”
- 它忽略了噪声（如背景草地或随机阴影），因为这些不在乐高盒子里。
- 它将图像分解为一种由这 16 块积木组成的整洁排列。
新地图（原语场）： 现在，图像不再是一团混乱的数据，而是一个清晰的地图，准确地展示了“翅膀”在哪里、“腿”在哪里，以及它们是如何连接的。

为什么这有助于发现新事物

当 AI 遇到它从未见过的新动物时，奇迹发生了。

没有 CPF-GCD 时： AI 看到的是一团乱码，感到很困惑。因为它无法处理过于混乱的数据，所以不知道如何将新动物与其他动物归为一类。
有了 CPF-GCD 后： AI 将新动物视为熟悉乐高积木的一种新组合。
- 例子： 它看到了“喙”积木、“翅膀”积木和“尾巴”积木。即使它以前从未见过“鸭嘴兽”，它也能识别出这种特定的积木排列方式是独特的。因此，它可以说：“好吧，这一组新动物都使用了这种特定的积木模式。”

论文声称，通过强制 AI 以这些可重复使用的部分（低秩组合）进行思考，区分已知动物与未知动物变得容易得多。未知动物会自然而然地形成自己的群体，因为它们拥有独特的“乐高模式”。

论文的核心要点

它是即插即用的工具： 作者并没有重建整个 AI 系统。他们只是在这个中间位置添加了这个“乐高翻译器”模块。它几乎可以与任何设计用于此任务的现有 AI 系统配合使用。
它清理了噪声： 通过专注于本质的“积木”并忽略混乱的背景细节，AI 犯错的可能性更小。
它适用于各种场景： 论文在许多不同的数据集上测试了它（从细粒度的鸟类物种到汽车、飞机等通用物体）。在每种情况下，添加这个模块都帮助 AI 更准确地发现了新类别。
它非常高效： 添加这个翻译器只会占用极少的额外计算内存和时间（训练时间增加约 8%），这使得它成为一个非常实用的解决方案。

总结

论文表明，为了帮助 AI 在现实世界中发现新事物，我们不应该仅仅给它更好的分类规则。相反，我们应该教会它将世界简化为一组可重复使用的部分。就像一个孩子可以用同样的乐高积木搭建城堡、汽车或宇宙飞船一样，这个 AI 可以通过观察事物是如何由这些基础视觉“积木”构建而成，从而识别出新的动物。

技术摘要：识别用于广义类别发现的潜在概念与结构

1. 问题定义

本文探讨了广义类别发现 (Generalized Category Discovery, GCD)，即模型必须在识别已知类别的同时，从无标签数据中自主发现未见的创新类别。作者指出当前 GCD 方法中的一个关键瓶颈：虽然研究重点一直集中在设计更好的聚类目标或发现头（discovery heads）上，但这些方法往往继承了标准视觉骨干网络（特别是 Vision Transformer）中高秩、纠缠的标记（token）表示。

在这些标准表示中，图像块标记（patch tokens）形成了一个“嘈杂的高维云团”，其中前景部分、背景纹理和偶然相关性占据了相近的方向。这种几何结构并不适合无监督发现，会导致错误发生，例如将单个类别碎片化为多个簇，或者由于共享上下文导致不同类别合并。核心问题不在于使用在骨干网络之后的损失函数，而在于暴露给该损失函数的非结构化几何形状。

2. 方法论：组合原语场 (Compositional Primitive Fields, CPF-GCD)

作者提出了组合原语场 (CPF-GCD)，这是一个轻量级、即插即用的模块，插入在视觉骨干网络与 GCD 头之间。其核心假设是：所有类别（已知或创新）都可以表示为一组有限的可学习**视觉原语（visual primitives）**的组合与空间排列。

CPF-GCD 通过强制执行低秩组合组织来重塑特征空间，分为三个阶段：

图像条件下的原语码本构建：
- 构建一个可学习的基础码本 $P_{base}$ （一组可重用的原语向量），该码本在整个数据集中共享。
- 为了处理姿态和尺度的变化，从输入标记中计算一个图像条件的偏移量 $\Delta P$ ，并将其添加到基础码本中，从而创建一个自适应码本 $P$ 。
- 通过对 patch 标记与自适应原语之间的兼容性进行评分，计算初始的标记-到-原语分配 ( $A_{prior}$ )。
原语证据细化：
- 标记证据聚合： 根据初始分配将标记证据聚合到原语状态中。
- 标记条件更新： 原语状态通过注意力机制再次查询原始标记，以恢复最初可能被低估的证据。
- 原语状态整合： 原语之间相互作用（原语对原语注意力），以消除冗余并确保相干的码本状态。这产生了细化后的原语状态 $P_2$ 。
分配融合与标记重写：
- 从细化动力学（交互权重）中导出第二个分配矩阵 ( $A_{data}$ )，捕捉在细化过程中标记实际如何贡献于原语。
- 置信度加权融合： 在对数势能空间中，利用可学习权重将初始分配 ( $A_{prior}$ ) 与数据驱动的分配 ( $A_{data}$ ) 进行融合，生成最终的分配矩阵 $A$ 。
- 标记重写： 使用融合后的分配将细化后的原语解码回 patch 标记空间。输出是原始标记的一个残差更新： $X_{refined} = X + \text{MLP}(A \cdot P_{refined})$ 。

生成的 $X_{refined}$ 保持了原始维度，允许其在不改变架构的情况下，无缝输入到任何现有的 GCD 头（基于原型、基于聚类或对比式）中。

3. 核心贡献

表示侧视角： 本文将 GCD 的设计重心从输出头转向了表示接口，认为在应用发现目标之前，必须通过（低秩组合）使 token 几何结构化。
基于原语的标记组织器： 引入了 CPF 作为一种掉入式（drop-in）模块，通过可学习的原语和自适应分配融合来重写 patch 表示，在不修改下游损失函数的情况下提供了一个紧凑的中间空间。
跨框架验证： 该方法在多种不同的 GCD 基准测试（包括 SimGCD、LegoGCD、CMS 和 SelEx）以及多样化的数据集（如细粒度的 CUB-200 和粗粒度的 ImageNet-100）上进行了验证，展示了持续的性能提升。

4. 实验结果

性能增益： CPF-GCD 持续提升发现性能。在细粒度基准测试中，它在 Stanford-Cars 上将平均准确率提升了 4.75%，并在 CUB-200 上配合 SelEx 基准实现了 79.8% 的峰值准确率。在粗粒度数据集上，它在 ImageNet-100 上的新类别发现性能平均提升了 2.03%。
消融实验： 移除数据驱动分配 ( $A_{data}$ ) 会导致最明显的性能下降，凸显了动态细化的重要性。该方法对原语数量 ( $M$ ) 具有鲁棒性，在 $M \in [12, 16]$ 范围内表现出稳定的性能。
几何与语义分析：
- 熵减： CPF 降低了冯·诺依曼熵（Von Neumann Entropy）和有效秩，表明其通过“谱净化”（spectral purification）过滤了冗余维度。
- 基数估计： 该方法显著改善了对未见类别数量的估计，与基准方法相比，在 CIFAR-100 上的误差幅度降低了近一半。
- 注意力转移： 可视化显示，CPF 将注意力从弥散的像素相关性转向聚焦于可重用的物体级结构的交互（例如机身、机翼），提高了信噪比。
效率： 该模块增加了约 7.5M 参数，仅增加了约 8% 的训练时间和 6% 的推理时间，保持了轻量级的特性。

5. 重要性与主张

本文声称，识别并利用低秩组合结构是开放世界识别的一个关键归纳偏置。通过显式建模原语的空间分布，CPF 使新类别能够作为共享词汇表上的新激活模式自然涌现，而不是需要全新的特征轴。

作者将 CPF-GCD 定位为现有发现头的补充，而非替代品，它是一种对特征空间的根本性重构，使得预训练的视觉特征更适用于类别形成。这项工作表明，强制执行结构组合性是开放世界识别中一个“关键缺失的环节”，为解决纠缠的 token 表示这一瓶颈提供了一种简单且通用的方法。