🤖 AI

ProtoQuant: Quantization of Prototypical Parts For General and Fine-Grained Image Classification

ProtoQuant 引入了一种利用潜向量量化来创建离散、稳定的原型部分码本的新颖架构，从而实现了一个高效且具有可解释性的分类头，在无需进行高昂计算成本的主干网络微调的情况下，在大型和细粒度数据集上均实现了具有竞争力的准确率。

原作者： Mikołaj Janusz, Adam Wróbel, Bartosz Zieliński, Dawid Rymarczyk

发布于 2026-02-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Mikołaj Janusz, Adam Wróbel, Bartosz Zieliński, Dawid Rymarczyk

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的 AI，它能识别成千上万种不同类型的鸟类、汽车或花朵。但问题在于，这个 AI 是一个“黑盒”。它能给出正确的答案，但如果你问它为什么，它只会说：“我知道，因为我就是知道。”它无法指出是哪片羽毛、哪个轮子或哪片花瓣让它做出了判断。

这正是 ProtoQuant 大显身手的地方。你可以把它看作是一个“翻译官”，它能将 AI 的秘密代码转化为人类可以理解的语言，而不会破坏 AI 的大脑。

以下是它的工作原理，我们使用一些简单的类比：

1. 问题所在：“漂移”的手电筒

以往的方法试图通过教 AI 寻找“原型”（比如某种特定的鸟翼形状）来实现可解释性。但这些方法有两个巨大的缺陷：

漂移的手电筒： 如果你稍微改变一下图片（比如增加阴影或移动一片叶子），AI 就会突然停止观察翅膀，转而开始观察背景，从而完全改变它的判断。这是不稳定的。
沉重的负担： 为了修复这个问题，旧的方法必须从头开始重新训练整个 AI，这就像为了换个收音机就要拆掉并重建整个汽车引擎一样。这既慢又贵，而且在处理像 ImageNet（拥有 140 万张图像）这样庞大的数据集时经常会失败。

2. 解决方案：“贴纸书”（ProtoQuant）

ProtoQuant 是一个你可以直接“扣”在现有的、预训练好的 AI 之上的新“头部”（顶层），而无需触动它的“大脑”。它使用了一种叫做向量量化（Vector Quantization）的技术，最直观的理解方式就是一本“贴纸书”。

连续的混乱： 想象 AI 看到一张图像，并将其转化为一股平滑且连续的数据流（就像一条河流）。很难精准地界定这条河流中哪一部分代表了“翅膀”。
离散的书籍： ProtoQuant 将这条河流强制转化为一本有限的贴纸书。每张贴纸都是一个特定的、经过学习的“概念”（例如“鸟翼”、“汽车轮胎”或“花瓣”）。
捕捉（The Snap）： 当 AI 看到一张新图像时，它不再在河流中漂浮，而是将图像特征“捕捉”并对齐到书中最近的一张贴纸上。

3. 为什么这是一个游戏规则的改变者

因为 AI 被迫使用这些来自固定书籍的特定“贴纸”（概念），两个神奇的事情发生了：

稳定性（不再漂移）： 如果你微调图像，特征仍然会捕捉到相同的贴纸。AI 不会因此感到困惑。这就像如果你有一本包含 50 种特定形状的书；无论你如何旋转一个三角形，它依然是一个三角形，而不是一个正方形。决策保持了稳定。
有据可查的真相： 这些贴纸不是凭空捏造的。它们直接取自训练数据。因此，当 AI 说“这是一只知更鸟，因为它看起来像这个特定的红胸脯”时，它指向的是训练集中一张真实的红胸脯照片，而不是一个幻觉出来的概念。

4. “两阶段”训练过程

作者通过两个简单的步骤构建了这个系统：

第一阶段（图书管理员）： 他们冻结了 AI 的大脑。他们只是通过观察所有的训练图像，并将它们组织成一套最佳的概念集，从而构建出这本“贴纸书”。AI 本身不会改变，只是在创建这本书。
第二阶段（翻译官）： 他们用一个简单的系统替换了 AI 原有的最终决策器，这个系统会说：“如果图像匹配贴纸 A 和贴纸 B，那么它就是一只知更鸟。”

5. 结果：快速、稳定且准确

论文在以下任务中测试了它：

细粒度任务： 区分 200 种不同类型的鸟类或 196 种不同类型的汽车。
大规模任务： 庞大的 ImageNet 数据集。

研究结果显示：

它很稳定： 当他们对图像进行干扰（添加噪声或移动部分区域）时，ProtoQuant 表现得非常冷静。其他方法则会变得混乱并改变答案。
它很快： 因为他们不需要重新训练整个 AI，所以训练时间比其他方法大约缩短了一半。
它很准确： 它达到了甚至超过了其他“可解释”AI 模型的效果，即使是在其他方法会失败的庞大 ImageNet 数据集上也是如此。
它是可编辑的： 因为“贴纸书”是独立的，如果你想移除一个错误的概念（比如某种特定类型的噪声），你只需从书中删除那张贴纸，而无需重新训练整个系统。

总结

ProtoQuant 就像是给一个超级聪明的 AI 提供了一本视觉概念词典。与其在黑暗中瞎猜，AI 会在词典中查找图像，找到与之最接近的“单词”（概念），然后告诉您它使用了哪些“单词”来做出决策。它既稳定、快速，又不需要从头开始重建 AI。

技术摘要：ProtoQuant

1. 问题陈述

深度学习模型，特别是在医疗诊断和自动驾驶等高风险领域，存在固有的不透明性。虽然可解释人工智能（XAI）已经引入了事后（post-hoc）方法（如 Grad-CAM）和事前（ante-hoc，即自解释）方法，但后者——特别是原型部分网络（Prototypical Parts Networks, PPNs）——面临着关键的局限性：

原型漂移与缺乏接地性（Grounding）： 现有方法学习到的潜向量往往无法对应于训练分布中切实的、可实现的图像块。这些原型会发生漂移，无法代表真实的视觉概念。
表示不稳定性： 对输入图像的微小扰动会导致最高激活原型的剧烈变化，从而导致模型决策出现不稳定，这与人类的感知相矛盾。
可扩展性与计算成本： 大多数原型架构难以推广到像 ImageNet 这样的大规模数据集。此外，它们通常需要对整个骨干网络进行昂贵的微调才能达到理想的准确率，这限制了它们在现代冻结基础模型上的应用。

2. 方法论：ProtoQuant

ProtoQuant 是一个旨在作为冻结的预训练图像分类器“头部”的可解释框架。它通过**矢量量化（Vector Quantization）**解决了接地性和稳定性问题。

核心架构

该模型将标准分类头替换为基于概念的模块。其过程如下：

冻结的骨干网络： 预训练的骨干网络（CNN 或 ViT）提取特征图 $\phi(x)$ 。骨干网络的参数在整个训练过程中保持固定。
概念码本学习（阶段 1）：
- 使用矢量量化变分自编码器（VQ-VAE）机制学习一个离散码本 $C = \{c_1, ..., c_m\}$ 。
- 基于余弦相似度，将来自骨干网络的特征向量 $z_{ij}$ 分配给其最近的码本条目。
- 仅更新码本向量（通过码本损失 $L_{codebook}$ ），而停止接收来自骨干网络嵌入的梯度。这通过将连续的潜空间离散化为一个有限的视觉原语词汇表。
基于概念的预测头（阶段 2）：
- 匹配： 特征向量通过带有温度参数 $\alpha$ 的尖锐 Softmax 与码本进行匹配，生成概念激活图。
  층
- 聚合： 应用空间最大池化以获得概念存在得分（ $s$ ）。
- 分类： 一个非负分类矩阵 $W$ 将概念得分映射到类别对数几率（ $\hat{y} = Ws$ ）。

训练方案

该方法采用两阶段训练过程：

阶段 1（无监督接地）： 码本通过无监督方式进行训练，以捕捉冻结骨干网络的特征分布。
阶段 2（有监督推理）： 原有的分类头被替换为可解释的头部。此时码本被冻结，并使用标准的交叉熵损失来训练分类矩阵 $W$ 。这一阶段允许进行剪枝（为每个类别选择前 K 个原型），从而在不重新训练骨干网络的情况下增强可解释性。

3. 核心贡献

基于量化的接地性： 引入了一种机制，将特征空间离散化为由高稳定性概念组成的码本，确保原型是训练数据的忠实表示，而无需更新骨干网络。
骨干网络无关性： 设计用于作为冻结骨干网络（包括 CNN 和 ViT）的高效、可解释的头部，能够无缝集成到现代架构中，而无需全参数微调。
可扩展性： 证明了原型推理可以扩展到大规模数据集（如 ImageNet）并保持高保真度，弥合了可解释性与预测性能之间的差距。
结构可编辑性： 使用离散码本使得瞬时的结构编辑成为可能，例如“概念剪枝”或特定条目的中性化，从而在无需昂贵重训的情况下实现模型调试。

4. 实验结果

作者在 ImageNet-1K 和细粒度基准测试（CUB-200, Cars-196, Dogs, Flowers）上对 ProtoQuant 进行了评估。

表示稳定性： 在空间失配（Spatial Misalignment）基准测试中，ProtoQuant 的表现显著优于其他 PPNs。它实现了近乎完美的准确度变化（AC）得分（ViT 为 0.35，ConvNeXt 为 1.73），并大幅降低了原型激活变化（PAC），表明其对输入扰动具有鲁棒性。
分类准确率：
- 细粒度任务： 在 CUB-200、Cars、Dogs 和 Flowers 上，ProtoQuant 取得了与最先进的可解释方法（如 PIP-Net, InfoDisent）相当或更优的 Top-1 准确率，其表现往往优于那些需要微调骨干网络的方法。
- ImageNet： ProtoQuant 在 ResNet-50 上达到了 77.86% 的准确率，在 ConvNeXt-Large 上达到了 82.87%。与 InfoDisent 等竞争对手相比，这显著缩小了事前法（ante-hoc）方法与非解释性黑盒基准之间的性能差距。
语义纯度： 在冻结骨干网络的约束下，ProtoQuant 展示了具有竞争力的原型纯度（0.47），验证了量化概念能很好地与人工标注的部分对齐。
效率： 与进行骨干网络微调的全模型训练相比，在冻结骨干网络上训练 ProtoQuant 可减少约 47.6% 的每轮（epoch）训练时间。

5. 重要性与主张

论文将 ProtoQuant 定位为解决当前原型部分网络中固有的“原型漂移”和可扩展性挑战的解决方案。其主要意义在于：

接地性的可解释性： 通过将决策锚定在直接源自训练分布的可验证视觉概念词汇表中，它确保了解释是基于实际数据而非抽象的潜空间伪影。
实际部署： 能够为冻结的基础模型附加一个可解释的头部，这使得该方法具有极高的计算效率，并适用于全参数微调成本过高的容量巨大的架构。
高风险领域的信任： 其“这看起来像那个”的推理方式，结合稳定的激活机制，使医疗影像等领域的从业者能够验证模型是否关注临床相关的特征，从而支持更透明、更负责任的 AI 系统部署。

作者承认，依赖离散码本可能会限制其相对于连续空间的表示灵活性，并建议未来的工作方向包括自动化码本规模选择和高级剪枝技术。