🤖 machine learning

Spatially Grounded Concept Bottleneck Models via Part-Factorized Attention

本文介绍了一种部分因子化的概念瓶颈模型，该模型利用冻结的 DINOv3 视觉 Transformer、前景门控以及可学习的高斯空间先验，在概念注意力中实现空间定位于约束，从而在仅需极少或无需单张图像监督的情况下，显著提高了在 CUB-200-2011 数据集上的指向准确性，并保持了具有竞争力的分类性能。

原作者： Dhanesh Ramachandram

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dhanesh Ramachandram

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一台计算机识别不同的鸟类品种。一个标准的 AI 可能只是观察整张图片并猜道：“那是一只麻雀！”但如果你问：“为什么？”它可能会难以解释。

概念瓶颈模型 (Concept Bottleneck Models, CBMs) 是一种更聪明的方法。与其让 AI 直接猜测鸟类，不如强迫它首先回答一系列人类可理解的问题（即“概念”），例如“它有白色的喉部吗？”或“它的喙是弯曲的吗？”然后根据这些答案做出最终判断。这使得 AI 的思考过程变得透明且可审计。

然而，这类模型通常存在一个缺陷。负责检查“白色喉部”的那部分 AI 可能会不小心看向鸟的翅膀。如果翅膀恰好也是白色的，AI 就会因为错误的原因得到正确的答案。这就是 AI “空间上缺乏关联性（spatially ungrounded）”——它不知道自己应该看图像中的哪个位置。

这篇论文介绍了一种名为 PF-CBM（部分分解概念瓶颈模型）的新模型，它通过三个巧妙的技巧解决了这个问题，强制要求 AI 在正确的地方进行观察：

1. “前景门卫” (The Foreground Gate) —— 守门员

想象一下图像是一个拥挤的派对。AI 需要忽略背景（墙壁、树木、篱笆），只关注鸟本身。

工作原理： 模型有一个微小而智能的“守门员”，它会扫描图像的每一个微小部分。如果某一部分看起来像背景，守门员就会告诉 AI 忽略它；如果看起来像鸟，它就会让 AI 去观察。
巧妙之处： 这个守门员经过训练，只需回答“这是鸟的一部分吗？”而不需要知道确切的喙或尾巴在哪里。它只是为真正的“主角”清理出了舞台。

2. “固定座位表” (The Fixed Seating Chart) —— 路由分配

在旧模型中，“喙检查器”和“尾巴检查器”都是自由代理人。它们可以坐在任何地方，观察任何它们想看的东西。

工作原理： 这个新模型为每个概念分配了一个特定的“座位”（即鸟的一个部位）。“喙检查器”只能看“喙座”，“尾巴检查器”只能看“尾巴座”。
结果： AI 不再能通过观察翅膀来回答关于喉部的问题。规则被硬编码进了系统中。

3. “高斯先验” (The Gaussian Prior) —— 粗略地图

这是最难的部分：如何在不向 AI 展示数千张画着喙或尾巴标记点的图片的情况下，告诉它哪个座位是“喙座”，哪个是“尾巴座”？

问题所在： 如果你只是给 AI 12 个空座位，它可能会感到困惑。它可能会认定 1 号座是尾巴，2 号座是喙，反之亦然。由于鸟类看起来都差不多，AI 会陷入混乱的循环。
解决方案： 作者给了 AI 一张非常粗略、模糊的地图，告诉它事物“通常”在哪里。他们说：“喙通常靠近左上方，而尾巴通常靠近右下方。”
神奇之处： 他们不需要为每一只鸟都提供这张地图。他们只需要从极少数的例子中（在 11,000 张图片中仅需 27 张）计算出喙的平均位置。这张粗略的地图就像一个指南针，打破了这种困惑，告诉 AI：“从这里开始寻找喙。”一旦 AI 开始寻找，它就能自学掌握精确的细节。

结果：发生了什么？

研究人员在包含 200 种鸟类的数据库上进行了测试。

准确率： 新模型的识别准确率与旧的完全监督模型相当（约 89% 的准确率）。
诚实度： 但它在指向正确身体部位方面表现得更好。旧模型正确指向的概率仅为 36%，而这个新模型达到了 52% 到 60%。
无需监督： 更棒的是，他们发现了一种无需完全移除围绕鸟类画框的方法。通过使用一种数学技巧（PCA）来猜测鸟的位置，他们获得了几乎同样高的准确率，甚至拥有更好的指向技能（接近 60%），而且完全不需要人类在训练图像上绘制方框或点。

核心结论

这篇论文表明，通过给 AI 一个简单的“观察地图”，你可以让其决策过程变得更加诚实和可靠，而无需教会它每一张图像中每个身体部位的确切位置。这就像是通过给学生一份教材章节的粗略大纲来教他们考试，而不是强迫他们背诵每一个页码。其结果是一个不仅能得到正确答案，而且清楚地知道自己“为什么”得到答案的模型。

技术摘要：通过部分因子化注意力实现空间对齐的概念瓶颈模型

问题陈述
概念瓶颈模型（CBMs）通过在进行最终类别预测之前预测人类命名的属性（概念）来提供可解释性。然而，在细粒度识别任务（如区分鸟类品种）中，标准的 CBM 会遭受“空间对齐差距”的问题。虽然概念层在数值上是可解释的，但每个概念头的空间注意力是未受约束的。一个命名为特定身体部位（例如“喉部颜色”）的头部，可能会通过关注另一个区域（例如“翅膀斑块”）来满足训练损失，如果该区域与目标属性强相关。因此，模型的决策并未扎根于所命名的解剖结构，这使得测试时的干预变得不可靠，因为干预作用于头部所附着的任何区域，而非预期的解剖区域。

方法论：部分因子化 CBM (PF-CBM)
所提出的 PF-CBM 将空间对齐作为前向图的一个结构属性进行强制执行，该架构构建在冻结的 DINOv3 ViT-B/16 Vision Transformer 之上。该架构由三个主要部分组成：

学习到的前景门控（Learned Foreground Gate）： 一个小型 MLP 对 DINOv3 补丁特征进行操作以生成每个补丁的 Logit。这些 Logit 通过 Sigmoid 函数生成一个门控 $g \in [0, 1]$ 。该门控以对数空间加法形式注入到注意力 Logit 中。它通过回答一个补丁是否属于物体的二元问题，来抑制背景补丁，而无需逐图像的分割掩码。
部分路由属性头（Part-Routed Attribute Heads）： 模型采用了一组 $P=12$ 个可学习的部分查询（part queries），这些查询与补丁特征进行交叉注意力计算。一个固定的、编译时确定的“概念-部分”映射将 $C=312$ 个属性路由到特定的部分标记（part token）上。例如，“喉部颜色”属性仅从“喉部”标记中读取特征。这种结构性约束防止了概念访问其分配的解剖区域之外的特征。
可学习的高斯空间先验（Learnable Gaussian Spatial Prior）： 为了防止部分查询由于置换对称性而坍缩到共同位置（例如物体质心），在注意力 Logit 中添加了一个可学习的二维高斯先验。该先验的均值 ( $\mu_p$ ) 和标准差 ( $\sigma_p$ ) 是可训练参数。至关重要的是， $\mu_p$ 是利用数据集中各部分的平均关键点位置在离线阶段进行初始化的。这种初始化仅需要极少量的标注关键点，且在训练或推理期间不需要逐图像的监督。

训练目标
模型分两个阶段进行训练，以平衡对齐能力与分类能力：

阶段 1： 冻结分类器 ( $w_{cls}=0$ )。使用概念损失（确定性加权的二元交叉熵）、前景损失、对齐损失（如果存在关键点）以及鼓励注意力集中的熵项来训练门控、部分注意力及属性头。
阶段 2： 解冻分类器 ( $w_{cls}=1$ )。模型进行联合训练，但对于对齐组件（门控、注意力、头部）的学习率比分类器低一个数量级。这可以防止分类压力覆盖掉阶段 1 中建立的空间对齐状态。

关键结果
在 CUB-200-2011 数据集上的实验表明：

性能 vs. 对齐性： 带有空间先验的模型实现了与全监督基线相当的分类准确率（Top-1 准确率为 88.85% vs. 88.95%），同时显著提高了指向准确率（52.6% vs. 36.4%）。
移除逐图像监督： 通过使用基于 PCA 衍生的前景目标替换边界框监督，并结合高斯先验，该模型移除了所有逐图像监督。这种“无框（box-free）”配置达到了 88.85% 的 Top-1 准确率和 59.7% 的指向准确率。
标注效率： 对关键点比例的扫描显示，仅使用 0.5% 的训练集（约 27 幅图像）进行高斯先验初始化，就足以达到与使用全数据集相当的性能。
结构的必要性： 完全移除空间先验会导致指向准确率坍缩至 2.9%，证实了先验对于打破置换对称性和强制部分专业化是必不可少的。
干预行为： 顺序训练（在训练分类器之前冻结概念编码器）会产生一个更校准的瓶颈，具有更低的“概念-类别”互信息，尽管这以牺牲 Top-1 准确率为代价。这证实了联合训练允许模型将判别信号打包进概念量级中，而顺序训练则强制执行更严格的对命名概念的依赖。

意义与主张
本文声称 PF-CBM 成功弥合了可解释性与空间对齐之间的差距。通过将对齐作为一种结构性保证而非优化结果，该模型确保了概念预测与特定的解剖区域相绑定。这使得可靠的测试时干预成为可能，即纠正一个概念（例如“喉部颜色”）可以直接通过正确的解剖证据影响预测。

该工作通过强制执行硬性的、结构化的路由映射，将其与软对齐方法（如使用最优传输的 DOT-CBM）区分开来。虽然这需要预定义的部件词汇和“概念-部分”映射，但它提供了一种易于审计的机制，其中概念与图像区域之间的对应关系是由设计固定的。作者指出，该方法最适用于具有单一物体且处于规范姿态的领域（如鸟类、面部），并且在完全移除任何数据集层面的空间信号的情况下实现部分身份的消除仍然是一个尚未解决的挑战。