🤖 machine learning

Explainable Concept Generation through Vision-Language Preference Learning for Understanding Neural Networks' Internal Representations

本文提出了一种基于强化学习的偏好优化（RLPO）算法，该算法能够实现从文本描述到概念图像集的自动化生成，从而克服了在解释神经网络内部表示时，人工收集概念所存在的劳动密集且易出错的局限性。

原作者： Aditya Taparia, Som Sagar, Ransalu Senanayake

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Aditya Taparia, Som Sagar, Ransalu Senanayake

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个超级聪明的机器人（神经网络），它能分辨出一张照片里是斑马还是老虎。但问题在于，这个机器人是一个“黑盒”。当你问它：“为什么你觉得那是斑马？”它只会给你一个人类无法理解的数学答案。

为了解决这个问题，科学家通常尝试用“概念”来解释机器人的思维。与其说“第402号像素是绿色的”，不如说“因为它有条纹”。

旧方法：猜测食谱

传统上，为了教机器人识别什么是“条纹”，人类必须亲自出门，寻找数百张关于条纹的照片，然后手动喂给机器人。

问题所在： 这就像是通过品尝蛋糕来猜测其中的秘密配料。你可能会猜是“糖”，但也许秘密其实是“小豆蔻”。人类很难猜透机器人学到的所有隐藏规则。我们可能会忽略掉这样一个事实：机器人认为“斑马”不仅与条纹有关，还与“泥泞的草地”或“奔跑的速度”相关。

新方法：“魔力画笔”（RLPO）

这篇论文介绍了一种名为 RLPO（基于强化学习的偏好优化）的新方法。你可以把它想象成一支魔力画笔，它能学习如何画出机器人正在思考的那些精确图像，而无需人类预先设定词汇。

以下是它的工作步骤：

1. 画家与评论家

画家（Stable Diffusion）： 这是一个可以根据文本描述绘制任何内容的计算机程序。
评论家（机器人的大脑）： 这是我们试图理解的那个机器人。它不说人类语言，它只说“分数”。
游戏规则： 画家尝试根据一个随机词汇（如“条纹”）画出一幅画。评论家观察这幅画并评价：“这幅画是否有助于我理解为什么我把那张图像判定为斑马？”
- 如果这幅画有助于理解，它会给出高分。
- 如果这幅画无关紧要，它会给出低分。

2. 反馈循环（“偏好”部分）
系统并不是由人类告诉画家“不，那不是条纹”，而是利用评论家的分数作为老师。

画家画出一幅画。
评论家进行评分。
系统会说：“好的，这个分数不错。让我们尝试让下一幅画看起来更像这一幅。”
随着时间的推移，画家变得越来越擅长绘制正是机器人所关注的内容，即使机器人关注的是人类可能根本想不到的奇怪事物。

3. “强化学习”（教练）
想象一位教练在告诉画家：“你离目标更近了！试着把注意力放在背景而不是动物身上。”系统会自动调整画家的“大脑”（其权重），以找到描述机器人想法的最佳词汇。这就像玩电子游戏，玩家（系统）不断尝试不同的动作，直到找到获胜策略。

他们发现了什么？

当他们把这支“魔力画笔”用于训练识别斑马的机器人时，它不仅仅画出了条纹。它还发现了并画出了：

条纹（显而易见的特征）。
奔跑的动态（机器人观察到了背景中的树木，使得斑马看起来正在奔跑）。
泥土/草地（机器人关注着地面）。

为什么这很酷？

人类漏掉了： 当研究人员询问人类工程师猜测机器人正在看什么时，人类大多猜的是“条纹”。他们漏掉了“奔跑”和“泥土”这些概念。而“魔力画笔”自动发现了它们。
它不限于图片： 论文还表明这套方法也适用于文本。如果你有一个阅读电影评论的机器人，这种方法可以生成（如“有帮助的”或“耐心的”）词汇，来解释为什么机器人认为某条评论是正面的。

核心结论

这篇论文旨在构建一种工具，能够自动将机器人的秘密数学思维转化为人类可以理解的图像和文字。它让我们不再需要靠猜来了解机器人在想什么，而是让机器人通过一个智能的、自我纠错的绘画机器，“展示”出它最喜欢的概念。

一个小瑕疵： 论文指出，“魔力画笔”的效果取决于它开始时的初始图像。如果你给它一个糟糕的起点，它可能会偏离方向。但总的来说，与用我们的大脑去猜测相比，这是一种更直观地窥探“黑盒”内部的方法。

技术摘要：通过视觉-语言偏好学习实现可解释概念生成

问题陈述

理解深度神经网络（DNN）的内部表示对于模型改进和监管评估至关重要。虽然基于概念的解释方法（如使用概念激活向量的测试，即 TCAV）通过将高层视觉概念（例如“条纹”）与模型决策联系起来，提供了具有人类可解释性的见解，但它们面临一个显著的瓶颈：人工概念策展（manual concept curation）。

现有方法要求从业者手动猜测并收集候选概念图像集。这一过程既费时费力，又容易忽略关键概念，且受限于人类的认知偏差。此外，其他通过从测试图像中直接提取概念（例如通过分割）的“检索”方法，往往无法捕捉高层抽象，往往只能产生目标类别的图像块（例如斑马的一个局部块），而非驱动分类的基础特征（例如条纹）。目前缺乏能够自动生成多样化、高层级且真正对特定 DNN 决策过程至关重要的概念的方法，且无需人工干预。

方法论：基于强化学习的偏好优化 (RLPO)

作者提出了 RLPO 框架，它将概念集的创建重新定义为一个图像生成问题。RLPO 不再依赖检索或人工策展图像，而是使用由深度强化学习引导的生成模型来合成能够最大化 TCAV 分数的概念图像。

核心组件

生成模型 (Stable Diffusion)： 系统利用预训练的文本到图像模型 (Stable Diffusion v1-5) 根据文本提示词生成概念图像。
深度强化学习 (DQN)： 深度 Q 网络 (DQN) 控制生成过程。
- 动作 ( $a_t$ )： 从预定义的列表中选择一个种子提示词（通过视觉问答模型提取）。
- 状态 ( $s_t$ )： 从前一个提示词生成的偏好概念图像。
- 奖励 ( $r_t$ )： 根据生成图像的 TCAV 分数进行计算。
偏好优化 (RLPO)： 与依赖人类排序的标准偏好优化不同，RLPO 使用 TCAV 分数 作为偏好信号。系统比较两组生成的图像（ $G_1$ 和 $G_2$ ）；TCAV 分数较高的那一组被视为更优。
通过 LoRA 进行微调： 为了引导生成模型产生更相关的概念，系统采用了低秩自适应 (LoRA)。根据偏好反馈更新 Stable Diffusion 模型的权重（ $w_{t+1} \leftarrow w_t + \lambda ab$ ），从而迭代地优化模型，使其生成的图像能触发特定的神经元激活。
动态奖励缩放： 引入了一个缩放因子 $\xi_t$ 来随时间调整奖励，确保智能体在从“代理状态”（低 TCAV）向“可解释状态”（高 TCAV）演进的过程中获得适当的反馈。

核心贡献

自动化概念生成： 本文引入了 RLPO，这是一种能够自动“生成”与神经网络决策过程相关的概念的方法，绕过了需要人工猜测或检索的需求。
发现非直觉概念： 该方法成功识别了人类或基于检索的方法难以预见的多种多样概念（例如，对于斑马分类器，不仅是“条纹”，还包括背景元素如“泥土”或“奔跑中的”树木）。
全面的验证： 作者提供了定性和定量证据（计算指标和人类调查），证明 RLPO 能有效揭示内部网络表示。
模块化与通用性： 该框架设计具有模块化特征，允许更换诸如生成模型之类的组件。作者展示了其在计算机视觉之外的应用，将其扩展到了 NLP 情感分析任务。

实验结果

该方法在多个训练于 ImageNet 的分类器（GoogleNet, InceptionV3, ViT, Swin）以及训练于 CelebA 数据集的 ResNet-18 和训练于 IMDB 的 TextCNN 上进行了评估。

搜索策略： RLPO 优于 $\epsilon$ -greedy 搜索策略，表现出更高的熵和更好的动作空间探索能力（表 1）。
评分机制： 使用 TCAV 进行偏好反馈（RLPO-XAIF）在执行时间和计算成本方面优于人类反馈（RLPO-HF）和 AI 反馈（RLPO-AIF），同时能提供特定于模型的解释（表 2）。
概念多样性与新颖性：
- 探索差距 (EG)： 人类调查显示，人类能识别的概念与 RLPO 生成的概念之间存在显著差距。对于门外汉而言，检索类方法的 EG 为 6.54%，而 RLPO 的 EG 高达 91.54%，表明 RLPO 找到了人类通常不会考虑到的概念（表 3）。
- 多样性： 生成的概念与基于检索的方法相比，具有更低的余弦相似度和更高的欧氏距离，证实了它们代表的是抽象特征而非图像块（表 4）。
验证：
- C-Deletion (概念删除)： 从输入图像中移除生成的概念（例如“条纹”）会导致模型准确率显著下降，验证了其重要性（图 6）。
- 工程师效用： 在对 19 名机器学习工程师的研究中，94.7% 的人认为 RLPO 的解释有助于他们更好地理解模型，84.2% 的人从中获得了新见解。工程师经常会错过 RLPO 识别出的重要概念（如“奔跑”或“泥土”）。
偏差检测： 应用于“金发”与“非金发”分类器时，RLPO 揭示了模型严重依赖“女性面孔”概念，凸显了训练数据中的性别偏差。
NLP 通用性： 该框架被成功应用于生成用于情感分析的词汇同义词，展示了跨领域的适用性。

意义与主张

论文声称 RLPO 解决了当前基于概念的 XAI 方法的一个根本局限：对概念选择依赖人类直觉。通过将概念创建建模为一个通过强化学习优化的生成问题，作者证明了自动阐述驱动神经网络决策的多样化、高层级概念是可能的。

作者将这项工作定位为以下用途的工具：

改进模型： 工程师可以使用生成的概念（例如，识别出模型关注老虎的背景“模糊”纹理）来微调模型，并减少对伪相关性的依赖。
理解偏差： 该方法可以揭示训练过程中学到的、人类观察者不易察觉的不良偏差。
通用性： 该方法不仅限于视觉领域，也可以适配到 NLP 等其他模态。

作者承认了局限性，指出生成概念的质量取决于初始种子提示词和生成模型的预训练数据，这可能会引入自身的偏差。他们建议未来的工作可以涉及整合领域专家偏好，以进一步使生成的解释符合特定应用的需求。