🤖 machine learning

In Defense of Information Leakage in Concept-based Models

本文挑战了认为基于概念的模型中的信息泄露本质上是不利的这一传统观点，认为在概念不完整的现实场景中，一种“良性泄露”对于同时实现准确性和可干预性实际上是必要的，并提出了一种新的训练目标来优化这种有益的泄露。

原作者： Mateo Espinosa Zarlenga

发布于 2026-06-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Mateo Espinosa Zarlenga

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心思想：为什么“信息泄漏”可能是一件好事

想象一下，你正在试图教一个机器人识别不同种类的鸟类。你给机器人提供了一份需要寻找的“概念”清单，比如“有红色的喙”、“有蓝色的羽毛”或“体型较小”。这就是构建**基于概念的模型（Concept-Based Models, CMs）**的标准方式。

该领域传统的规则一直是：“机器人只能观察你给出的清单。如果它观察了清单之外的任何东西（比如背景中树木的形状），那就是在‘作弊’或‘泄漏’信息，而这是不好的。”

这篇论文认为这个规则是有缺陷的。在现实世界中，你提供的概念清单几乎永远是不完美或不完整的。如果你强迫机器人除了你那份不完美的清单之外什么都不能看，机器人就会变得很笨，并做出错误判断。

作者说：有时，我们需要机器人“泄漏”一点额外的辅助信息，这样它才能变得聪明且准确。 他们称之为**“良性泄漏”（Benign Leakage）**。

类比：侦探与缺失的线索

为了理解其中的原因，我们使用一个侦探类比。

场景：
你雇佣了一名侦探（AI）来破案。你给了他一份特定的线索清单（即“概念”）：泥泞的鞋印、破碎的窗户和丢失的手表。

“严苛”的方法（无泄漏）：
你告诉侦探：“你只能使用这三个线索。如果你看到了玻璃上的指纹或烟味，你必须完全忽略它们，因为它们不在你的清单上。”

问题所在：
如果给侦探的清单是不完整的呢？如果破案的关键其实是“烟味”，但你忘了把它写进清单里呢？
如果侦探严格遵守你的规则，即使他完美地执行了指令，也会无法破案。他对于“规则”是准确的，但对于“工作”却是无用的。

“良性泄漏”的方法：
现在，你告诉侦探：“把这三个线索作为你的主要指南。但是，如果你看到了其他有助于破案的东西（比如烟味），尽管去使用它，只要你仍能用主要线索来解释你的推理过程即可。”

结果：
这位侦探破案的成功率会更高。他仍然在使用你给他的概念，但他不会因为你的清单遗漏了关键信息而陷入瘫痪。

什么是“信息泄漏”？

用论文中的技术术语来说，**信息泄漏（Information Leakage）**是指 AI 的内部“概念”（如“红色的喙”）无意中吸收了关于其他事物（如“是知更鸟”）或最终答案（如“是鸟”）的信息。

旧观点： 这是一种漏洞（Bug）。这意味着 AI 产生了混乱，我们无法信任它的解释。
新观点： 这通常是一种特性（Feature）。在一个我们的概念清单并不完备的世界里，AI 需要从原始数据中抓取额外的信息，以得出正确的答案。

解决方案：“安全网”训练

作者并不仅仅是说“让 AI 作弊”。他们提出了一种特定的训练方法，使得这种“作弊”是安全且受控的。

他们引入了一种名为 $L_{int}$ 的训练方法，它就像一个安全网。其运作方式如下：

测试： 在训练期间，研究人员假装去“修正”AI 的概念。他们说：“好吧，忘掉你认为这只鸟长什么样。现在，让我们强制让‘红色的喙’这个概念为真。现在，你还能正确猜出是什么鸟吗？”
目标： 如果即使在你强制要求概念完美的情况下，AI 仍能正确猜测，这意味着 AI 已经学会了如何有效地利用剩余的信息（即“泄漏的信息”）来填补空白。
结果： AI 学会了将“泄漏”的信息保存在一个安全的地方。它清楚地知道大脑的哪一部分在观察“红色的喙”，哪一部分在观察“烟味”。

为什么这很重要

这篇论文挑战了关于泄漏的三个常见担忧：

担忧： “泄漏会让 AI 无法进行干预（un-intervenable）。”
- 现实： 如果训练得当，你仍然可以通过改变概念来改变 AI 的想法。AI 会根据你的新输入调整其答案，就像人类侦探一样。
担忧： “泄漏会让 AI 无法解释（un-interpretable）。”
- 现实： 作者展示了即使存在泄漏，AI 仍然高度依赖于你给出的概念。它并不会突然开始随机猜测；它只是利用了一点额外的帮助来提高准确性。
担忧： “泄漏总是危险的。”
- 现实： 在一个拥有完美数据的完美世界里，也许如此。但在混乱的现实世界中，试图阻止所有的泄漏会让 AI 变得过于僵化，从而失去实用价值。

总结

这篇论文认为，我们不应该再试图构建那些忽略一切其他信息的“纯粹”概念模型。相反，我们应该构建那些对其局限性保持诚实的模型。

如果你的概念清单是不完整的（这几乎是必然的），你就需要模型“泄漏”一点额外的辅助信息，以保证其准确性。目标不是消除泄漏，而是驯服它，使模型保持准确、有用，并能够听取人类的反馈。

简而言之：不要因为侦探注意到了你没告诉他要看的东西就开除他。相反，教他如何利用这些额外的线索来更好地破案。

技术摘要：为基于概念模型的信息泄漏辩护

问题陈述

基于概念的模型（Concept-based Models, CMs）是旨在将预测建立在人类可理解概念（如“条纹”、“翅膀”）基础上的深度神经网络。领域内的一种流行叙事认为，信息泄漏（即概念表示编码了并非严格归属于其预期语义的信息）本质上是不理想的。这种泄漏通常被分为概念间泄漏（一个概念表示编码了关于其他概念的信息）和任务泄漏（一个概念表示编码了关于下游任务标签 $Y$ 的信息）。

传统观点认为，泄漏会破坏可干预性（通过修改概念输入来纠正预测的能力）和可解释性（仅凭概念重建模型推理的能力）。因此，近期的研究重点在于通过架构约束或正则化来消除泄漏。

然而，作者认为这种严格的观点在理论上是不完备的，且在现实世界中概念不完整性（concept incompleteness）是常态的情况下是适得其反的。在这些场景中，可用的训练概念集 $C$ 通常无法完全描述下游任务 $Y$ （即 $I(Y; X | C) \neq 0$ ）。作者指出，在这种不完整的情况下强制执行严格的非泄漏表示，会阻碍实现高任务准确率，从而导致 CMs 变得不切实际。

方法论

1. 将良性泄漏形式化

论文引入了**良性泄漏（Benign Leakage）**的概念，将其定义为一种在不完整设置下对于准确的 CMs 而言是必要且理想的特定形式的泄漏。如果一个表示 $\hat{C}$ 满足以下两个条件，则表现出良性泄漏：

充分性（Sufficiency）： 该表示保留了所有未被真实概念 $C$ 捕获的标签相关信息。形式上， $I(Y; R | C) \approx I(Y; X | C)$ ，其中 $R$ 是表示的一个残差部分。
局部性（Localization）： 对预测 $Y$ 有用的关于特定概念 $C_i$ 的信息，被定位在表示的一个特定组件 $\bar{C}_i$ 中。形式上， $I(Y; \bar{C}_i | R_i, \hat{C}_{-i}) \approx I(Y; C_i | C_{-i})$ 。

这种分解允许模型通过 $R$ 利用泄漏来提高准确性，同时通过 $\bar{C}_i$ 保持可干预性。

2. 通过 $L_{int}$ 进行优化

为了实现良性泄漏，作者提出了一个新的训练目标—— $L_{int}$ （干预损失）。该损失函数最小化了在对所有概念进行干预（即在训练期间强制其为真实值）时的任务损失：
$L_{int} = \mathbb{E}_{(x,c,y) \sim D} \left[ -\log P_f(y | \hat{C} = g(x | C := c)) \right]$

论文认为，最小化 $L_{int}$ 隐含地鼓励了充分性。在标签预测器是规格明确（well-specified）的假设下，最小化全干预下的负对数似然等价于在给定概念的情况下，最大化残差表示与任务标签之间的互信息。

此外，作者假设由于深度神经网络的简单性偏好（simplicity bias）（SGD 倾向于更简单的假设），最小化 $L_{int}$ 也会隐含地鼓励局部性。对于模型而言，一个更简单的假设是：标签预测器学习依赖于与概念对齐的组件进行特定概念的推理，而不是将概念信息重新编码到残差泄漏中。

3. 实验设置

作者使用 CUB-200 数据集（鸟类）来验证其主张，特别通过对原始 112 个概念进行子采样至 22 个概念（7 组），构建了一个不完整的 CUB 版本（CUB-Incomplete）。他们测试了多种架构，包括：

独立/顺序/联合 CBMs： 具有不同程度泄漏的标准基线。
混合 CBMs（Hybrid CBMs）： 带有旁路通道（残差连接）以显式允许泄漏的模型。
概念嵌入模型（CEMs）与 ProbCBMs： 使用动态嵌入的模型。
黑盒基线： 没有概念对齐损失的 DNN。

关键指标包括任务忠实度（准确率）、概念忠实度（概念预测的准确率）以及可干预性（在测试时提供真实概念后性能提升的情况）。

关键结果

1. 泄漏并不一定会破坏可干预性

与主流叙事相反，作者证明了在不完整设置下，只要经过适当调节，泄漏模型仍可以保持高度的可干预性。

未使用 $L_{int}$ 时： 许多泄漏模型（例如联合 Logit CBMs、带有大型旁路的 Hybrid CBMs）在不完整设置下变得不可干预；即使在纠正概念后，其准确率也不会提高（甚至可能下降）。
使用 $L_{int}$ 时： 当这些相同的泄漏模型使用 $L_{int}$ 正则化器进行训练时，它们重新获得了高度的可干预性。例如，拥有 500 个残差神经元的庞大 Hybrid CBMs 变得与非泄漏的 Independent CBMs 一样具有可干预性，同时保留了显著更高的任务准确率。

2. 良性泄漏在不牺牲可解释性的情况下提高准确率

准确率： 在不完整设置下，使用 $L_{int}$ 训练的模型比非泄漏基线（如 Independent CBMs）实现了显著更高的任务忠实度，因为后者被迫仅依赖于不完整的概念集。
可解释性： 通过代理指标（概念 ROC-AUC 和标签预测器权重分析），作者表明经过良好调节的泄漏模型（如带有 $L_{int}$ 的 Hybrid CBMs）所展现出的“概念-任务”权重结构，在统计学上与非泄漏模型无法区分。用于预测类别的顶层概念与非泄漏模型所使用的概念高度一致，这表明泄漏并未以标准指标能检测到的方式遮蔽模型的推理过程。

3. 不完整性的作用

在完整数据集上的实验表明，泄漏模型在没有 $L_{int}$ 的情况下通常也是可干预的。然而，在不完整设置下，缺乏 $L_{int}$ 会导致泄漏模型出现不可干预的行为。这证实了泄漏的“危害”是依赖于上下文的，并且专门出现在模型未能学习到足够的任务相关信息的表示时。

意义与主张

本文声称要将关于 CMs 中信息泄漏的范式从一种“应被消除的现象”转变为一种“可控制且可利用的现象”。

重构叙事： 作者认为，将泄漏严格视为“不可解释”的观点是不完备的，因为它忽略了在现实世界的实际应用中，泄漏是必要的。他们认为，在这种情况下消除泄漏，实际上是在强迫模型在理论纯粹性与实际收益之间进行权衡，而这种纯粹性并无实际益处。
实际必要性： 论文指出，良性泄漏对于构建既准确又具可干预性的 CMs 是必要的。如果不允许模型通过泄漏来捕获 $I(Y; X | C)$ ，CMs 就无法实现其主要的预测功能。
方法论贡献： 引入 $L_{int}$ 提供了一种简单、与架构无关的正则化方法，它能够实现“良性泄漏”。它将现有的多种机制（如 CEMs 中的随机干预）归纳为特例，并提供了一种统一的方法来训练鲁棒的 CMs。
行动呼吁： 作者呼吁社区停止在没有可证伪标准的情况下对泄漏破坏可解释性做出广泛断言。相反，他们敦促研究人员：
- 在不完整设置下评估 CMs。
- 专注于控制泄漏（局部性和充分性），而非消除泄漏。
- 将 CM 特有的现象与诸如快捷学习（shortcut learning）等通用深度学习失败模式区分开来。

总之，本文断言“泄漏”本身并非本质恶意的；相反，不受控制的泄漏才是问题所在。通过利用 $L_{int}$ 优化充分性和局部性，可以构建出既能利用泄漏在不完整设置下实现高准确率，又能保留核心可解释性和可干预性属性的 CMs。