🤖 machine learning

Overcoming Shortcut Learning in Graph Neural Networks through Active Explanation Guidance

本文介绍了 XIGL，这是一个与架构无关的、主动的人机回环框架，它通过针对模型解释的用户反馈来识别并纠正捷径学习，从而提高图神经网络在分布外任务上的可靠性。

原作者： Taraneh Younesian, Steve Azzolin, Antonio Longa, Francesco Ferrini, Vincenzo Marco De Luca, Stefano Teso

发布于 2026-08-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Taraneh Younesian, Steve Azzolin, Antonio Longa, Francesco Ferrini, Vincenzo Marco De Luca, Stefano Teso

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人识别不同类型的树木。你给它看了成千上万张橡树、松树和枫树的照片。但这里有个陷阱：在你的训练照片中，每一棵橡树都恰好站在一个红色的信箱旁边，而每一棵松树都靠近一个蓝色的信箱。这个机器人很聪明，但它也容易走捷径。它并没有学习橡树真正的样子（它的叶子、树皮和形状），而是学习了一个“捷径”：“如果我看到红色的信箱，那就是橡树！”这在你的训练室里表现得非常完美。但一旦你把机器人带到真实的森林里，那里不存在信箱，机器人就会感到困惑并彻底失败。

这就是图神经网络（Graph Neural Networks, GNNs）的世界——一种旨在理解看起来像连接网络（如社交网络、分子或交通系统）的数据的人工智能。这些网络非常强大，但它们有一个坏习惯：寻找捷径。它们会抓住那些在训练数据中恰好与答案匹配的模式，但实际上并不是得出答案的真正原因。在现实世界中，当数据发生变化且捷径消失时，这些模型会变得不可靠。科学家们面临的一个重大问题是：我们如何阻止这些 AI 模型依赖捷径，并强迫它们学习“正确的方式”？

“XIGL”解决方案：人类参与的侦探

这篇论文介绍了一种聪明的策略，称为 XIGL（可解释交互式图捷径消除）。你可以把 XIGL 想象成不是一个只会布置更多作业的老师，而是一个通过询问机器人来弄清楚它为什么做出某个判断，并随后纠正其逻辑的侦探。

通常情况下，当 AI 出错时，我们只是告诉它：“答错了，再试一次。”但对于捷径问题，机器人可能会因为错误的原因给出正确的答案，因此它永远不会知道自己是在依赖捷径。XIGL 通过改变游戏规则，要求机器人解释它的推理过程。它会观察这种“解释”——即一张显示机器人正在关注哪些数据部分的地图。如果机器人说：“我选择这棵树是因为那个红色的信箱，”XIGL 就会将其标记为一个问题。

这里的魔力在于：研究人员意识到，要求人类专家去纠正机器人的解释既昂贵又缓慢。你不会想让一个人去检查每一张照片。因此，他们加入了一层主动学习（Active Learning）。这就像是一个智能过滤器，它会说：“嘿，机器人对这张特定的图片真的很困惑，或者它对这里的某个奇怪捷径过于自信了。让我们先把这个例子交给人类专家看看。”通过只针对最棘手的案例寻求帮助，他们在节省时间和金钱的同时，仍然教会了机器人忽略红色的信箱，转而观察叶子。

它是如何运作的：“消除学习”的过程

这是一个发现与纠正的循环过程：

侦探检查： AI 查看一个图（由连接的点组成的网络）并做出预测。它同时生成一个解释，高亮显示它认为重要的点。
捷径识别器： 主动学习算法扫描这些解释。它寻找那些 AI 既非常不确定，或者更危险的是，对错误的事情（比如关注信箱）表现得非常自信的情况。
人类修正： 系统挑选出最令人困惑或捷径特征最明显的例子，并询问人类专家：“嘿，AI 正在看信箱。你知道那是错误的。它实际上应该看哪些部分？”
教训： 人类的修正被反馈给 AI。AI 随后会在数学层面受到“惩罚”，因为它看向了错误的点，并因看向了正确的点而获得“奖励”。它有效地“消除学习”（unlearns）了那个捷径。

实验结果表明

研究人员在两个不同的实验场测试了这个想法。一个是人造的世界，由有颜色的点和形状组成（称为 ER-color）；另一个是使用手写数字转化为图的真实世界挑战（称为 CPatchMNIST）。在这两种情况下，他们都通过设置特定的颜色或模式作为答案的虚假捷径来干扰训练数据。

结果非常令人振奋。当他们让 AI 在没有帮助的情况下自主学习时，它主要依赖于捷径，并在测试数据发生变化时失败了。然而，当他们使用 XIGL 时：

它奏效了： AI 模型学会了忽略虚假捷径，并专注于解决问题所需的实际特征。
它很高效： 他们不需要向人类专家展示每一个例子。通过使用他们的智能“主动学习”过滤器来挑选最佳示例，他们实现了几乎与标注所有示例相当的效果，但付出的努力却少得多。
它击败了基础方法： 他们这种基于“解释”（AI 在想什么）而非仅仅基于“最终答案的不确定性”来寻求帮助的新策略，通常比旧方法效果更好。

有趣的是，论文指出，虽然这种方法非常有效，但它并不是解决一切问题的万能药。成功取决于是否有一个能够识别捷径的专家，并且该方法表明，关注模型“为什么”出错，往往比仅仅知道它“错了”更为强大。

简而言之，XIGL 表明，如果我们希望我们的 AI 在现实世界中是可靠的，我们不能仅仅喂给它更多的数据。我们必须与它进行对话，指出它的捷径习惯，并引导它完成学习真相的艰苦工作。

技术摘要：通过主动解释引导克服图神经网络中的捷径学习

问题陈述
图神经网络（GNNs）经常遭受“捷径学习”（shortcut learning）的影响，即模型利用伪相关性（混杂因素）而非因果模式来获得高分布内（in-distribution）准确率。这些捷径——例如特定的节点特征、元数据或简单的输入统计数据——使得模型在训练数据上表现良好，但在数据分布发生偏移（分布外/out-of-distribution）时无法泛化。现有的解决方案通常需要访问多领域数据或大量的观测数据，而这些数据并不总是可获得的。此外，虽然 GNN 解释可以揭示模型对捷径的依赖，但由于需要专家标注，获取整个数据集的地面真值（ground-truth）解释在成本上是极其昂贵且耗时的。

方法论：XIGL
作者提出了 XIGL（可解释交互式图捷径消除，xExplanatory Interactive Graph shortcut unLearning），这是一种与架构无关的人机回环（human-in-the-loop）策略，旨在通过迭代地移除捷径依赖来消除 GNN 的混杂因素。该框架基于两个核心见解：(1) GNN 解释可以暴露对捷径的依赖；(2) 专家用户可以通过对这些解释提供纠正性反馈，从而引导模型进行因果推理。

核心方法论包含三个组成部分：

解释引导的损失函数：
XIGL 利用输入梯度作为节点重要性的代理。为了惩罚对无关（伪造）节点（ $V_{ir}$ ）的依赖，作者引入了一个损失函数 $L = L_{ce} + \lambda L_e$ 。
- $L_{ce}$ 是标准的交叉熵损失。
- $L_e$ 最小化无关节点输入梯度与总输入梯度的比例。
- 分母中包含一个归一化项，以防止所有梯度都坍缩为零的平凡解。
- 使用地面真值解释向量 $e$ （其中对于相关节点 $e_j=1$ ，对于无关节点 $e_j=0$ ）来对该惩罚进行加权。
主动学习流水线：
考虑到为所有数据标注解释是不切实际的，XIGL 采用了具有固定标注预算 $B$ 的主动学习（AL）策略。
- 初始化： 模型在带有专家纠正解释的小规模初始图集上进行训练。
- 迭代选择： 在每次迭代中，主动学习查询策略从未标记池中选择最具信息量的图批次。
- 纠正与微调： 专家对选定的图进行标注（指出模型不应该依赖哪些节点），然后使用解释引导的损失函数对模型进行微调。
查询策略：
论文提出了两种新型的基于解释的查询策略，并将其与标准的基于预测的基准策略进行了对比评估：
- 最大解释熵（MaEE）： 选择模型解释（输入梯度）最不确定（在各节点间分布均匀）的图。
- 最小解释熵（MiEE）： 选择模型对其解释最为自信的图。该策略利用了神经网络的“简单性偏差”（simplicity bias），假设高度自信的解释往往过度拟合了伪造的捷径，因此最需要纠正。
- 基准策略： 最大分类熵（MaCE）和随机采样。

主要贡献

XIGL 框架： 一个集成人类反馈于 GNN 解释中的交互式流水线，用于主动消除捷径依赖。
新型查询策略： 引入了基于解释的主动学习策略（MaEE 和 MiEE），这些策略根据模型推理的质量（而非仅仅是预测的不确定性）来确定实例的优先级。
效率： 证明了通过使用极小比例于被动监督（全数据集标注）所需的标注预算，即可实现高性能的去混杂。

实验结果
实验在两个数据集上进行：ER-color（合成数据集）和 CPatchMNIST（现实世界扩展数据集），涵盖四种 GNN 架构（GCN, GIN, GraphSAGE, GAT）。

被动监督： 当提供整个数据集的解释时，与未进行解释监督的模型相比，XIGL 显著提高了在无混杂测试集上的泛化能力。例如，在 ER-color 上，未经监督的模型表现接近随机水平，而经过被动监督的模型显示出实质性的准确率提升。
主动监督： 主动学习策略通常优于随机采样。
- 在 CPatchMNIST 上，基于解释的策略（MaEE 和 MiEE）在所有架构中均一致优于基于预测的策略（MaCE）。
- MiEE 被证明是表现最稳定且最高效的策略，这表明针对模型对其（潜在伪造的）推理过于自信的实例进行处理是非常有效的。
- 虽然由于标注预算较小，主动学习实现的准确率略低于被动学习，但两者之间的差距相对较小，且主动学习使用的训练数据不足 20%。

意义与主张
本文声称 XIGL 提供了一条在不需要多领域数据的情况下，提高 GNN 在分布外场景下可靠性的实用路径。通过利用“解释能自然暴露捷径依赖”这一事实，该方法允许专家用户高效地“消除”伪造模式。作者强调，通过将专家精力集中在反馈收益最大的实例上，该方法降低了标注成本和认知成本。

研究结论认为，基于解释的主动学习是一个极具前景的去混杂方向，特别是那些针对模型自身推理自信度的策略（MiEE）。作者指出，未来的工作将探索自解释 GNN、解释忠实度对去混杂成功的影响，以及将这些方法应用于更广泛的现实世界数据集和捷径类型。

“XIGL”解决方案：人类参与的侦探

它是如何运作的：“消除学习”的过程

实验结果表明

技术摘要：通过主动解释引导克服图神经网络中的捷径学习

类似论文