NICE: Scale-Stable Perturbations for Graph Neural Network Explanations via Noise Corruption

在人工智能领域，出现了一类被称为图神经网络（Graph Neural Networks）的新兴系统。它们并非你手机中常见的图像识别工具；相反，它们旨在理解以连接网络形式存在的数据，例如化学化合物中的分子、社交网络或交通路线。为了做出决策，这些系统会沿着节点之间的链路传递信息，就像谣言在人群中传播一样。由于这些系统极其复杂，其内部逻辑通常是一个纠缠不清的“黑箱”，因此科学家们开发了“解释器”（explainers）。这些工具旨在观察一个最终决策，并指出哪些特定的连接或信息片段是最重要的。这些工具的标准工作方式是玩一场“如果……会怎样”的游戏。它们提取一个特定的连接，将其移除或静默，然后询问人工智能：“你的答案会改变吗？”如果答案发生了剧烈变化，该工具便假设这个连接至关重要。这种方法多年来一直是行业标准，但它依赖于一个脆弱的假设：即移除一个连接的行为不会在无意中破坏整个系统，且这种破坏与连接本身无关。

来自中南大学、香港理工大学和格里菲斯大学的一个研究小组发现，这种标准方法存在根本性的缺陷。他们发现，目前这些解释器静默连接的方式引入了一种隐藏的扭曲，使得人工智能的答案变得不可靠。当解释器试图“关闭”网络中的一条链路时，它通常会将流经该链路的信息乘以一个接近于零的数字。虽然这成功地停止了特定信息的传递，但也缩小了整个网络中流动的总信息量。研究人员将这种现象称为“尺度漂移”（Scale Drift）。想象一下一场对话，你要求一个人向朋友低声诉说一个秘密，但在此过程中，你却不小心让房间里的所有人说话的音量都降到了正常水平的一小部分。秘密可能消失了，但整个对话也变得微弱且失真。人工智能接收到这种缩减后的信号，之所以改变主意，可能不是因为那个秘密很重要，而仅仅是因为整个房间变得太安静了，以至于听不清任何东西。研究人员证明，这种漂移会随着信息在网络中每走一步而累积，这意味着网络越深，人工智能的内部状态就会离现实越远，从而导致解释变得不可信。

为了解决这个问题，研究人员提出了一种新的测试人工智能的方法，避免了信号缩减。他们没有简单地静默一个连接，而是引入了一种称为“噪声污染”（Noise Corruption）的方法。与其将音量调低至零，不如用一个具有相同整体强度或“响度”的随机、混乱的版本来替换清晰的信息。这就像是将一句清晰的话替换为一段与原声同样响亮的静电噪音。信息被破坏了，但流经网络的能量保持稳定。通过保持音量恒定，研究人员确保了人工智能答案的任何变化都是由于特定含义的丢失，而不是由于系统整体功率的崩溃。他们围绕这一理念构建了一个新的框架，并将其命名为 NICE。该系统首先学习一个边界，即需要恢复多少信息才能让人工智能回到其原始决策，然后计算哪些连接对这种恢复的贡献最大。

这种新方法的实验结果非常显著。在涉及化学分子和其他复杂结构的八个不同基准测试中，新方法表现优于现有的最佳工具。它能够更准确地识别出关键的连接，将寻找正确答案的能力平均提高了近 9%，优于之前的最佳方法。更重要的是，研究人员证实了他们的新技术成功消除了“尺度漂移”问题。当他们将旧的静默连接法与他们的新噪声添加法进行比较时，旧方法始终会将人工智能的内部状态推离其正常运行范围，而新方法则能使人工智能的内部状态保持在接近修改前行为的状态。这表明，多年来，许多生成的人工智能解释可能具有误导性，并不是因为人工智能错了，而是因为用于解释它的工具在无意中破坏了它们试图理解的系统。通过修复我们扰动数据的方式，研究人员为观察这些复杂网络的心智提供了一种更真实可靠的方法。