SOFIA: Quantifying Sampling-Induced Explanation Instability in Graph Neural Networks
该论文介绍了 SOFIA，这是一个证明了图神经网络在训练阶段的邻居采样会导致事后解释产生显著的、依赖于结构的这种不稳定性，从而揭示了这些输出往往反映的是任意超参数而非真实的结构节点属性的框架。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代数字世界中，庞大的信息网络将从社交媒体好友到化学分子的一切事物连接在一起。为了理清这些错综复杂的网络，科学家们使用了一种被称为图神经网络（Graph Neural Network）的人工智能。这些系统通过观察一个特定项目及其直接相连的项目来学习，从其周围的即时环境中收集线索以做出预测。然而，随着这些网络增长到包含数百万甚至数十亿个连接，计算机不可能同时查看所有的连接。为了解决这个问题，工程师们使用了一种被称为“邻居采样”（neighbor sampling）的捷径。计算机不再观察整个邻域，而是被训练为一次只看一小撮随机的连接。这使得训练过程变得快速且易于管理，但也提出了一个隐约而令人不安的问题：如果计算机在学习过程中从未见过全貌，我们还能信任它后来为自己做出的决策所给出的理由吗？
多年来，该领域一直基于这样一个假设，即这些解释是稳定的，揭示了节点邻居真实且不变的重要性。一项新研究挑战了这一信念，认为人工智能给出选择的理由可能并不那么取决于数据的结构，而更多地取决于在训练期间哪些邻居恰好被随机选中。由 Prabu N P 及其同事领导的这项研究背后的研究人员，旨在精确测量这种训练捷径在多大程度上扭曲了我们所依赖的解释。他们构建了一个框架，用两个相同系统的版本进行对比：一个是通过看到每一个连接来进行学习的系统，另一个是使用标准的、仅观察随机样本的捷径进行学习的系统。通过让这两者相互博弈，他们可以观察解释是否仅仅因为训练方法的改变而发生了变化。
团队在三个非常不同的现实世界网络上测试了他们的方法，以观察结果如何随之变化。其中一个是引用网络，其中的论文大多链接到同一领域的其他论文，在这种设置下，连接较少且具有相似性。另一个是庞大的社交媒体图谱，其中的用户拥有数百或数千个连接；第三个网络中的连接经常连接不同类型的人，从而创造出一种更混乱的混合状态。在那个庞大的社交网络中，捷径极其激进，在训练视图中排除了近 90% 的真实邻居。在那个规模较小、更统一的网络中，捷径移除的连接非常少。研究人员随后要求经过训练的系统解释其决策，并对比了它们产生的重要的邻居列表。
结果揭示了鲜明的差异。在那个庞大的社交网络中，由于训练过程不得不忽略大部分可用信息，采样系统产生的解释与全邻域系统产生的解释几乎完全不同。两者之间的契合度下降到了远低于正常计算机随机性所预期的水平。事实上，研究发现，对于这个网络而言，在训练视图中被遗漏的具体邻居，是预测解释是否不稳定的最强预测因子。当系统在没有看到其最重要的邻居时进行训练，它会自信地指向其他的邻居，从而创造出一个看起来完整但却建立在盲点之上的解释。这表明，在大型系统中，“决策的理由”往往是训练捷径的产物，而非对数据结构的真实反映。
在其他网络上，情况则有所不同。在那个捷径移除极少邻居的较小引用网络中，解释保持了稳定和一致，这表明这种不稳定性并非普遍存在的缺陷，而是高度取决于排除了多少信息。在第三个具有更复杂和混合结构的网络中，即使排除了较少的邻居，不稳定性也会出现。这是因为在这样的混合网络中，剩余的少数邻居承载了更重的负载，因此失去哪怕是很小一部分邻居也会导致解释发生巨大的偏移。研究人员证实，无论如何训练，这些系统在预测方面都是同样准确的，这证明了这种不稳定性并不是模型出错的迹象，而是一种特定的训练方法带来的副作用。
这项工作引入了一种新的衡量现象的方法，即一种诊断工具，它可以告诉用户某个特定决策的解释是否受到了训练捷径的污染。它表明，人工智能解释的可信度不仅取决于模型的准确性，还取决于在其受教育过程中所做的隐形选择。如果一个系统被训练去忽略其周围的大部分环境，它的解释将不可避免地反映出那种局限的视角，从而可能误导任何试图理解该系统运作方式的人。研究结论指出，随着这些网络变得越来越大并需要更激进的捷径，我们必须更加谨慎，不要假设算法给出的理由就是全部真相，而要意识到那可能只是一个由它碰巧看到的随机邻居所塑造的故事。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。