💻 computer science

Do Deep Ensembles Actually Capture Uncertainty in Graph Neural Networks?

本文揭示，深度集成方法无法有效捕捉图神经网络中的不确定性，因为独立训练的模型会收敛至功能上相同的预测，导致认知坍缩，从而使集成带来的益处仅限于稳定点预测，而非改善不确定性估计。

原作者： Pedro C. Vieira, Pedro Ribeiro, Viacheslav Borovitskiy

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Pedro C. Vieira, Pedro Ribeiro, Viacheslav Borovitskiy

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对该论文的解读。

核心问题：“群体智慧”在图人工智能中有效吗？

想象你正在尝试解决一个难题。在人工智能（AI）领域，为了获得更好的答案，一个流行的技巧是询问一组专家（即“集成”），而不是只问一个。你会用相同的数据训练五个不同的 AI 模型，但使用不同的随机种子启动它们（就像给它们不同的初始猜测），然后让它们对最终答案进行投票。

在标准 AI 任务（例如识别照片中的猫）中，这种“群体智慧”效果极佳。专家们往往对“为什么认为这是猫”持有不同看法，而这种分歧有助于团队意识到：“嘿，我们对这个案例并不是 100% 确定！”这被称为捕捉不确定性。

本文提出的问题是： 当 AI 面对图（Graphs）时，这种“群体智慧”的技巧是否同样有效？

什么是图？ 不要把图想象成图表，而要把它想象成连接关系的地图。它可以是社交网络（通过友谊连接的人）、道路地图（通过街道连接的城市），或者是一个分子（通过化学键连接的原子）。用于处理这些数据的 AI 被称为图神经网络（GNN）。

简短回答：不，群体只是镜子

研究人员发现，对于图神经网络而言，“群体”技巧失效了。

当他们训练五个不同的 GNN 作为一个团队工作时，这个团队并没有表现得像一群多元化的专家。相反，它们最终都以完全相同的方式思考和行动。

类比： 想象你请五位不同的厨师来煮同一道汤。在普通厨房（标准 AI）里，他们可能会使用不同的香料或技巧；如果他们都一致认为汤太咸了，那你就确定汤确实太咸了。
图的现实： 在这项研究中，这五位厨师最终使用了完全相同的食谱、完全相同的盐量以及完全相同的技巧。他们不仅仅是意见一致；他们简直是克隆体。因为他们如此相似，这个群体无法告诉你它们是否对味道不确定。它们只是给你一个单一的、自信的答案，即使这个答案是错的。

他们发现了什么？

该论文分解了三个主要发现：

1. “认知崩溃”（群体思维）
作者为这种现象创造了一个术语：认知崩溃（Epistemic Collapse）。

认知（Epistemic） 意为“知识”。
崩溃（Collapse） 意为“瓦解”。
基本上，群体不确定性中的“知识”部分消失了。尽管这五个模型是分开训练的，但它们都收敛到了完全相同的解决方案。因为它们彼此之间没有分歧，系统就无法衡量自己有多少不确定之处。“群体”没有提供任何额外的安全网。

2. 既然它们都一样，为什么表现还有所提升？（噪声过滤）
你可能会问：“如果它们都一样，为什么论文说这个群体有时得分会稍微高一点？”
答案是优化噪声。

类比： 想象你站在一艘摇晃的船上，试图射中飞镖靶的靶心。有时你脱靶是因为船在晃动，而不是因为你瞄准技术差。
如果你让船上的五个人各投一次飞镖，然后取它们位置的平均值，这种“晃动”（噪声）就会相互抵消，平均点会更接近靶心。
论文发现，GNN 集成在预测确切数值（点预测）方面略有提升，仅仅是因为对五个相似模型取平均值平滑了训练过程中的随机误差。但这并没有让它们更擅长知道何时自己是不确定的。

3. “凸性”之谜（为什么它们如此相似？）
为什么五个不同的模型最终会思考同一件事？

在标准 AI 中，可能解的“景观”就像崎岖的山脉，有许多不同的山谷。不同的模型会困在不同的山谷里，从而产生多元化的观点。
作者推测，对于图神经网络而言，这个景观实际上更像一个平滑的单一碗状结构。无论你从哪里开始滚动一个球（训练一个模型），它最终都会滚到碗底完全相同的位置。
他们通过混合模型的“大脑”（权重）来测试这一点。如果模型处于不同的山谷，混合它们应该会得到一个更差的模型。但由于它们都趋向于同一个功能点，混合它们并没有带来太大帮助。这表明这些网络的“消息传递”特性迫使它们陷入一种单一的、狭隘的思维方式。

结论

该论文得出结论：深度集成（Deep Ensembles）并不是图人工智能的灵丹妙药。

如果你正在构建一个需要知道何时不确定的系统（例如自动驾驶汽车或医疗诊断工具），仅仅训练五个图神经网络并取平均值是行不通的。它们只会给你五个相同的、自信（但可能错误）的答案副本。

与其浪费资金和计算资源去训练五个相同的模型，论文建议你最好只训练一个模型，挑选那个碰巧表现最好的，然后使用它。“群体”并没有增加任何真正的价值，因为这个群体实际上并不具备多样性。

技术摘要：深度集成是否真的能捕捉图神经网络中的不确定性？

问题陈述

深度集成（Deep Ensembles, DEs）是深度学习中不确定性量化（UQ）的标准方法，尤其在计算机视觉领域，它们依赖于独立训练模型之间的分歧来捕捉认知不确定性。然而，其在图结构数据（特别是消息传递图神经网络，GNNs）上的有效性主要基于假设，尚未经过严格测试。虽然轶事证据和有限研究表明 DEs 在图上可能失效（例如 PEMS 道路网络基准），但缺乏跨多样化图任务的系统性评估。核心问题在于：GNN 的结构属性以及消息传递机制的本质，是否阻碍了 DEs 生成必要的模型多样性，从而无法有效量化不确定性。

方法论

作者对应用于 GNN 的标准深度集成进行了全面的实证评估。其方法论包括：

数据集：包含七个多样化图数据集的基准套件，涵盖节点分类（Cora、Citeseer、Tolokers2）、节点回归（Artnetviews、Chameleon）和图回归（QM9-5%）。
模型：标准消息传递架构（GCN 和 GATv2），作为深度集成进行训练（通常 $M=5$ 个模型），采用不同的随机权重初始化。对于回归任务，模型包含专用的方差头以捕捉偶然不确定性。
基线：与单个 GNN 进行比较，同时对比“平凡”基线（预测源自训练标签的常数高斯分布），在特定情况下还与贝叶斯 GNN 或图高斯过程进行比较。
指标：
- 主要指标：负对数似然（NLL），用于评估联合预测性能及不确定性。
- 次要指标：点估计指标（回归任务的 RMSE、分类任务的准确率）和校准指标（期望校准误差 - ECE）。
- 分解：利用回归任务的方差分解和分类任务的熵分解，显式分离偶然不确定性和认知不确定性分量。
- 多样性分析：通过分析集成成员之间的分歧来调查“认知崩溃”现象，并通过“模型汤”（权重平均）测试权重空间与函数空间的凸性。

主要贡献

系统性基准测试：本文首次提供了针对 GNN 标准深度集成的多任务、多复杂度大规模系统性基准，超越了孤立的案例研究。
认知崩溃的识别：作者通过实证展示了一种称为“认知崩溃”的现象，即无论初始化如何，独立训练的 GNN 都会收敛到高度相似的预测函数。这种功能多样性的缺失，使得集成捕捉认知不确定性的主要机制（分歧）失效。
NLL 增益的解构：研究表明，GNN 集成中观察到的 NLL 边际提升几乎完全源于点预测的稳定性（减少优化噪声），而非不确定性校准的真实改善或对认知不确定性的捕捉。
凸性分析：通过权重空间平均实验，作者表明虽然 GNN 的权重空间仍高度非凸（模型位于不同的权重盆地），但函数空间似乎表现出某种形式的凸性。不同的权重解诱导了几乎相同的行为，这表明消息传递架构本身限制了假设空间。

结果

提升有限：在大多数数据集上，深度集成在 NLL 方面仅比单个 GNN 提供边际提升（例如，分类任务的似然增益为 0.1% 至 1%，而计算机视觉中约为 20%）。
校准退化：在若干案例中（如 Chameleon、QM9-5%），集成实际上恶化了校准（ECE），同时仅略微提高了点准确率，表明 NLL 的增益并非源于更好的不确定性估计。
认知崩溃：不确定性分解显示，与偶然不确定性相比，GNN 集成中的认知不确定性微乎其微（通常接近零）。认知不确定性与偶然不确定性的比率始终较低，这与认知不确定性占主导地位的计算机视觉基准形成鲜明对比。
模型汤失效：对集成成员的权重进行平均（“模型汤”）会导致性能低于单个模型。这证实了模型并未共享权重空间中简单的凸盆地；相反，它们找到了映射到同一函数的不同权重。
PEMS 基准：研究重新审视了 PEMS 道路网络基准，确认 GNN 集成在不确定性量化方面的表现可能比平凡基线差得离谱，这种失败归因于消息传递与集成机制之间的相互作用。

意义与主张

本文结论认为，深度集成在计算机视觉中的成功并不能无缝迁移到图机器学习领域。作者主张，标准深度集成对于消息传递 GNN 是低效的，因为它们无法捕捉有意义的认知不确定性。

低效性：训练和部署集成会产生巨大的计算和内存成本，然而集成仅仅充当减少优化噪声的方差平滑器，而非提供多样化的不确定性估计。
实际影响：单个“幸运”模型（通过验证集选择）往往能匹配甚至超越完整集成的性能。因此，对于标准 GNN 而言，集成的多重成本是不合理的。
理论洞察：研究结果表明，消息传递机制施加了一种根本性的架构偏差，使模型行为同质化，导致即使在非凸权重空间中也存在函数凸性。这挑战了“仅靠随机初始化就足以生成图领域基于集成的 UQ 所需多样性”的假设。

本文提出，要在图学习中实现高质量的不确定性量化，必须超越对标准消息传递架构的朴素集成，可能需要开发新方法以明确解决功能多样性缺失的问题。