🤖 machine learning

Uncertainty Estimation for Heterophilic Graphs Through the Lens of Information Theory

本文提出了一种针对异质图的新颖不确定性估计方法，通过利用信息论证明不同深度的节点表征提供不同的信息，从而在联合节点嵌入空间上构建了一种最先进的后验密度估计器，该方法在异质图上优于现有方法，同时保持了在同质图上的性能。

原作者： Dominik Fuchsgruber, Tom Wollschläger, Johannes Bordne, Stephan Günnemann

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Dominik Fuchsgruber, Tom Wollschläger, Johannes Bordne, Stephan Günnemann

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《通过信息论视角进行异质图的不确定性估计》的解释，将其拆解为简单概念并辅以日常类比。

核心难题：当“朋友”对你撒谎时

想象一下，你正在猜测一个人的最爱电影是什么。在机器学习领域，我们通常使用图神经网络（GNN）。你可以把 GNN 想象成一名侦探，它通过询问嫌疑人的邻居来破案。

旧方法（同质性）： 通常，这些侦探假设“物以类聚，人以群分”。如果你的邻居们都喜欢动作片，侦探就会假设你可能也喜欢。当朋友们彼此相似时，这种方法非常有效。
新问题（异质性）： 但如果你身处一个每个人都很不同的群体中呢？也许你的邻居们分别喜欢恐怖、喜剧和科幻，而你却喜欢动作片。在这种“异质”设定下，旧侦探会感到困惑。如果他们只是简单平均邻居们的说法，可能会猜出“动作片”（因为这是中间值），或者完全迷失方向。他们会对错误的答案表现得过度自信，这在高风险情境下是危险的。

这篇论文提出了一个问题：我们该如何教会这些 AI 侦探，当邻居们让他们感到困惑时，说出“我不确定”？

核心思想：倾听完整的故事，而不仅仅是标题

作者们观察了这些 AI 模型如何逐层处理信息。他们使用了信息论（关于消息承载多少“新闻”的数学）中的一个概念。

接力赛的类比：
想象 AI 模型是一场接力赛。

第一层： 跑步者从直接邻居那里接过接力棒（数据）。
第二层： 跑步者将其传递给下一个人，后者添加了来自“邻居的邻居”的信息。
第三层： 依此类推。

在旧的“相似朋友”世界里，接力棒只是反复传递相同的信息。当它到达终点时，信息清晰但重复。

在“不同朋友”（异质）的世界里，接力棒在每一步都会改变含义。

第一层可能告诉你关于直接邻居的喜好。
第二层可能告诉你你与那位邻居之间的对比。
第三层可能揭示出整个群体的某种模式，而这是仅从一步之遥无法看到的。

错误所在： 大多数现有方法只查看最后一位跑步者（最后一层）来决定 AI 是否自信。他们丢弃了早期跑步者留下的笔记。

论文的发现： 在令人困惑（异质）的情况下，早期的跑步者实际上掌握着独特且至关重要的信息，而最后一位跑步者可能已经遗忘或平滑了这些信息。如果你只倾听最后一位跑步者，你就会错过全貌。

解决方案：JLDE（“群聊”方法）

作者提出了一种名为**联合潜在密度估计（JLDE）**的新方法。

隐喻：
JLDE 不是只问最后一位跑步者“你确定吗？”，而是要求接力队中的每个人写下他们的笔记，将所有笔记合并成一个巨大的“群聊”，然后问道：“这个合并后的故事看起来像我们以前见过的故事吗？”

如果合并后的故事看起来像训练数据中的典型故事，AI 就会感到自信。
如果合并后的故事很奇怪，或者与它见过的任何事物都不匹配，AI 就会说“我不确定”，并将其标记为不确定。

他们使用了一种简单的“最近邻 K 值”方法（基本上就是“找出 5 个最相似的过往故事，看看这个有多接近”）进行了测试。

他们的发现

它在混乱的图上有效： 在邻居各不相同的图上（如"Amazon Ratings"或"Roman Empire"数据集），JLDE 在识别 AI 何时感到困惑或正在查看异常数据方面表现最佳。它优于所有其他方法。
它不会损害简单图： 在邻居确实相似的图上（如"CoraML"），JLDE 的表现与现有最佳方法一样好。它不需要被“修复”或“平滑”才能工作；它自然地处理了这两种类型的图。
“所有层”规则： 实验证明，查看网络的所有层（而不仅仅是最后一层）是获得准确不确定性的关键。当他们尝试仅使用最后一层时，在混乱图上的性能显著下降。

一句话总结

要判断当邻居令人困惑时 AI 是否自信，你不应该只听它的最终结论；你需要结合其思考过程中每一步的独特见解，才能获得全貌。

技术摘要：通过信息理论视角评估异配图的不确定性

问题陈述

图神经网络（GNN）的不确定性估计已引起广泛关注，然而大多数现有方法严重依赖于同配性（homophily）假设——即节点倾向于连接到同类节点。这些方法通常采用图扩散或平滑核来传播不确定性，这在语义相似的节点相互连接时是有效的。然而，在异配性（heterophilic）场景下，节点主要连接到不同类别的邻居，这些方法的表现会恶化。在异配图上依赖平滑来传播（不）确定性缺乏充分理由，导致在分布外（O.O.D.）检测和不确定性量化方面表现不佳。此外， prior work 尚未系统研究当同配性假设被违反时不确定性估计器的行为，也缺乏一种专门针对异配图且避免显式利用同配性的方法。

方法论

作者从信息理论视角出发，通过分析消息传递神经网络（MPNNs），理解潜在节点表示如何随层数演变。

1. MPNNs 的信息理论分析

受信息瓶颈原理（Tishby & Zaslavsky, 2015）的启发，作者对 MPNNs 中的信息流进行了建模。与处理独立同分布（i.i.d.）数据的标准神经网络不同（后者中数据处理不等式 DPI 规定关于目标变量的信息在层间只能减少或保持不变），作者为 MPNNs 推导出了数据处理等式（Data Processing Equality, DPE）。

关键理论见解包括：

信息恢复与增益：在 MPNNs 中，关于节点标签 $Y$ 的信息不仅包含在节点自身的特征中，还分布在以该节点为中心的子图（ego-graph）中。作者将 ego-graph $G_v$ 分解为基于跳数距离的互不相交集合 $G_v^{(i)}$ 。
等式：第 $i+1$ 层表示所持有的互信息 $I(Y; Z^{(i+1)})$ 可分解为加性形式：
$I(Y; Z^{(i+1)}) = I(Y; Z^{(i)}) - \Delta_{(-)}^{(0:i)} + \Delta_{(+)}^{(i+1)}$
其中， $\Delta_{(-)}^{(0:i)}$ 表示关于现有 ego-graph 的信息损失（或恢复），而 $\Delta_{(+)}^{(i+1)}$ 表示来自新的 $i+1$ 跳邻居的信息增益。
异配性与同配性：
- 在同配性图中，相邻节点具有相似的语义。因此，随着深度增加，信息增益 $\Delta_{(+)}^{(i+1)}$ 会减小，因为更深层无法提供关于目标的新语义信息。
- 在异配性图中，相邻节点表现出不同的语义。信息增益 $\Delta_{(+)}^{(i+1)}$ 可能很大且为正，这意味着更深层的潜在嵌入包含了浅层嵌入所缺失的、关于数据分布的独特且不同的信息。

2. 联合潜在密度估计（JLDE）

基于异配图需要联合考虑所有节点表示以捕捉完整数据分布这一发现，作者提出了联合潜在密度估计（Joint Latent Density Estimation, JLDE）。

机制：JLDE 不是像 i.i.d. 设置中那样从单一最终层估计密度，也不使用图扩散，而是将 MPNN 的所有层的潜在嵌入（ $Z^{(0)}, Z^{(1)}, \dots, Z^{(L)}$ ）进行拼接。
实现：在此拼接后的联合嵌入空间上应用一个简单的后验 K 近邻（KNN）密度估计器。认知不确定性 $u_{epi}(v)$ 计算为节点联合表示在训练分布内的负对数似然。
设计原则：该方法不通过后处理（例如平滑）显式利用同配性，且适用于任何 MPNN 骨干网络。

主要贡献

理论框架：本文推导了 MPNNs 的数据处理不等式的新型类比，证明了在异配性设置中，由于不同距离的邻居提供的独特语义信息，信息量可以随模型深度增加而增加。
基于信息的同配性定义：作者引入了基于互信息的同配性定义，区分了与目标标签相关的共享信息和无关噪声。
JLDE 方法：他们提出了联合潜在密度估计，这是一种简单的后验设计原则，联合建模所有潜在表示。该方法首次明确针对异配图的量化不确定性，且不依赖同配性假设。
实证验证：该方法在多个数据集、分布偏移和骨干架构上进行了评估，展现了最先进的性能。

实验结果

作者在六个数据集（四个异配图：Amazon Ratings, Roman Empire, Chameleon, Squirrel；两个同配图：CoraML, PubMed）上评估了 JLDE，并测试了三种类型的分布偏移：留类（Leave-Out-Class, LoC）、近特征扰动和远特征扰动。

异配性表现：在异配数据集上，JLDE 始终在认知不确定性（通过 O.O.D. 检测的 AUC-ROC 和 AUC-PR 衡量）方面达到最先进水平。它显著优于依赖图扩散的方法（如 GPN, GEBM）或标准集成方法，特别是在深层信息至关重要的场景中。
同配性表现：在同配数据集上，JLDE 与其他模型无关估计器的表现具有竞争力，并且尽管未使用利用同配性的后处理，其表现仍与专为同配性设计的方法相当。
消融研究：实验证实，对于异配图，仅使用最终层或平均各层密度所得到的结果，不如联合拼接所有层的效果。相反，在同配图上，联合方法的表现与仅使用最终层相当，验证了在这些设置中深层不增加新信息的理论。
骨干网络无关性：该方法作为后处理应用于各种骨干网络（Res-GCN, Res-GAT-Sep, Res-GATE, GPRGNN），在不同架构中 consistently 排名为最佳或次优估计器。

意义与主张

本文声称提供了超越同配性假设、推进图不确定性估计的理论基础。通过揭示在异配图中每一层嵌入都提供关于数据分布的独特信息，作者确立了一个关键设计原则：不确定性估计必须联合考虑所有节点表示。

作者强调他们的工作：

填补了文献空白，此前没有工作明确针对异配图进行不确定性量化。
证明了当同配性假设被违反时，现有估计器往往失效。
提供了一种简单、有效且模型无关的解决方案（JLDE），无需复杂的架构更改或显式的同配性利用即可达到最先进结果。
有助于开发可靠且可信的 AI，特别是在高风险领域，理解非同配数据中的模型不确定性至关重要。

作者对研究范围保持谦逊，指出虽然 JLDE 改善了认知不确定性，但它并未固有地改善偶然不确定性（aleatoric uncertainty）或模型校准，这些仍是未来工作的正交方向。他们还推测，更复杂的密度模型可能会在其简单的基于 KNN 的实现基础上进一步提升性能。