🤖 AI

The Confusion is Real: GRAPHIC -- A Network Science Approach to Confusion Matrices in Deep Learning

本文介绍了 GRAPHIC，这是一种与架构无关的方法，它利用网络科学分析源自神经网络中间层的混淆矩阵，以系统性地可视化并量化整个训练过程中的类别混淆动态、线性可分性以及数据集问题。

原作者： Johanna S. Fröhlich, Bastian Heinlein, Jan U. Claar, Hans Rosenberger, Vasileios Belagiannis, Ralf R. Müller

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Johanna S. Fröhlich, Bastian Heinlein, Jan U. Claar, Hans Rosenberger, Vasileios Belagiannis, Ralf R. Müller

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图理解一名学生是如何学会在相册中识别不同动物的。通常，你只是看他们的最终考试成绩：“他们答对了 90%！”但这并不能告诉你那 10% 答错的原因，也无法说明他们是因为猫和狗长得相似而混淆了二者，还是仅仅在瞎猜。

这篇论文介绍了一种名为 GRAPHIC 的新工具（其名称代表一个关于图与混淆的冗长而华丽的首字母缩略词）。将 GRAPHIC 想象成一张**“混淆地图”，它让你能在学生学习过程中**窥探其大脑内部，而不仅仅是在结束时。

以下是其工作原理，使用简单的类比说明：

1. “秘密测试”（线性分类器）

深度学习模型（即“学生”）拥有许多隐藏层，用于处理信息。我们无法轻易看到它们在这些中间层中的思考过程。

技巧：研究人员提取模型在这些中间层中写下的“笔记”，并将其交给一位非常简单、诚实的老师（称为线性分类器）。
测试：这位老师问道：“如果我只看到这些笔记，我能区分‘比目鱼’和‘人’吗？”
结果：这生成了一个混淆矩阵。它是一个网格，精确显示模型将一物误认为另一物的频率。例如，它可能显示模型有 20% 的概率将“比目鱼”误认为“人”。

2. 将网格转化为“社交网络”

GRAPHIC 不再仅仅展示枯燥的数字电子表格，而是将这个网格转化为一张社交网络图。

节点（点）：每个类别（如“苹果”、“熊”或“汽车”）都是地图上的一个点。
边（线）：如果模型经常混淆两件事，就会有一条线将它们连接起来。
- 粗线表示混淆非常严重（例如，模型经常将“比目鱼”认为是“人”）。
- 细线表示很少混淆。
- 箭头显示错误的方向（例如，“人”很少被叫作“比目鱼”，但“比目鱼”经常被叫作“人”）。

3. 他们发现了什么？

通过观察这个“社交网络”随着模型学习而发生的变化，研究人员发现了一些令人惊讶的现象：

“第一天的人气王”：在训练的最初一秒钟内，少数随机类别（如“电脑键盘”或“海洋”）成为了“枢纽”。模型几乎对所有事物都猜测这些名称。这并不是因为模型聪明，而仅仅是因为照片展示的顺序。这就像如果老师先给你看一张键盘的照片，你可能会因为固守这个念头，而对接下来的 10 张照片都猜是“键盘”。
形成小团体：随着训练的进行，这些点开始根据真实含义聚集成“小团体”。“动物”开始聚在一起，“树木”也开始聚在一起。模型正在学习概念，而不仅仅是记忆像素。
“比目鱼”与“人”之谜：地图显示了一条连接“比目鱼”和“人”的强线。为什么？研究人员查看了照片，意识到数据集存在偏差。许多“比目鱼”的照片展示了渔民举起他们的渔获。模型学到了：“如果我看到一个人拿着鱼，那就是比目鱼。”这并非视觉相似性，而是来自糟糕数据集的上下文线索。
“婴儿”、“男孩”与“女孩”的模糊界限：模型在婴儿、男孩和女孩之间非常困惑。研究人员让 31 个人对这些相同的照片进行标注，结果人类也混淆了！ 照片太模糊，或者年龄界限太不明确。模型并不“愚蠢”，只是数据集中的标签很混乱。
“树叶颜色”偏差：模型将“枫树”与“橡树”混淆。为什么？枫树的照片大多是在秋天拍摄的（红色/黄色树叶），而橡树则是绿色的。模型学会了通过季节来识别树木，而不是树木的种类。

4. “Transformer"的惊喜

研究人员测试了两种类型的模型：一种标准模型（ResNet）和一种更新、更复杂的模型（视觉 Transformer）。

标准模型：随着学习深入，它在整个过程中都更擅长线性地分离事物（就像将苹果与橙子分开）。
Transformer：起初它变得更擅长分离事物，但在早期阶段，它实际上在分离事物方面变得更差，随后才再次变好。这就像 Transformer 必须“遗忘”一些简单规则才能学习更复杂的规则，而标准模型则只是不断将规则层层叠加。

总结

GRAPHIC 就像是一台显微镜，用于观察神经网络所犯的“错误”。它不再仅仅说“模型的准确率为 90%"，而是绘制出一张谁在混淆谁的地图。这有助于研究人员看清模型是否在学习正确的内容，或者是否只是养成了坏习惯（例如，因为背景中有渔民而将鱼与人混淆），或者数据集本身是否存在问题（例如，婴儿照片模糊不清）。

它将人工智能的“黑盒”转化为可见的混淆社交网络，揭示出：有时这种混淆是真实的，而有时则是数据的过错。

技术摘要：GRAPHIC——深度学习混淆矩阵的网络科学方法

问题定义

可解释人工智能（XAI）对于解决深度学习中的可靠性问题至关重要，特别是在医疗诊断和自动驾驶等高风险领域。然而，现有的事后可解释性方法面临显著局限：

局部方法（如 Grad-CAM、LIME）聚焦于单个样本，使其易受标注噪声和采样偏差的影响，且无法提供模型行为的全局视图。
基于概念的方法（如 TCAV）依赖于人工定义的概念，这些概念可能与网络实际学到的抽象表示不一致。
全局结构方法通常关注特征空间的组织，但缺乏一种系统化的方法来可视化随时间变化的类别级混淆动态。
现有的混淆矩阵可视化（如 ConfusionFlow）通常局限于最终层和收敛后的模型，忽略了学习动态的演变过程及中间层的行为。

目前存在一个特定的空白，即构建和分析神经网络（NN）隐藏层的混淆矩阵（CMs），以理解类别可分性和混淆在训练过程中是如何演变的。

方法论：GRAPHIC

作者提出了GRAPHIC（基于混淆的预测与隐藏层可解释性的图表示与分析），这是一个与架构无关的框架，将类别级混淆视为网络科学问题。

1. 生成隐藏层的混淆矩阵

由于隐藏层不直接产生类别预测，GRAPHIC 采用线性分类器（LCs），这些分类器是在中间层的特征向量上训练而成的。

训练策略：LCs 使用自定义的交叉熵损失函数进行训练，该函数整合了真实标签（ $y$ $y$ ）和被分析神经网络的预测（ $\tilde{y}$ $\tilde{y}$ ）：
$L(z^{(k)}, y, \tilde{y}) = \lambda L_{CE}(z^{(k)}, y) + (1 - \lambda) L_{CE}(z^{(k)}, \tilde{y})$
- $\lambda = 1$ （真实标签）：衡量该层特征的内在线性可分性。
- $\lambda = 0$ （预测标签）：衡量模型当前的“理解”和训练动态。LC 被训练以复现神经网络的预测，从而在不依赖真实标签的情况下提供关于类别学习的见解。
CM 构建：将训练好的 LCs 应用于未见过的特征向量（来自训练集的保留部分或验证集），以生成归一化的混淆矩阵 $C$ 。

2. 图表示

混淆矩阵被解释为有向图的邻接矩阵：

节点：代表数据集中的类别。
边：代表来自类别 $i$ 的样本被预测为类别 $j$ 的概率。
加权：邻接矩阵定义为 $C_{ad} = C - C \odot I_N$ ，隔离错误预测（非对角线元素）以聚焦于混淆。

3. 网络科学分析

作者将这些图应用于标准的网络科学工具：

社区检测：使用**模块度（ $Q$ ）**最大化（通过有向 Louvain 算法）来识别“混淆社区”（CCs）——即频繁相互混淆的类别组。这揭示了无需预定义标签的涌现语义结构。
同配性：计算同配系数，以衡量学习到的混淆结构与预定义分组（例如“自然”与“人造”或数据集超类）的吻合程度。
时间演变：跨训练轮次和网络层分析这些图，以追踪学习动态的演变。

主要贡献

新颖的分析方法：GRAPHIC 是首个与架构无关的方法，它利用在真实标签和预测标签上训练的 LCs 生成并分析中间层的混淆矩阵。它将这些矩阵解释为有向图，以利用网络科学工具。
数据集与标注诊断：该方法识别了被大量类别所掩盖的隐藏数据集问题、标注歧义和偏差。这些发现已通过人类研究得到验证。
线性可分性趋势的观察：该研究提供了关于中间层线性可分性的实证证据，特别观察到视觉 Transformer 的早期解码器中可分性的下降，这与 CNN 中观察到的单调增加形成对比。

实验结果

实验在ResNet-50（CNN）和EffVit（视觉 Transformer）上进行，使用了CIFAR-100和Tiny ImageNet数据集。

1. 混淆社区的演变

训练早期：少数主导类别充当“混淆枢纽”（例如 ResNet-50 中的“电脑键盘”、“海”、“负鼠”）。具体的枢纽高度依赖于训练数据的顺序，而不仅仅是模型初始化。
收敛：随着训练的进行，具有语义意义的社区（例如动物、树木、人类）开始涌现。组间混淆减少，模块度增加。
层间差异：在 ResNet-50 中，更深层显示出更清晰的分组和更高的模块度。在 EffVit 中，早期解码器最初获得线性可分性，但随着训练的进行失去了这种可分性，这表明与 CNN 相比，其学习动态有所不同。

2. 数据集问题与偏差

GRAPHIC 成功可视化了特定的数据集伪影：

叶色偏差：枫树和橡树经常被混淆。分析显示，模型依赖季节性叶色（枫树为红/黄色，橡树为绿色），而非结构特征。修改测试图像中的叶色纠正了预测。
上下文偏差：在“比目鱼”和“人”之间发现了一种强烈的、非互惠的混淆。这归因于数据集中钓鱼者手持比目鱼的图像，导致模型将上下文（拿着鱼）与“人”这一类别关联起来。
标注歧义：“男孩”、“女孩”和“婴儿”等类别形成了一个紧密的混淆社区。一项人类研究（31 名参与者）证实，由于图像质量和年龄/性别定义界限，这些类别即使对人类来说也 inherently 具有歧义性。
Tiny ImageNet 问题：识别出了“敞篷车”与“跑车”、“虎斑猫”与“埃及猫”之间的混淆，揭示了数据集中的标签重叠和定义不一致。

3. 线性可分性

ResNet-50：线性可分性（通过 LC 在真实标签上的准确率衡量）随深度和训练轮次单调增加，与先前的文献一致。
EffVit：虽然较晚的解码器显示出可分性的增加，但早期解码器在初始上升后表现出线性可分性的下降。这表明视觉 Transformer 可能以不同于 CNN 的方式学习局部性和全局上下文，可能在早期阶段“遗忘”线性可分性以形成更复杂的表示。

意义与主张

该论文声称，GRAPHIC 通过数据驱动的结构化方法揭示“真实混淆”，为神经网络的学习方式提供了新视角。

可操作的见解：通过可视化类别级混淆，GRAPHIC 有助于识别标准准确率指标所忽略的数据集偏差和标注错误。
架构理解：它揭示了 CNN 和 Transformer 在学习动态方面的根本差异，特别是关于中间层线性可分性的稳定性。
信任与可靠性：该方法提供了可解释的可视化，可指导数据集设计并提高模型可靠性，这对于医疗成像等高风险应用至关重要。
局限性：作者承认在多个层和轮次训练 LCs 会带来计算开销，尽管他们建议采用早停和重用 LCs 等策略来缓解这一问题。他们还指出，解释观察到的混淆的语义含义仍然需要人工分析。

总之，GRAPHIC 弥合了局部可解释性与全局结构分析之间的差距，利用网络科学为训练过程和数据集完整性提供了系统化的、类别级的视图。