⚡ electrical engineering

Weight Space Correlation Analysis: Quantifying Feature Utilization in Deep Learning Models

本文引入了权重空间相关性分析（Weight Space Correlation Analysis），这是一种通过衡量分类头之间的对齐程度来量化深度学习模型中特征利用率的方法，从而验证在不存在人工偏差的情况下，用于自发性早产的医学影像模型是依赖于临床相关信号而非混杂元数据。

原作者： Chun Kit Wong, Paraskevas Pegios, Nina Weng, Emilie Pi Fogtmann Sejer, Martin Grønnebæk Tolsgaard, Anders Nymark Christensen, Aasa Feragen

发布于 2026-02-05

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Chun Kit Wong, Paraskevas Pegios, Nina Weng, Emilie Pi Fogtmann Sejer, Martin Grønnebæk Tolsgaard, Anders Nymark Christensen, Aasa Feragen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大问题： “小抄”陷阱

想象一下你正在参加一场很难的历史考试。你努力学习了，但你也注意到一个奇怪的模式：每当试卷是用蓝色墨水打印时，答案就是“A”；每当用红色墨水打印时，答案就是“B”。

你其实并不了解历史知识。相反，你开始根据墨水的颜色进行猜测。因为老师一直沿用这个模式，你在练习测试中拿到了满分。但当你参加那场用绿色墨水打印的正式考试时，你却惨败了。

在医学 AI 的世界里，这被称为快捷学习（Shortcut Learning）。

目标： AI 本应通过观察超声图像中的解剖结构来诊断疾病（如早产）。
快捷方式： AI 可能会无意中学习到：“如果图像来自X 型扫描仪型号，那么患者很可能很健康，”或者“如果图像侧边有文字，那就是某种特定类型的扫描。”
危险： AI 并没有在看宝宝，它在看“墨水颜色”（扫描仪型号或医院标志）。如果你把这个 AI 移动到一个使用不同扫描仪的新医院，它可能会失败，因为它赖以生存的“小抄”不再适用了。

新工具：“权重空间相关性”（WSC）分析

本文作者想要回答一个非常具体的问题：仅仅因为 AI “看到”了那张小抄，它是否真的利用它来进行决策？

以往的方法只能说：“嘿，AI 仅通过观察图像就能猜出扫描仪的型号。”但这并不能证明 AI 是利用这个猜测来进行临床诊断的。

作者发明了一种名为**权重空间相关性（Weight Space Correlation, WSC）**的新方法。其工作原理如下（使用类比）：

类比：厨师与食材

想象 AI 是一位试图烹饪特定菜肴（临床诊断，如“早产”）的厨师。

食材是图像中的特征（宝宝的解剖结构、组织纹理）。
食谱是 AI 的内部逻辑（其“权重”）。

作者想知道：厨师是在使用新鲜蔬菜（真实的医学信号），还是在使用盐罐（扫描仪型号元数据）来决定这道菜的味道如何？

第一步：“味觉测试”（嵌入/Embedding）： 首先，他们检查了厨师是否甚至能“尝出”盐的味道。他们发现，是的，厨师仅通过观察食材就能分辨出使用了哪种盐罐。那个“盐”（扫描仪信息）确实就在碗里。
第二步：“检查食谱”（WSC 分析）： 这是神奇的部分。他们将厨师制作这道菜的**“菜谱”与识别盐罐的“配方”**进行了对比。
- 如果两个配方是完全一致的（高相关性），这意味着厨师在识别菜肴时所使用的思维步骤，与他在识别盐罐时所使用的思维步骤是一样的。这就是快捷学习。 厨师在作弊。
- 如果两个配方是完全不同的（低相关性），这意味着厨师用一套规则处理菜肴，用另一套完全不同的规则处理盐。这是好事。 厨师忽略了盐，而专注于蔬菜。

他们测试了什么

团队通过两种方式测试了这种方法：

1. “假作弊”实验（验证）
他们拿出一个数据集并故意搞乱它。他们确保扫描仪 A 只拍摄头部，而扫描仪 B 只拍摄躯干。

结果： AI 学到了这个快捷方式。当他们运行 WSC 分析时，“身体部位的配方”与“扫描仪的配方”是完美对齐的。该方法成功抓住了 AI 的作弊行为。

2. 现实世界测试（SA-SonoNet）
他们将此方法应用于一个用于预测**自发性早产（sPTB）**的先进真实 AI 模型，该模型基于宫颈超声图像。

问题： 这个现实世界的 AI 是否依赖扫描仪型号或医院 ID 来做出预测？
结果：
- 好消息： 该 AI 预测早产的“配方”与宫颈长度（一个真实的、具有重要医学意义的因素）是高度对齐的。它也与像素间距（一个影响图像质量的技术设置）相符。
- 关键发现： 该 AI 预测早产的“配方”与扫描仪型号是完全不对齐的（解耦的）。
- 结论： 尽管 AI 能够辨别出图像是由哪种扫描仪拍摄的，但它并没有利用该信息来进行诊断。它观察的是真实的医学特征。

为什么这很重要

这篇论文为医学 AI 提供了一次“信任检查”。

在此之前，如果一个 AI 表现出色，我们不知道它是一位天才医生，还是一个盯着墨水颜色看的小偷。
现在，我们有了一个工具可以观察 AI 的大脑内部，并说：“我们检查了你的逻辑。你没有利用扫描仪型号作为快捷方式。你实际上是在观察患者。”

总结

作者创造了一个针对 AI 的数学“测谎仪”。他们证明了，虽然医学图像通常包含有关所用设备的隐藏线索（如扫描仪型号），但一个训练良好的 AI 可以被设计成忽略这些线索，并只专注于真实的医学事实。他们的这种方法证实，他们所测试的特定 AI 是值得信赖的，因为它并不依赖于那张“小抄”。

技术摘要：通过权重空间相关性分析量化特征利用率

问题陈述
深度学习模型在医学影像领域容易受到“捷径学习”（shortcut learning）的影响，即模型依赖于混杂元数据（例如扫描仪型号、采集协议）而非真实的临床信号。虽然先前的研究已经证明，此类混杂信息往往被编码在图像嵌入（embeddings）中（例如 Gichoya 等人，2022；Glocker 等人，2023），但仍存在一个关键空白：仅仅在嵌入空间中存在某一特征，并不足以证明模型在最终预测中主动利用了该特征。现有的方法（如分析嵌入分布或生成反事实测试集）并未直接解决分类头是否利用了这些混杂因素的问题。本文旨在解决一个根本问题：模型的决策边界是否主动与临床无关的因素对齐？

方法论：权重空间相关性（WSC）分析
作者提出了一种权重空间相关性（WSC）分析法，这是一种通过衡量主要临床任务与辅助元数据任务之间的分类头对齐程度，来量化特征利用率的可解释方法。该方法分为三个步骤：

线性表示： 该方法将线性分类头的权重 ( $W$ ) 视为作用于潜在嵌入空间的“注意力向量”。对于一个具有 $C$ 个类别的任务，权重矩阵 $W \in \mathbb{R}^{C \times d}$ 定义了每个类别的决策方向。
投影至数据流形： 为了确保比较是在有意义的维度上进行的，分类器权重被投影到内在的数据流形上，使用的是主成分分析（PCA）。作者提取前 $k$ 个主成分（强制要求至少 50 个，并捕捉 99% 的方差）以形成投影矩阵 $P$ 。权重被转换为 $W' = W P^\top$ 。这一步过滤掉了正交的、无信息性的维度。
量化对齐： 该方法计算主要任务（ $W'_A$ ）与辅助元数据任务（ $W'_m$ ）的投影权重向量之间的余弦相似度。临床任务与元数据任务（例如扫描仪类型）的决策边界之间的高相关性，可作为捷径学习的定量代理指标，表明模型利用相同的潜在特征进行预测。

核心贡献

新颖指标： 引入 WSC 分析，以区分元数据的编码与其在推理中的主动利用。
通过诱导偏差进行验证： 作者通过创建一个受控的“诱导偏差数据集”验证了该方法，在该数据集中，胎儿平面类别与扫描仪型号之间人为引入了强相关性。WSC 分析成功检测到了由此产生的高权重对齐，而“平衡数据集”（无相关性）则显示出低对齐，证实了该方法对捷径学习的敏感性。
临床模型应用： 该方法被应用于用于自发性早产（sPTB）预测的 SA-SonoNet 模型。

实验结果
研究使用了两个私有的临床超声数据集：一个胎儿解剖分类数据集和一个用于 sPTB 预测的宫颈数据集。

可编码性 vs. 利用率： 在胎儿数据集中，基准模型证实了元数据（扫描仪、医院 ID）在图像嵌入中是高度可编码的（探测时的 AUROC 很高）。然而，WSC 分析显示，用于主要平面分类任务的权重向量与用于扫描仪分类任务的权重向量基本正交（低相关性）。即使对于显式训练以编码元数据的多任务模型也是如此，这表明主要任务并不依赖于扫描仪捷径。
诱导捷径检测： 当数据集被偏置以使特定平面与特定扫描仪相关联时，平面与扫描仪权重之间的 WSC 值显著增加。这证实了 WSC 可以检测出模型何时被迫采用捷径策略。
SA-SonoNet 分析： 应用于 sPTB 预测模型，分析显示：
- 临床相关性： sPTB 分类器权重与宫颈长度和像素间距等临床相关因素呈中度相关。
- 与混杂因素解耦： 其权重与临床无关的采集因素（特别是扫描仪类型）实现了解耦。
- 注意事项： 虽然出生体重与 sPTB 显示出高 WSC，但作者指出由于探测头无法有效预测出生体重，因此这种相关性在功能上是无意义的，表明该信息并未得到稳健的编码。

意义与主张
本文声称 WSC 分析为验证医学影像模型的可信度提供了必要的工具。通过检查分类器是否利用了与真实临床信号无关的特征，研究人员可以超越简单的性能指标，深入理解其内部决策逻辑。作者得出结论，尽管混杂因素通常存在于医学图像嵌入中，但像 SA-SonoNet 这样的模型可以通过设计或训练，使其决策边界与具有临床意义的信号保持对齐，并与诸如扫描仪模型之类的伪相关性解耦。这提供了一种确认模型是在学习预期的病理特征，而非利用数据集人工痕迹的方法。

局限性
作者承认该方法假设嵌入空间与类别预测之间存在线性关系，这符合标准深度学习惯例，但可能无法捕捉复杂的非线性交互。此外，该方法目前分析的是单个元数据属性；现实世界的捷径可能涉及多个混杂因素的非线性组合，这是未来工作旨在研究的方向。论文还指出，低 WSC 并不保证对由其他因素（如图像质量变化或特征偏移）引起的领域偏移具有鲁棒性，但它排除了捷径学习作为此类失败的原因。