📊 statistics

Symmetric Divergence and Normalized Similarity: A Unified Topological Framework for Representation Analysis

本文引入了一个统一的拓扑框架，该框架包含用于精确结构诊断的对称表示拓扑散度（SRTD）和用于尺度不变基准测试的归一化拓扑相似度（NTS），从而克服了现有方法的非对称性和无界性限制，为分析神经表示提供了一个鲁棒的工具。

原作者： Yan Wang, Tianyang Hu

发布于 2026-06-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Yan Wang, Tianyang Hu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：衡量 AI 如何“思考”

想象一下，你有两位不同的厨师（神经网络）正在做汤。你想知道：他们做的是同一种汤吗？

长期以来，科学家们一直试图通过观察食材（数据）并测量碗的外观相似度（几何分析）来回答这个问题。一个流行的工具叫做 CKA。这就像是在检查两个碗的形状和大小是否一致。

然而，这篇论文指出，仅仅观察碗的“形状”是不够的。有时候，两个碗从外面看一模一样，但里面的食材排列方式却完全不同。为了解决这个问题，作者引入了一个基于拓扑学（研究形状与连接的学科）的新工具包。他们称这个工具包为“拓扑透镜”。

这个工具包包含两个主要工具，旨在解决以往方法存在的两个特定问题。

问题 1：“单行道”与“无界分值”

在此之前，有一个名为 RTD（表示拓扑散度）的工具。它擅长发现差异，但有两个主要缺陷：

它是不公平的（非对称性）： 如果你比较厨师 A 和厨师 B，你会得到一个分数；如果你比较厨师 B 和厨师 A，你会得到一个不同的分数。这就像一把尺子，取决于你从哪个方向拿它，测出的长度都不一样。
它是无界的（难以比较）： 分数可以是任何巨大的数字。如果你比较两个小碗，分数很小；如果你比较两个巨大的碗，分数就会变得巨大。这使得我们无法说“这两份汤有 50% 的不同”，因为数值会随着汤的分量变化而不断变动。

解决方案：统一工具包

作者构建了两个新工具来解决这些问题。

工具 1：SRTD（对称表示拓扑散度）

目标： 获得一个完美、公平且详细的诊断，找出两份汤究竟在哪里不同。

类比： 想象你有两张城市地图。一张地图显示道路，另一张显示河流。
- 旧工具尝试通过先看道路、再看河流，最后取平均值的方法来比较它们。这种方法很混乱，且结果取决于观察的顺序。
- SRTD 就像是创建了一张超级地图，将道路和河流结合成一个单一的视图。它观察“并集”（两张图中存在的所有事物）和“交集”（仅存在于两者共有的部分）。
- 通过直接比较这两个视图，SRTD 给出了一个单一且公平的分数。无论你从哪个方向观察，答案都是一样的。
为什么有用： 它能精确告诉你结构在哪里发生了差异。如果一位厨师在汤里放了盐，而另一位放了糖，SRTD 能直接指向那个位置。它还可以作为一种“损失函数”，这意味着你可以利用它来教计算机做出更好的汤，通过最小化这个分数来实现。

工具 2：NTS（归一化拓扑相似度）

目标： 获得一个介于 -1 到 1 之间的简单、标准的评分，让你能够比较任何两个模型，无论它们的大小如何。

类比： 想象你在对两个不同的社交网络进行“连接性”排名。
- 旧工具统计握手的总次数。如果网络 A 有 1,000 人，而网络 B 有 1,000,000 人，两者的数字完全不同，根本无法公平比较。
- NTS 忽略了总计数。相反，它观察人们加入群组的顺序。
- 例子： 在两个网络中，A 先加入，然后 B 加入，接着他们遇到了 C。即使网络 B 比网络 A 大一百万倍，如果加入的顺序是一致的，NTS 会认为它们非常相似（得分：1）。如果顺序完全被打乱，则认为它们不同（得分：-1）。
为什么有用： 它创造了一把“通用尺子”。你可以将一个微型模型与一个庞大的大型语言模型（LLM）进行比较，并得到一个有意义的分数。它能有效应对“距离饱和”问题——即几何工具（如 CKA）在面对极其复杂的模型时会产生困惑，误以为所有模型看起来都一样。

他们发现了什么？（实验）

作者在几种场景下测试了这些工具：

合成聚类： 他们创建了具有清晰形状（如点组成的圆圈）的伪造数据。
- 结果： 旧工具（CKA）在形状发生轻微变化时无法识别差异。而新工具（SRTD 和 NTS）能立即察觉变化。
深度学习层： 他们逐层观察了一个小型图像识别 AI（TinyCNN）的“大脑”。
- 结果： 新工具展示了一个清晰的模式：网络中靠近的层非常相似，而远离的层则不同。旧工具会感到困惑，并给出奇怪且不一致的结果。
- 加分项： 新工具捕捉到了网络中的一个特定“断层”（即 AI 从观察局部细节转向观察全局模式的转折点），而旧工具完全忽略了这个现象。
大型语言模型 (LLMs)： 他们比较了著名的 AI 模型（如 Llama、Qwen 和 Mistral）。
- 结果： 几何工具（CKA）出现了“饱和”现象——它们认为几乎所有模型看起来都一样，因为数值过高。
- NTS 穿透了噪音。它成功识别出来自同一“家族”的模型（例如 Qwen 及其升级版本）拥有深层的结构 DNA，即使它们表面上看起来不同。它甚至正确识别出一个“蒸馏”模型（大模型的小型版本）与其父模型在结构上的相似性，而旧工具却错过了这一联系。

总结

旧方法： 测量数据的“形状”差异有多大，但数值混乱、不公平且难以比较。
新方法 (SRTD)： 一张公平且详细的地图，展示两个模型究竟在哪里不同。
新方法 (NTS)： 一个标准化的“相似度评分”（从 -1 到 1），像排名系统一样工作，让你能公平地比较微型模型与巨型模型。

论文结论指出，虽然这些工具目前在分析和诊断 AI 方面表现出色，但它们尚未准备好直接用于训练 AI（因为 NTS 是“不可微”的，这意味着它不能直接作为优化过程中的逐步引导指南）。然而，它们为我们理解神经网络的实际运作方式提供了一种更清晰、更可靠的方式。

技术摘要：对称散度与归一化相似性：用于表示分析的统一拓扑框架

问题陈述

拓扑数据分析（TDA）为比较神经网络表示提供了一个内在视角，然而现有的宏观方法面临着显著的局限性。具体而言，**表示拓扑散度（RTD）**框架及其变体存在两个关键问题：

理论不完备性与不对称性： 常用的“对称”RTD 被定义为两个方向性值（ $RTD(w, \tilde{w})$ 和 $RTD(\tilde{w}, w)$ ）的暴力平均。这些值可能会产生巨大的差异，且缺乏明确的理论解释来说明这种不对称性。此外，旨在丰富梯度信息的对偶变体 Max-RTD 缺乏与 RTD 之间完全特征化的理论关系。
缺乏归一化： RTD 和 RTD-lite 会产生依赖于样本量和内在距离尺度的无界正分值。这使得跨场景基准测试（例如，比较不同的模型、层或数据集）变得不可靠且难以解释。现有的重缩放距离（例如使用 0.9 分位数）的尝试是启发式的，不足以应对异构设置。

这些局限性阻碍了进行细粒度结构诊断和稳健、标准化神经表示评估的能力。

方法论

作者提出了一个由两个互补组件组成的统一拓扑工具包：用于结构诊断的 对称表示拓扑散度（SRTD） 和用于标准化评估的 归一化拓扑相似性（NTS）。

1. 对称表示拓扑散度 (SRTD)

为了解决 RTD 系列中的不对称性和理论空白，作者引入了 SRTD。

概念： SRTD 不再是直接对两个方向性散度进行平均，而是直接测量两个点云的 Vietoris-Rips 过滤（filtrations）的并集与交集之间的拓扑差异。
构建： 它利用一个对称辅助矩阵（ $M_{sym}$ ），该矩阵由两个距离矩阵的元素级最小值（ $min(w, \tilde{w})$ ）和最大值（ $max(w, \tilde{w})$ ）构建而成。其散度被定义为源自该辅助图的持久同调（persistent homology）的条形码长度之和。
理论统一： SRTD 提供了一个统一的框架，其中不对称度量（RTD 和 Max-RTD）可以分解为一个大型的、共享的对称成分（SRTD）和属于各自过滤的较小的“私有”成分。
效率 (SRTD-lite)： 遵循 RTD-lite 的方法，作者定义了 SRTD-lite，它使用最小生成树（MST）权重来近似完整的拓扑散度。它被定义为 $max(w, \tilde{w})$ 与 $min(w, \tilde{w})$ 的 MST 权重之差。
核心属性： 作者证明了对于轻量化版本， $Max\text{-}RTD\text{-}lite + RTD\text{-}lite = SRTD\text{-}lite$ ，从而建立了一个严格的层级排序，其中 SRTD-lite 作为一种平衡的中值度量。

2. 归一化拓扑相似性 (NTS)

为了实现稳健的跨场景基准测试，作者提出了 NTS，其值被限制在 -1 到 1 之间。

动机： 与关注条形码长度（对离群值敏感且受尺度影响）的散度度量不同，NTS 关注层次合并顺序的秩相关性。
机制：
- 它识别由两个表示的 MST 边并集定义的“核心对”（core pairs）。
- 它计算这两个表示中这些核心对的合并时间（或边距离）之间的 Spearman 秩相关系数。
- 定义了两种变体：NTS-E（基于边距离）和 NTS-M（基于合并时间）。
属性： NTS 具有尺度不变性，并且对样本量变化具有鲁棒性。它通过比较连通分量合并的顺序而非距离的绝对大小来捕捉拓扑结构。

核心贡献

完善 RTD 框架： SRTD 的引入解决了先前 RTD 变体的不对称性问题。它将诊断信息整合到一个单一的、对称的跨条形码签名中，提供了一个更高效的优化目标，而无需承担双向计算的开销。
引入 NTS： NTS 的提出克服了拓扑散度无界的特性。通过利用基于秩的归一化，它提供了一个标准化的相似性得分，可用于比较不同的数据集、模型架构和实验流程。
理论特征化： 本文利用同调中的映射锥（mapping cones）和长正合序列（long exact sequences in homology）建立了 RTD、Max-RTD 和 SRTD 之间的严谨数学关系，阐明了 Max-RTD 的作用以及不对称性的来源。
高效算法： 作者提供了轻量级变体（SRTD-lite 和 NTS-E），其运行时间为 $O(n^2(\alpha_{uf}(n) + d))$ ，使其能够扩展到大规模表示分析。

实验结果

该工具包在合成和真实世界的深度学习设置中进行了评估：

合成层次偏移： 在涉及高斯簇和 UMAP 嵌入的实验中，NTS 和 SRTD 系列正确地捕捉到了不断增加的结构差异。相比之下，CKA 对这些变化几乎不敏感，而 RTD-lite 则产生了异常的反转趋势，这凸显了引入 $max(w, \tilde{w})$ 成分和归一化的必要性。
CNN 层级分析： 在针对 CIFAR-10 训练的 TinyCNN 上，NTS 和 CKA 均表现出一致且可解释的近对角线相似性景观（相似性随深度增加而衰减）。然而，未归一化的 RTD 系列未能恢复这种单调趋势，产生了不规则的热图。至关重要的是，拓扑度量（NTS 和 SRTD-lite）在最后一个池化层检测到了剧烈的结构转变——这是一个被 CKA 等几何基准模型所忽略的功能性转变。
大语言模型 (LLM) 分析： 应用于 TruthfulQA 和 ToxiGen 数据集上的 LLM 系列（Qwen, InternLM, Baichuan, Llama）：
- 模型内分析： NTS 揭示了模型家族内部一致的层次“指纹”，而 CKA 由于距离饱和，往往会产生饱和或不一致的热图。
- 模型间分析： 与 CKA 相比，NTS 提供了更清晰、更具判别力的模型关系视图，后者由于得分饱和（聚集在 1.0 附近）而表现欠佳。
- 蒸馏案例研究： 在针对 DeepSeek-R1-Ds（从 Qwen2.5-Math 蒸馏而来）的案例研究中，CKA 给出了一个低相似度得分，未能反映其血缘关系，而 NTS 成功识别出了高度的结构相似性，这表明拓扑合并顺序对于蒸馏引起的几何偏移更具鲁棒性。

意义与主张

本文声称提供了一种严谨的、具备拓扑感知能力的视角，作为现有几何度量（如 CKA）的补充。

用于诊断： SRTD 和 SRTD-lite 提供了细粒度、可解释的结构差异证据，并可作为优化的有效损失项（例如在自动编码器中），在提高效率的同时，在 RTD 类方法中达到了最先进的性能。
用于基准测试： NTS 提供了一个可靠、尺度无关的度量，用于在异构设置之间比较表示，克服了未归一化散度的可解释性问题。
局限性： 作者指出，NTS 目前仅作为一种分析性度量，且不可微，因此无法直接用于模型优化。建议未来的工作开发可微形式。此外，轻量化变体主要依赖于 0 维特征，这是在可扩展性与更高阶拓扑洞察力之间进行的权衡。

这项工作将自身定位为通过统一的拓扑视角理解神经网络表示的基础性步骤，弥合了细粒度结构诊断与稳健、标准化评估之间的鸿沟。