📊 statistics

Scalable and Interpretable Representation Alignment with Ordinal Similarity

本文引入了一种可扩展且具有可解释性的序数相似性框架，通过三元组（Triplet）和四元组（Quadruplet）相似性指数进行实例化，旨在克服现有表示对齐度量指标在可解释性、鲁棒性和可扩展性方面的局限性。

原作者： Diogo Soares, Pankhil Gawade, Andrea Dittadi, Ewa Szczurek

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Diogo Soares, Pankhil Gawade, Andrea Dittadi, Ewa Szczurek

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图判断两张不同城市的地图之间的相似度。一张是由人类绘制的，另一张是由机器人绘制的。

现有工具的问题
目前，科学家们使用工具来比较这些“地图”（实际上是 AI 模型内部复杂的数据表示）。但这些工具有三个重大缺陷：

令人困惑： 它们给出的分数就像是没有尺子的原始数字。0.7 分是好还是坏？这取决于地图的大小或所使用的墨水类型，因此很难知道“好”究竟意味着什么。
极其脆弱： 如果你往地图上扔一块奇怪的巨石（一个“离群值”），这个工具可能会大喊大叫，说这两张地图完全不同，即使其中 99% 的部分都完美匹配。
速度缓慢： 为了获得准确的分数，这些工具通常需要测量每一条街道和每一条小巷。对于一座巨大的城市（一个庞大的数据集）来说，这需要花费很长时间，因此人们不得不使用并不总是可靠的捷径来进行猜测。

新解决方案：“序数”方法
本文的作者提出了一种新的比较地图的方法，称为序数相似度（Ordinal Similarity）。他们不再测量两个点之间的精确距离（例如，“点 A 到点 B 是 5 英里”），而只关心距离的顺序或排名。

可以这样理解：

旧方法： “A 到 B 是 5 英里，C 到 B 是 10 英里吗？”
新方法： “A 是否比 C 更靠近 B？”

如果两张地图对第二个问题的回答是一致的，那就是一个契合点。他们不在乎精确的英里数，只在乎相对的顺序。

两个新工具：TSI 和 QSI
论文引入了两个用于这种比较的具体工具：

TSI（三元组相似度指数）： 想象你选了一个人（“锚点”）和两个朋友。你问：“朋友 1 是否比朋友 2 更靠近锚点？”
- 如果两张地图对于“谁更近”这一结论达成一致，这就是一次“胜利”。
- TSI 统计两张地图在这些“谁更近？”的问题上达成一致的次数。
- 类比： 这就像是在检查两个人是否对他们最喜欢的冰淇淋口味的先后顺序达成了一致，而不论他们到底有多喜欢这些口味。
QSI（四元组相似度指数）： 这是更进一步。想象有两对人。你问：“这对 A 之间的距离是否比 B 对之间的距离更小？”
- 这检查了地图是否在不同群体之间的距离规模上达成了一致，而不仅仅是相对于某一个人的距离。
- 类比： 这检查了两张地图是否都认为“公园离学校比图书馆离体育场更近”。

为什么这是一个游戏规则的改变者

易于理解： 得分是一个简单的概率。如果你得到 0.5 的分数，意味着两张地图完全是随机的（就像抛硬币一样）。如果你得到 0.8，意味着在 80% 的情况下，两张地图对于“谁更近”的判断是一致的。你不需要博士学位就能明白 0.8 比 0.5 要好。
鲁棒性强： 如果你往地图上扔一块巨石（离群值），它只会干扰极小比例的“谁更近？”的问题。地图的其余部分依然保持完美。得分几乎不会变动，所以工具不会因此陷入恐慌。
速度快： 因为该工具只关心顺序，所以它可以利用聪明的数学技巧，通过仅检查一个极小的样本来推测答案。即使面对庞大的数据集，它也能在几秒钟内给出高度准确的答案，而无需测量每一条街道。

他们的证明
作者从数学上证明了：

这些工具是鲁棒的：即使数据很混乱，它们也不会失效。
这些工具是可扩展的：它们在处理海量数据时速度很快。
它们等价于检查地图上的“邻域”是否相同。如果地图在“谁离谁最近”的问题上达成一致，那么它们本质上就是同一张地图。

现实世界测试
团队在以下领域进行了测试：

训练 AI： 观察 AI 的内部“地图”在学习过程中是如何变化的。他们的工具显示，地图随着时间的推移变得越来越好且越来越一致。
多模态模型（如 CLIP）： 检查 AI 是否理解“猫的照片”和“猫这个词”是相似的。他们的工具显示，更大的、更智能的模型具有更好的对齐度，而旧的工具在模型大小发生变化时会感到困惑。

简而言之
这篇论文为科学家们提供了一个新的、可靠的、易读的标尺，用于衡量 AI 模型之间的相似度。通过不再迷失在复杂的数字和脆弱的测量中，他们现在可以简单地询问：“这两个模型对于‘谁离谁更近’的看法是否一致？”，并得到一个清晰、可信的答案。

技术摘要：基于序数相似性的可扩展且具解释性的表示对齐

问题陈述

评估表示空间之间的相似性是表示学习中的一个基础性挑战，对于理解模型行为、使人工系统与人类认知对齐以及设计迁移学习或生成模型至关重要。然而，现有的相似性度量指标存在三个关键局限性：

缺乏解释性： 大多数指标仅产生原始分数，缺乏直观的含义或一致的基准，使得人们难以区分有意义的对齐与伪相似性。
对离群值的敏感性： 当前的指标往往缺乏鲁棒性；少量的极端离群值就能剧烈改变相似性得分，导致原本完美对齐的表示在表现上显得不对齐。
计算上的不可行性： 由于高内存和高时间需求，在大规模数据集上进行精确计算通常是不可行的，这迫使研究者依赖缺乏正确性理论边界的启发式近似方法。

方法论

作者提出从依赖精确标称距离值的度量转向强调鲁棒关系属性的度量，其灵感来源于非度量多维尺度分析（NMDS）。核心假设是，保留序数关系（距离的秩次）能够捕捉到对齐所需的本质结构。

本文引入了两种基于序数一致性的主要指标：

三元组相似性指数 (TSI)： 衡量基于锚点的相对相似性的一致性。它评估三元组 $(i, j, k)$ 在两个表示空间中是否保持了“点 $i$ 比点 $k$ 更接近点 $j$ ”这一序数关系的比例。
四元组相似ity指数 (QSI)： 衡量不相交点对之间相对相似性的一致性。它评估四元组 $(i, j, k, l)$ 中“距离 $(i, j)$ 小于距离 $(k, l)$ ”这一关系被保留的比例。

理论基础

概率解释： TSI 和 QSI 被定义为随机选择的序数关系被保留的概率。这提供了直接的语义含义（例如，TSI 为 0.8 意味着 80% 的三元组在排序上达成一致）。
差异性的基准： 作者证明了对于统计独立的表示，期望得分会收敛到大约 $0.5$（假设忽略平局情况），从而建立了一个不随数据集大小或维度变化的通用且具有解释性的随机对齐基准。
邻域等价性： 文中建立了完美 TSI 对齐与所有尺度（ $k=1$ 到 $N-2$ ）下保持相互最近邻（MNN）之间的形式化等价关系。
鲁棒性： 理论边界表明，TSI 和 QSI 本质上对离群值和损坏具有鲁棒性。相似性得分的偏差受变换点比例的限制，确保了稀疏的离群值不会不成比例地偏移度量值。
度量公理： 互补距离（ $1 - \text{TSI}$ 和 $1 - \text{QSI}$ ）被证明满足完备度量（equivalence, symmetry, and triangle inequality）的公理。

计算效率

虽然朴素实现需要 $O(N^3)$ 和 $O(N^4)$ 的时间复杂度，但作者利用与肯德尔秩相关系数（Kendall rank correlation coefficient）的联系开发了高效算法：

精确计算： TSI 的计算时间为 $O(N^2 \log N)$ ，空间复杂度为 $O(N)$ ；QSI 的计算时间为 $O(N^2 \log N)$ ，空间复杂度为 $O(N^2)$ 。
可扩展近似： 作为有界的 U-统计量，TSI 和 QSI 允许进行有原则的蒙特卡洛近似。通过采样少量的三元组或四元组，可以在与数据集规模 $N$ 无关的时间内，以误差 $\epsilon$ 和置信度 $1-\delta$ 来估计这些指标。

核心贡献

序数相似性公式化： 将 TSI 和 QSI 正式定义为基于相对相似性和距离比较的一致性度量。
理论解释性： 展示了直接的概率解释，并为不相关的表示建立了稳定的通用基准（ $\approx 0.5$ ）。
与邻域一致性的联系： 证明了完美的 TSI 对齐等价于所有尺度下的联合相互最近邻对齐。
保证的鲁棒性： 通过理论边界保证了对离群值和损坏的鲁棒性，解决了现有指标如 CKA 的关键脆弱性问题。
计算可扩展性： 提供了高效的精确算法和具有理论误差界的原则性近似方案，使其能够应用于大规模数据集。
经验验证： 在包括追踪训练期间的表示收敛以及评估 CLIP 模型的多模态对齐在内的多种场景中进行了验证。

实验结果

作者通过多项实验验证了所提指标：

一致的基准： 在统计独立的表示测试中，TSI 和 QSI 在不同样本量和维度下均保持在 0.5 附近的稳定得分。相比之下，CKA、SVCCA 和 PWCCA 等指标表现出高度的参数敏感性，有时会对独立数据给出近乎完美的对齐得分。
离群值鲁棒性： 当 2% 的数据点被施加递增强度的扰动时，TSI 和 Qsi 保持了显著的稳定性，遵循其理论下界。相反，基于邻域的指标（MutualNN, CKNNA）和基于核的指标（CKA）由于离群值引起的“枢纽效应”（hubness effects）而跌至接近零的值。
近似质量： TSI 和 QSI 的原则性采样近似展示了快速、单调的收敛过程，且偏差极小，显著优于其他指标所使用的标准分批近似方法。
实际应用：
- 训练动态： TSI 和 QSI 准确追踪了 Vision Transformer (ViT) 在 CIFAR-10 上训练期间的表示收敛情况，能够区分使用相同种子训练的模型（收敛至 1.0）与使用不同种子训练的模型（收敛至次优对齐）。
- 多模态对齐： 在评估不同规模的 CLIP 模型时，TSI 和 QSI 正确捕捉到了单调递增的对齐度。值得注意的是，当过渡到具有不同嵌入维度的模型时，CKA 表现出了反直觉的行为（得分下降），凸显了其对维度变化的敏感性。

意义

本文声称 TSI 和 QSI 提供了一个严谨、可扩展且具有理论依据的表示对齐框架。通过优先考虑距离排序而非原始数值，这些指标提供了：

解释性： 得分具有明确的概率含义和稳定的基准，允许从业者在无需针对特定案例进行校准的情况下判断对齐质量。
鲁棒性： 它们在理论上保证了对稀疏离群值和损坏的不敏感性，这是许多当前最先进指标所缺乏的特性。
可扩展性： 能够高效计算精确值或以保证误差的近似值，使其适用于其他方法失效或需要不可靠启发式方法的现代大规模数据集。

作者总结道，序数相似性使从业者能够更好地理解和设计表示，为经常受到解释性问题、脆弱性和计算约束困扰的现有指标提供了一个可靠的替代方案。