🤖 machine learning

Bridging Functional and Representational Similarity via Usable Information

本文提出了一个统一框架，从可用信息的视角量化表征相似性，建立了拼接性能与条件互信息之间的形式化联系，并证明了表征相似性相对于预测能力而言是相对的，且是功能相似性的充分但非必要条件。

原作者： Antonio Almudévar, Alfonso Ortega

发布于 2026-05-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Antonio Almudévar, Alfonso Ortega

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有两位不同的厨师（神经网络），他们都学会了烹饪一道特定的菜肴，比如完美的千层面。你想知道：这两位厨师在脑海中是否真的使用了相同的“食谱”，还是仅仅通过完全不同的方法得出了同样美味的结果？

这篇题为《通过可用信息桥接功能相似性与表征相似性》的论文，是一本解答上述问题的指南。它提出了一种衡量两个 AI 模型真正相似程度的新方法，即通过考察它们所持有的“可用信息”，而不仅仅是比较它们的原始输出。

以下是他们研究发现的简要说明，使用了简单的类比：

1. 比较厨师的两种方式

作者认为，我们通常从两个不同的角度看待相似性，但往往将它们混淆：

功能相似性（“味觉测试”）： 这问的是：“如果我把厨师 A 的笔记交给厨师 B，厨师 B 还能做出千层面吗？”如果厨师 B 能够利用厨师 A 的中间笔记完美地完成工作，那么他们在功能上就是相似的。笔记在纸面上看起来是否不同并不重要；重要的是这些信息是否可用以达成结果。
表征相似性（“笔记本检查”）： 这问的是：“厨师 A 和厨师 B 是否以完全相同的手写体和格式书写他们的笔记？”这考察的是数据的内部结构。如果他们的笔记在几何上是完全相同的，那么他们在表征上就是相似的。

2. 重大发现：“单行道”问题

论文揭示了我们在测试这些厨师时通常存在的一个关键缺陷。我们通常尝试将厨师 A 的笔记翻译成厨师 B 的风格（这个过程称为“缝合”），然后看看是否可行。

发现： 这种翻译往往是一条单行道。
类比： 想象厨师 A 用详细的高清日记书写笔记，而厨师 B 用粗略的素描本书写。你可以轻松地将日记翻译成素描（你会失去细节，但主要思想得以保留）。但你无法将粗略的素描翻译回详细的日记，因为信息在素描中已经丢失了。
教训： 要真正断言两个模型是相似的，你必须能够双向翻译。如果你只能从 A 到 B，而不能从 B 到 A，那么它们在功能上就不是真正相似的。论文证明，“缝合”本质上是非对称的。

3. “观察者”很重要（谁在读取笔记？）

论文引入了一个有趣的概念：相似性取决于谁在读取笔记。

类比： 想象一张复杂的地图。
- 如果你是一个僵化的观察者（只理解直线和直角的人），这两张地图在你看来可能完全不同且毫无用处。
- 如果你是一个灵活的观察者（理解曲线、角度和三维形状的人），同样的这两张地图在你看来可能完全相同。
教训： 两个 AI 模型对于简单的数学工具（如直线）来说可能看起来非常不同，但如果你使用更强大的工具（复杂的神经网络）来读取它们，它们可能会发现是完全相同的。“相似性”不是一个绝对的事实；它取决于你用来衡量它的工具的复杂性。

4. 层级关系：“整体画面”与“特定任务”

作者确立了两种相似性之间的清晰层级：

表征相似性是“万能钥匙”： 如果两个模型拥有完全相同的内部笔记（表征相似性），那么它们保证能够解决你抛给它们的任何任务，从最难到最简单。
功能相似性是“特定钥匙”： 如果两个模型能够解决特定任务（例如识别猫），那么它们针对该任务在功能上是相似的。然而，它们可能已经丢弃了其他信息（例如猫毛的颜色），这些信息对于该特定任务来说是不需要的。
结论： 拥有“万能钥匙”（表征相似性）保证你拥有“特定钥匙”（功能相似性）。但拥有“特定钥匙”并不保证你拥有万能钥匙。你可能能够打开前门（解决任务），而不需要拥有整栋房子的蓝图（完整的表征）。

5. 旧工具实际上是伪装的新工具

最后，论文审视了科学家今天使用的标准工具（如 CKA、RSA 和缝合）。

发现： 这些不仅仅是随机的数学技巧。它们实际上是在特定约束下衡量“可用信息”。
类比： 将这些工具想象成不同类型的尺子。标准尺子测量长度，柔性卷尺测量曲线。论文表明，当我们使用这些不同的“尺子”时，我们本质上是在问模型：“如果你只被允许使用直线，你能解决这个问题吗？”或者“如果你可以使用曲线，你能解决它吗？”
结果： 论文证明，只要你理解你正在使用什么样的“尺子”（或预测族），这些标准工具实际上非常擅长估计模型之间共享了多少“可用信息”。

总结

简而言之，这篇论文告诉我们：

不要只检查一个方向： 要查看两个 AI 模型是否真正相似，你必须能够双向翻译它们的知识。
背景是关键： 相似性取决于“读者”的复杂性。一个简单的读者可能认为两个模型不同，而一个复杂的读者则认为它们相同。
整体与部分： 如果两个模型在内部结构上完全相同，它们可以做任何事。但如果它们能做一件特定的事，它们在内部可能仍然非常不同。
旧工具是有用的： 我们衡量 AI 相似性的标准方法实际上是有效的，但它们是基于我们使用的工具的复杂性，衡量特定类型的“可用信息”。

技术摘要：通过可用信息桥接功能相似性与表征相似性

问题陈述

深度学习领域严重依赖比较内部神经表征，以理解不同系统如何处理信息、迁移知识以及组织结构。然而，现有文献缺乏一个统一的框架来定义和衡量表征之间的“相似性”。现有的方法通常被粗略地划分为两类：

功能相似性：评估表征是否支持相同的下游行为（例如，通过模型拼接或线性探针）。
表征相似性：评估表征是否以相同的结构方式编码输入信息（例如，通过 CKA、RSA 或 Procrustes 分析）。

这些概念一直被孤立研究，导致关注任务性能的功能方法与关注特征空间对齐的几何度量之间出现脱节。此外，标准度量往往缺乏严格的理论基础，无法阐明究竟比较了哪些信息，或者观察者的容量（预测模型）如何影响测量结果。

方法论

作者提出了一个基于可用信息理论（Xu et al., 2020）的统一框架。该理论将信息流限制在特定的“预测族” $\mathcal{V}$ 中，承认表征中并非所有的统计依赖关系都能被容量有限的下游模型所利用。

理论框架

本文通过条件互信息和马尔可夫毯的视角重新定义相似性：

功能相似性：如果两个表征 $Z_1$ 和 $Z_2$ 相对于任务 $Y$ 形成相互的马尔可夫毯，则它们在功能上是相似的。这意味着 $I(Y; Z_2 | Z_1) = I(Y; Z_1; Z_2) = 0$ 。作者将模型拼接形式化为一种估计机制：如果 $Z_1$ 可以被拼接进 $Z_2$ 而无需损失性能，则 $Z_1$ 包含了 $Z_2$ 的所有任务相关信息。关键在于，他们证明了这种关系本质上是不对称的；稳健的功能相似性需要双向拼接。
表征相似性：定义为任务 $Y$ 即为输入 $X$ 本身时的功能相似性（ $I(X; Z_2 | Z_1) = 0$ ）。这意味着表征包含关于输入的相同信息。
粒度层级：作者建立了一种单调关系：在复杂任务上的相似性保证了在任何更粗粒度的派生任务上的相似性。因此，表征相似性（重构输入）是最强的条件，它保证了所有派生任务的功能相似性。

实证方法论

为了验证这些理论主张，作者进行了一项大规模实证研究，涉及：

规模：涵盖 14 种不同架构（包括线性模型、CNNs 如 ResNet、DenseNet、ShuffleNet 和 MobileNet）的 58 个训练模型，以及 6 个数据集（MNIST、CIFAR-10/100、SVHN、Tiny-ImageNet、ImageNet）。
比较：12,459 次不同的层对层比较。
拼接族：研究利用了三个特定的拼接器族（预测族 $\mathcal{V}$ $V$ ）来测试表达性的影响：
1. 仿射：无约束的线性映射。
2. 正交 + 各向同性缩放：类 Procrustes 约束。
3. 正交：严格的旋转约束。
度量：作者将标准度量（CKA、RSA、SVCCA）与他们提出的基于可用信息的分数（归一化重构误差）进行了比较。

主要贡献

通过可用信息的统一框架：本文在理论上将模型拼接与可用的条件互信息联系起来。它证明了功能相似性并非绝对属性，而是相对于预测族 $\mathcal{V}$ 的容量定义的。
标准度量的重新诠释：作者通过实证和理论表明，标准几何度量（CKA、RSA、Procrustes）并非任意度量，而是在特定约束下（例如正交变换）对可用信息的特定估计量。
相似性层级：
- 不对称性：他们证明了拼接本质上是不对称的；单一方向的拼接器不足以声称功能相似性。
- 充分性与必要性：他们证明了表征相似性是功能相似性的充分但非必要条件。表征可以在功能上相似（解决相同任务），同时在表征上截然不同（编码不同的干扰变量）。
- 任务粒度：他们确立了表征相似性（输入重构）是最大粒度的极限，保证了所有更粗粒度任务的功能相似性。

实验结果

拼接不对称性：对 12,459 对模型的分析揭示了前向和反向拼接器之间准确率差异的重尾分布，证实了功能相似性经常是不对称的。一个表征往往包含另一个表征的信息，反之则不成立。
表征相似性的单调性：研究验证了随着预测族表达性的增强，表征相似性分数会增加。在刚性 Procrustes 约束（正交）下看似不同的表征，在更具表达性的仿射变换下往往显得几乎相同。
度量对齐：标准度量与提出的可用信息分数显示出强相关性。具体而言，CKA（ $R^2=0.937$ ）和 RSA（ $R^2=0.912$ ）与源自正交 + 缩放拼接器的表征相似性高度一致，支持了这些度量在特定变换群下作为可用信息代理的假设。
层级验证：利用 CIFAR-100（细类与粗 superclass），作者证实了在粗粒度任务上的功能相似性始终上界了细粒度任务上的相似性。
表征相似性的充分性：随着表征相似性趋近于 1.0，功能相似性的概率收敛于 1.0。然而，即使在表征相似性较低的情况下，也频繁观察到高功能相似性，证实了表征相似性并非必要条件。

意义与主张

本文声称通过将功能相似性和表征相似性都植根于可用信息理论，解决了两者之间的脱节。作者认为，相似性不仅仅是表征本身的固有属性，而是相对于用于比较它们的预测族的计算约束而言的。

通过统一这些概念，本文为标准度量为何有效以及在何种条件下失效提供了严格的理论依据。它将范式从寻找“通用”相似性度量转变为明确定义预测族 $\mathcal{V}$ ，从而规定特定应用中“相似”的含义。该研究得出结论：虽然表征相似性保证了跨所有任务的功能相似性，但反之则不成立，这突显了模型可以通过根本不同的内部表征实现相同的任务性能。