🤖 machine learning

A Unifying Framework for Concept-Based Representational Similarity

本文提出了一个统一的概念型表示相似性框架，该框架阐明了对齐的不同目标，引入了一个用于评估它们的全新基准，并证明了耦合稀疏自编码器（CoSAE）通过以极少的配对数据共同优化这些互补目标，实现了强大的实例级对齐。

原作者： Grégoire Dhimoïla, Victor Boutin, Agustin Martin Picard, Thomas Fel, Thomas Serre

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Grégoire Dhimoïla, Victor Boutin, Agustin Martin Picard, Thomas Fel, Thomas Serre

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有两位不同的厨师，厨师 A 和厨师 B。他们都能做出美味佳肴，但他们说着不同的语言，使用不同的工具。你怀疑在内心深处，他们实际上使用的是相同的基本食材和食谱，只是描述方式不同。

这篇论文旨在研究如何证明这两位厨师确实在使用相同的“概念性”食材，以及如何在不需要庞大词典的情况下，教会他们说同一种语言。

以下是他们发现的拆解，使用了简单的类比：

1. 问题所在：“对齐”（Alignment）是一个模糊的词

在 AI 世界中，研究人员经常说他们“对齐”了两个模型。但本文认为这个词太笼统了。这就像说两个人“有联系”一样。他们是通过电话连接的？握手？还是共享一个秘密？

作者意识到，现有的方法试图解决不同的问题，却称之为同一种东西。有些方法试图让模型互相翻译输出内容（就像翻译软件）。另一些方法则试图让它们对某个特定物体“是什么”达成共识（比如都认为一张图片是“猫”）。

2. 框架：对齐的 2x2 矩阵

作者创建了一个简单的地图来理清混乱。他们指出，对齐取决于两个问题：

我们在匹配什么？ 我们是在匹配原始数据（图片本身），还是概念（“猫”这个概念）？
我们如何进行匹配？ 我们是一个个进行匹配（这张特定的图片对应那张特定的图片），还是作为一个整体进行匹配（所有图片的总体氛围）？

这产生了四个不同的目标：

翻译（Translation）： 我能否完美地将厨师 A 的菜肴转化为厨师 B 的菜肴？
概念一致性（Concept Consistency）： 两位厨师是否对食材的名称和本质达成一致？
实例级（Instance-wise）： 他们是否对这一个苹果达成一致？
分布级（Distributional）： 他们是否对苹果的总体群体达成一致？

3. 大惊喜：“一刀切”行不通

研究人员测试了常见的假设，发现这些假设往往是错误的。他们发现：

仅仅翻译是不够的： 如果你教一个模型很好地翻译，并不意味着它自动理解了底层的概念。
仅仅匹配群体是不够的： 如果你只是让模型对“平均”图像达成一致，它们在面对某个特定的、独特的图像时仍可能完全失败。
“循环”技巧失效了： 在其他领域，人们使用“往返测试”（从 A 到 B，再从 B 回到 A）来检查它们是否匹配。作者发现这种技巧对于 AI 概念是不可靠的；模型可以欺骗测试，而实际上并没有真正理解彼此。

4. 解决方案：耦合自编码器（CoSAE）

由于没有单一的方法奏效，他们构建了一个新工具，称为 CoSAE。把它想象成一个混合训练营。

与其强迫模型只做一件事，不如让 CoSAE 让它们同时做一点点每件事：

它强迫它们进行翻译（说同一种语言）。
它强迫它们达成概念一致（共享同一个词典）。
它使用“分布级”方法（匹配整体人群）来进行大部分训练。

核心要素：极少量的配对数据
这是最令人惊讶的部分。通常，要教两个模型完美地理解彼此，你需要数以千计的例子，即拥有图片及其匹配描述的示例。

作者发现，如果你使用“群体”方法进行 99.9% 的训练，你只需要 0.1% 的配对数据（即只有极少数已知图片与描述相匹配的例子）来作为系统的“锚点”。

类比： 想象尝试同步两支演奏不同乐曲的大型管弦乐队。与其给他们每一颗音符的乐谱，不如只给他们一段相同的旋律一起演奏。那一点点共享的节奏就足以让整场表演步调一致。

5. 结果

通过使用这种带有极少量额外数据的“耦合”方法，他们的新方法（CoSAE）超越了以往所有的办法。它成功地让不同的 AI 模型更好地理解彼此的内部“概念”，证明了对齐不是一个单一的目标，而是一场需要正确步骤组合的多步舞蹈。

简而言之： 你不能仅仅强迫两个 AI 模型在某件事上达成一致，就期望它们理解一切。你必须教它们如何翻译、如何共享概念，以及如何观察大局，并利用一点点“真实情况”（ground truth）的提示将它们紧紧联系在一起。

技术摘要：一种统一的概念化表示相似性框架

问题陈述

现代深度学习模型通常表现出惊人的内部表示结构相似性，这表明不同架构、初始化方式和模态之间存在共享的底层概念分解。然而，“概念对齐”（concept alignment）的概念定义仍然模糊不清。现有文献使用相同的术语来优化不同的目标，从而掩盖了究竟是哪些特定属性在进行对齐。此外，目前尚不清楚优化一种对齐目标（如平移）是否能可靠地恢复其他目标（如概念一致性），或者纯粹无监督的分布目标是否能恢复有意义的实例级对齐。本文认为，现有方法缺乏一个严谨的框架来区分是在对齐“表示”（representations）还是在对齐“概念”（concepts），以及是在进行“实例级”（instance-wise）还是“分布级”（distributional）对齐。

方法论：一个统一的框架

作者提出了一个形式化框架，将概念对齐沿两个维度进行分解：

对齐的内容： 表示（平移） vs. 概念（概念一致性）。
对齐的层面： 实例级（特定数据点） vs. 分布级（数据的统计属性）。

该分解产生了四个基本属性：

实例级平移 ( $P_{tr}$ )： 将一个系统的表示映射到另一个系统的能力 ( $(\psi^{-1}_j \circ \psi_i)(x_i) = x_j$ )。
实例级概念一致性 ( $P_{cont}$ )： 两个系统都能恢复出共享概念空间的压缩视图的能力 ( $\psi_i(x_i) = \psi_j(x_j)$ )。
分布级平移 ( $P^{dist}_{tr}$ )： 平移后的测度与目标分布相匹配。
分布级概念一致性 ( $P^{dist}_{cont}$ )： 概念空间的推前测度（pushforward measures）相互匹配。

该框架将这些属性作为稀疏自编码器（SAEs）训练损失中的正则化项进行操作化。作者分析了这些属性之间的理论关系，指出虽然在严格的单射性和重构假设下，平移与概念一致性在理论上是等价的，但这些条件在实践中往往无法成立。

为了评估这些属性，作者引入了 InterVenchA，这是一个扩展了 SAEBench 的诊断基准。它将评估分为：

提取质量 ( $M_{extract}$ )： SAE 在单个领域内重构并解耦特征的能力。
平移质量 ( $M_{tr}$ )： 一个领域中学习到的概念迁移到重构另一个领域的能力（独立于一致性）。
概念一致性 ( $M_{cont}$ )： 相同的一组概念捕捉跨领域任务相关信息的能力（独立于平移）。

提出的解决方案：耦合稀疏自编码器 (CoSAE)

基于“单一目标不足以解决问题”的发现，作者提出了 CoSAE，这是一个模块化的 SAE 框架，旨在共同强制执行互补的对齐目标。CoSAE 结合了：

重构损失 ( $L_{dcy}$ )。
在一小部分配对数据上的实例级平移损失 ( $L_{tr}$ )。
在同一组配对数据上的实例级概念一致性损失 ( $L_{cont}$ )。
在全量数据集上的分布对齐损失 ( $L^{dist}_{tr}$ 和 $L^{dist}_{cont}$ )。

至关重要的是，该方法依赖于通过极少量的配对数据（仅为数据集的 0.1%）来“锚定”（anchoring）分布目标，从而解决传输问题中的不可识别性（unidentifiability）。

关键结果

通过在合成数据、视觉模型（ViT, DinoV2, SigLIP）以及多模态编码器（CLIP, OpenCLIP）上的实验，作者证明了：

等价性的失效： 通常假设的对齐目标之间的等价关系在实践中并不成立。
- 优化平移并不一定能可靠地恢复概念一致性，反之亦然。
- 循环一致性（常被用作无配对设置下平移的替代指标）并不是对齐的忠实代理；高循环一致性可以与低对齐性能并存。
- 纯粹的分布目标由于传输问题的不可识别性，无法恢复实例级对齐。
多目标优化的必要性： 只有当平移和概念一致性被显式地共同正则化时，才会出现强大的对齐。
- 在真实嵌入中，仅优化 $L_{tr}$ 会提高平移能力但不会提高一致性；仅优化 $L_{cont}$ 会提高一致性但会降低提取质量。
- 只有将两者结合，才能在两个指标上都获得高分。
稀缺监督的有效性： “锚定”策略非常有效。使用仅 1/1000 的匹配对来锚定分布目标，使得 CoSAE 能够恢复强大的实例级对齐，其表现达到或超过了使用全量实例级监督训练的模型。
性能表现： CoSAE 在所有对齐指标（ $M_{tr}$ 和 $M_{cont}$ ）上均优于最先进的方法，包括 Crosscoders、通用 SAEs (USAEs) 和 SAE-Aligned (SAE-A)。值得注意的是，通过架构约束（求和代码）来强制实现一致性的 Crosscoders，无法维持强大的独立编码器，而 CoSAE 则能保持鲁棒的独立编码器。
下游效用： CoSAE 学习到的对齐支持具有竞争力的零样本迁移性能（例如 ImageNet 分类），尽管 CoSAE 使用的是稀疏自编码器，其表现可与使用密集投影器（dense projectors）的方法相媲美。

意义与主张

本文声称，概念对齐本质上是一个多目标问题，无法通过单一的代理目标来捕捉。作者认为：

现有方法经常混淆不同的属性，导致对“对齐”的解释存在歧义。
需要一个能够区分“表示对齐 vs. 概念对齐”以及“实例级 vs. 分布级”的严谨定义，以推动研究进展。
最强的实际性能并非来自于完美地优化某一个目标，而是来自于将互补的正则化项与极少的监督相结合。

作者将 CoSAE 定位为不仅是一个新模型，更是对更清晰的对齐理论理解的建设性产物。他们强调，有意义的对齐需要尊重问题的结构，无论是在评估还是在方法设计方面，从而从单一评分指标转向耦合的系列目标。

承认的局限性：

该框架侧重于共享结构，并未显式建模除自我重构之外的特有或领域特定特征。
评估依赖于代理指标而非地面真值（ground-truth）概念，这意味着语义对齐与功能迁移并不总是一致的。
组合目标引入了超参数敏感性。
经验验证局限于特定的架构和数据集，尽管该框架旨在具有通用性。