🤖 machine learning

Grounding Functional Similarity by Invariance-Aware Model Stitching

本文通过引入一种基于前向-后向兼容性的不变性感知框架，解决了标准模型缝合在准确评估功能相似性方面的局限性，该框架揭示了由依赖不同信息线索的模型所导致的功能差异。

原作者： Ioannis Athanasiadis, Anmar Karmush, Michael Felsberg

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Ioannis Athanasiadis, Anmar Karmush, Michael Felsberg

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有两位不同的厨师，厨师 A 和厨师 B。他们都以制作出完全相同的菜肴——完美的巧克力蛋糕而闻名。你想知道他们在烹饪方式上是否真的“相似”。他们使用的是相同的食材吗？他们遵循相同的步骤吗？还是他们只是碰巧得到了同样的结果？

长期以来，科学家们试图通过观察最终的蛋糕来回答这个问题。如果厨师 A 和厨师 B 都做出了美味的蛋糕，他们就假设这两位厨师是相似的。在 AI 世界中，这被称为**“模型缝合”（Model Stitching）**。这就像是将厨师 A 配方的上半部分（搅拌碗阶段）尝试接入厨师 B 配方的下半部分（烘焙阶段）。如果蛋糕尝起来仍然美味，我们就说这两位厨师在“功能上是相似的”。

然而，这篇论文指出，仅仅检查最终的蛋糕是一个陷阱。这就像仅凭甜点的味道来评判一位厨师，却忽略了他是使用了新鲜水果，还是偷偷用了一袋糖来作弊。

问题：“魔法捷径”陷阱

作者发现，标准的 AI 测试很容易被愚骗。两个 AI 模型在结束时看起来可能完全一样，因为它们都找到了一个“作弊码”或捷径。

类比： 想象一名学生正在参加考试。
- 学生 A 研读了教科书并学习了数学知识。
- 学生 B 注意到每当题目角落里有一个红点时，答案就是“42”。他忽略了数学，只盯着红点看。
- 如果你只检查他们的最终答案，两名学生都得到了 100 分。你可能会认为他们学到了同样的东西。但事实并非如此。学生 B 依赖于一个“捷径”（那个红点），而学生 A 并不使用它。

在论文中，作者展示了标准的 AI 缝合往往会让这些“红点模型”通过相似性测试，尽管它们在本质上是不同的。他们称之为**“前向兼容性”（Forward Compatibility）**：“前半部分是否能与后半部分配合，从而做出一个好蛋糕？”答案通常是“是的”，即使前半部分是在作弊。

解决方案：“向后”检查

为了解决这个问题，作者提出了一种新方法，称为**“不变性感知模型缝合”（Invariance-Aware Model Stitching）。他们增加了一条规则：“后向兼容性”（Backward Compatibility）**。

类比： 现在，我们不再仅仅检查最终的蛋糕，而是询问：“如果我给你一个看起来完全一样但用略微不同的食材制作的蛋糕，你还会以同样的方式去烘焙它吗？”
运作方式： 研究人员创建了一种特殊的测试，向 AI 输入“看似相同”的输入。这些输入对于模型的早期层来说是完全一致的（例如，两张在我们看来不同、但在 AI 的早期层看来相同的照片）。
- 如果一个 AI 真正具有相似性，它应该能一致地处理这些看似相同的输入。
- 如果一个 AI 依赖于“捷径”（比如那个红点），那么当这个捷径被移除或改变时，即使最终结果看起来没问题，它也会感到困惑。

通过同时检查两个方向（前向和后向），研究人员可以判断两个模型是真的在使用相同的逻辑，还是仅仅靠运气找到了捷径。

他们的发现

论文对不同类型的 AI 模型进行了实验（其中一些经过训练能够抵御“套路”以实现“鲁棒性”，另一些则没有），并发现：

旧方法具有误导性： 标准测试经常判定两个模型是相似的，而实际上它们使用的是完全不同的技巧来解决问题。
新方法更加诚实： “不变性感知”方法正确地识别出，使用捷径的模型与学习真实任务的模型是不相似的。它揭示了此前被隐藏的“功能差异”。
鲁棒模型是真正相似的： 当他们测试那些经过抗干扰训练的“鲁棒模型”时，新方法显示它们确实拥有相似的内部结构。旧方法错过了这一细微差别，因为它过于关注最终得分。

核心启示

你可以将这篇论文看作是一个更严格的 AI 质量控制检查员。

旧检查员： “最终产品能用吗？能用？太棒了，它们是一样的。”
新检查员： “最终产品能用吗？是的。但你是通过作弊达到目的的吗？让我们用一些带有迷惑性的‘看似相同’的输入来测试一下。啊，你是在作弊！你并不像那个诚实的模型那样具有相似性。”

作者得出结论，要真正理解 AI 如何运作，我们不能只看输出。我们必须检查模型的内部逻辑是否一致且鲁棒，而不仅仅是看它是否能靠运气产生正确答案。

技术摘要：通过不变性感知模型缝合实现功能相似性的基准化

问题陈述

功能相似性评估旨在量化独立训练的神经网络在多大程度上学习到了相似的输入-输出关系。一种主流的方法是模型缝合（model stitching），即通过一个可训练的对齐层，将一个网络的前层（前向模型）与另一个网络的后层（后向模型）连接起来。如果生成的缝合组合能够保持高性能，则认为这些模型具有功能相似性。

然而，最近的研究（例如 Smith 等人，2025）指出标准模型缝合存在一个关键局限性：它完全依赖于前向兼容性（forward compatibility）。这意味着它仅评估前向模型的表示是否可以被对齐以解决后向模型的任务。因此，即便两个模型依赖于根本不同的信息线索（例如，颜色 vs 形状，或鲁棒特征 vs 非鲁棒特征），它们仍可能产生兼容的表示，从而导致“误导性”的相似性评估。此外，标准缝合可能会利用此前未见的预测性线索（捷径/shortcuts）来实现对齐，从而进一步掩盖了真实的功能差异。

作者认为，标准缝合本质上对模型的不变性属性（invariance properties）是盲目的。具体而言，它未能考虑后向方向（backward direction）：即后向模型处理缝合后的表示时，是否与其处理其原生表示的方式在处理共享不变性方面保持一致。

方法论

1. 前向-后向兼容性要求

为了解决仅关注前向评估的局限性，作者引入了**前向-后向兼容性（forward–backward compatibility）**要求。该框架提出，要使两个模型具有功能相似性，必须满足两个条件：

前向兼容性： 前向模型的表示可以被对齐到后向模型以解决任务。
后向兼容性： 对于前向模型表示为相同的输入（不可区分表示，Indistinguishable Representations），无论这些表示源自前向模型还是其原生路径，后向模型都必须以相似的方式处理这些表示。

这一要求确保了缝合组合尊重前向模型所诱导的不变性类。

2. 不变性感知模型缝合

作者通过**不变性感知模型缝合（Invariance-Aware Model Stitching）**将这一要求具体化。其核心机制包括：

不可区分表示输入（IRIs）： 利用前向模型 $f_{\le i}$ 生成一个数据集 $D_{IRIs}$ ，其中输入 $x'$ 被优化为在缝合层处产生与原始输入 $x$ 近乎相同的表示（即 $||f_{\le i}(x') - f_{\le i}(x)|| \approx 0$ ）。
训练协议： 缝合层在 $D_{IRIs}$ 上进行训练（使用前向模型的表示），但在标准测试集 $D_{test}$ 上进行评估。
逻辑： 如果模型确实具有功能相似性，那么在 IRIs 上学习到的缝合对齐应该能泛化到标准测试集。如果对齐依赖于 IRIs 生成过程中特有的线索，或者未能尊重后向模型的不变性，性能将会下降，从而揭示功能差异。

3. 缝合对齐目标

论文评估了多种对齐目标，以建立缝合变换 $T_\theta$ ：

硬标签匹配（HLM）： 最小化缝合输出与地面真值标签之间的交叉熵。
软标签匹配 (SLM)： 最小化缝合输出与独立后向模型的软预测之间的交叉熵。
直接匹配 (DM)： 最小化前向模型输出与后向模型在缝合层处中间特征之间的 $L_2$ 距离。
功能潜空间对齐 (FuLA)： 作者提出的新颖目标。它通过最小化缝合组合的内部特征与后向模型特征在多个层级（从缝合层到倒数第二层）之间的距离，有效地模拟了后向模型的内部处理流，而无需依赖输出标签。

核心贡献

识别失效模式： 作者证明了标准模型缝合（即使是在 SLM 和 DM 下，而不只是 HLM）无法区分依赖不同信息线索的模型。他们展示了这些方法即使在模型利用不同视觉线索（如像素捷径）或一个模型鲁棒而另一个模型非鲁棒时，仍可能产生高相似性评分。
不变性感知框架： 他们提出了不变性感知模型缝合，并验证了这是一种更具原则性的方法。通过强制执行前向-后向兼容性，该方法揭示了标准缝合所掩盖的功能差异。
重新评估鲁棒性： 论文重新审视了鲁棒（对抗训练）网络与非鲁棒网络之间的功能相似性。尽管之前的研究认为它们在功能上是相似的，但作者通过不变性感知缝合表明，它们在处理对抗扰动方面表现出显著的功能不兼容性。
对齐目标的分析： 研究分析了不同缝合目标之间的相互作用。研究发现，虽然 FuLA 和 SLM 通常产生较高的功能相似性，但直接匹配 (DM) 往往会揭示潜在层级的失配。作者强调了一种权衡：强制执行更严格潜在对齐的目标（如 DM）可能较不容易利用未见线索，但也可能产生较低的整体相似性得分。

实验结果

作者在包含 ResNet-18、VGG-16、ViT-Tiny 和 ViT-Base 的架构上，针对 CIFAR-10、LS-ImageNet-10 和 ImageNet-100 的图像分类任务进行了实验。

不同信息线索： 当缝合在不同变体 CIFAR-10（例如，一个在像素捷径上训练）上训练的模型时，标准缝合在深层显示出高相似性。相比之下，不变性感知缝合在跨偏差配置下显示出相似性的剧烈下降，正确识别了功能相似性的缺失。
未见预测信息： 研究发现标准缝合公式会利用“捷径”（在原始训练数据中不存在的预测性线索）来对齐模型。不变性感知缝合显著减轻了这种行为，在缺乏此类线索时，将“过度一致”降低到了接近于零。
鲁棒 vs. 非鲁棒模型： 标准缝合表明鲁棒模型和非鲁棒模型在功能上是相似的。不变性感知缝合则揭示，鲁棒模型彼此之间共享更一致的表示结构，而非鲁棒模型则发展出了与鲁棒模型不共享的特有不变性。
目标比较： FuLA 和 SLM 通常达到相当的功能相似性，而 DM 往往导致较低的相似性得分，这表明在输出层之前的特征表示层面就已存在失配。

意义与主张

论文声称，不变性感知模型缝合提供了一个更具基准性和原则性的功能相似性度量。通过超越仅关注前向兼容性并纳入后向兼容性，该方法防止了出现误导性结论——即模型仅仅因为能够通过对齐来解决任务，就被认为具有相似性，尽管它们依赖于不同的底层机制。

作者强调，他们的方法揭示了“此前被掩盖的功能差异”，为理解神经网络内部运作提供了更细粒度的视角。他们得出结论，从多个维度（前向和后向）评估相似性，对于准确评估深度神经网络的内在机制至关重要，特别是在涉及鲁棒性和多样化训练目标的情况下。

局限性： 作者承认缺乏一个关于功能相似性的“先验真值（oracle）”概念，这意味着要得出关于哪种设置“最忠实”的定论仍然具有挑战性。此外，目前的研究仅限于图像分类模型。