🤖 machine learning

Beyond Structural Symmetries: Linear Mode Connectivity via Neuron Identifiability

本文引入了一个有效函数类与神经元可辨识性的理论框架，用以证明即使在结构不对称的模型中，神经网络也存在大量的近似等价解，并能通过线性低损耗路径实现表示合并。

原作者： Vincent Bürgin, Daniel Herbst, Ya-Wei Eileen Lin, Stefanie Jegelka

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Vincent Bürgin, Daniel Herbst, Ya-Wei Eileen Lin, Stefanie Jegelka

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有两支不同的厨师团队（神经网络），任务是烹饪完全相同的复杂菜肴（解决一个问题）。尽管他们的食谱和初始食材各不相同，但最终做出的菜肴味道几乎一模一样。

在深度学习的世界里，这是一个常见的谜团。通常情况下，如果你取 A 队和 B 队的“权重”（即具体的食谱数值），并将它们取中间值进行混合，结果会变成一团糟，无法食用。这是因为从数学角度来看，这两个团队很可能交换了各自的角色。A 队的“酱料厨师”可能正在做着与 B 队的“香料厨师”完全相同的工作，但由于名字不同，计算机认为它们是不兼容的。

这篇论文——《超越结构对称性：通过神经元可辨识性实现线性模式连通性》——深入探讨了为什么会发生这种情况，以及如何在不需要手动重新标记厨师的情况下解决这个问题。

问题所在：“谁是谁”的混乱

把一个神经网络层想象成一个拥有 100 名长相完全相同的厨师的厨房。在一个标准的厨房里，如果 1 号厨师和 2 号厨师交换了岗位，食物的味道仍然是一样的。这被称为对称性（Symmetry）。正因如此，当两个团队独立训练时，他们可能会自然地将“酱料”工作分配给 A 队的 1 号厨师，但在 B 队中，这个工作却分配给了 50 号厨师。

如果你直接混合 A 队和 B 队的食谱，你实际上是在把“1 号酱料厨师”与“50 号香料厨师”进行混合。结果必然是混乱。通常，科学家们必须停下来，手动搞清楚 A 队的哪位厨师对应 B 队的哪位厨师（这个过程称为“对齐”），然后才能进行混合。

解决方案：给厨师独特的制服

作者提出了一种方法来打破这种对称性，使得厨师能够自然地进入各自正确的角色，而无需进行人工检查。

想象一下，给每位厨师一件独特的、略有差异的制服或一件只有他们能使用的特定工具。

旧方法（对称）： 所有厨师都戴着同样的白帽子。如果他们交换位置，没人会注意到。
新方法（非对称/可辨识）： 厨房经理（研究人员）给 1 号厨师发了一顶红帽子，给 2 号厨师发了一顶蓝帽子，以此类推。现在，如果 1 号厨师试图与 2 号厨师交换，制服的不匹配会让这种交换变得显而易见且“代价高昂”（在精力或误差方面）。

论文引入了一种方法，他们在神经元中添加了一个微小的、固定的、随机的“偏差”（就像一件独特的制服）。这不会改变最终的菜肴，但它迫使训练过程将特定的特征（例如“检测边缘”或“检测曲线”）一致地分配给特定的神经元，无论是在不同的训练运行中。

关键发现：不仅仅是关于制服

论文提出了一个至关重要的、反直觉的发现。如果食材（数据）过于简单或单一，仅仅给厨师提供不同的制服是不够的。

“低秩”陷阱： 想象一下，如果厨房里永远只收到土豆。如果每位厨师被要求处理的都只是土豆，那么无论他们戴的是红帽子还是蓝帽子，都无所谓；他们都在做完全相同的事情。在这种情况下，“制服”并不重要，因为任务太简单了。
“高秩”自由： 如果厨房接收到极其丰富的食材（土豆、胡萝卜、洋葱、香料），独特的制服就开始发挥作用了。戴红帽子的 1 号厨师可能天生更擅长处理胡萝卜，而戴蓝帽子的 2 号厨师可能更擅长处理洋葱。训练过程会自然地将他们锁定在这些角色中。

作者称之为神经元可辨识性（Neuron Identifiability）。这意味着，由于其独特的制服（固定权重）与多样化的食材（数据结构）相结合，网络能够“明确知道”哪个神经元负责什么工作。

结果：团队之间的平滑路径

当网络实现这种“可辨识性”时，神奇的事情发生了：线性模式连通性（Linear Mode Connectivity）。

如果你有两个已经自然进入相同角色的训练好的团队（因为他们的制服和数据迫使他们这样做），你现在就可以将他们的食谱进行中值混合。

没有可辨识性： 混合食谱会产生高“损失障碍”（即糟糕的味道之山）。你必须翻越一座大山才能从 A 队到达 B 队。
具有可辨识性： 他们之间的路径是平坦的。你可以从 A 队直达 B 队，而且一路上菜肴的味道都很好。

这为什么重要

论文表明，我们并不总是需要手动对齐网络来合并它们。如果我们设计好网络架构（通过添加那些“独特的制服”或固定权重），并确保数据足够丰富，网络就会自然地进行自我组织。这使得合并不同的模型、理解它们的工作原理，以及将它们合并为一个更强大的单一模型变得更加容易，而无需面对以往的那些头疼问题。

简而言之： 论文证明了，通过赋予神经元一点点“个性”（固定的随机偏差）并喂给它们多样化的数据，我们可以迫使它们找到自己独特的职责。一旦做到这一点，不同版本的同一个网络就会变得兼容，允许我们像混合两批完美的蛋糕面糊一样，平滑地融合它们。

技术摘要：超越结构对称性：通过神经元可识别性实现线性模式连通性

问题陈述

深度学习模型，特别是过度参数化的神经网络，表现出一种现象：尽管独立训练的解处于高度非凸的损失平面中，但它们往往会收敛到具有相似预测和泛化性能的模型。解释这一现象的一个关键属性是线性模式连通性 (Linear Mode Connectivity, LMC)，即两个训练好的解可以在权重空间内进行线性插值，同时保持较低的损失。

然而，LMC 经常受到参数对称性 (parameter symmetries) 的阻碍，特别是隐藏单元的置换对称性。在标准架构中，置换隐藏单元并补偿相邻层可以使实现的函数保持不变。因此，独立的训练过程会探索同一函数轨道（function orbit）的不同代表，除非进行事后对齐（置换匹配），否则直接的线性插值会失败（出现高损失壁垒）。

近期的研究尝试通过架构干预（例如固定随机权重或掩码）来打破这些结构对称性，以实现非对齐 LMC (unaligned LMC)（无需对齐的 LMC）。然而，实验结果褒贬不一：某些对称性破坏方法能实现非对齐 LMC，而另一些则不能。本文研究了为什么结构对称性破坏有时是不够的，并提出有效的对称性破坏 (effective symmetry breaking) 取决于架构、数据几何以及神经元可识别性 (neuron identifiability) 之间的相互作用。

方法论

1. 理论框架：有效函数类与实现成本

作者开发了一个以有效函数类 (effective function classes) 和实现成本 (realization costs) 为核心的理论框架。

有效函数类 ( $H_i(X)$ )： 对于层中的神经元 $i$ ，这是该神经元在输入支撑集 $X$ （数据分布或学习到的表示）上可以实现的函数集合。
实现成本： 神经元实现特定函数 $h$ 所需的最小权重范数。该成本相对于神经元的有效函数类进行衡量。
通过可识别性实现对称性破坏： 本文将神经元可识别性定义为在独立训练运行中，特征被一致地分配给神经元的现象。当架构不对称性能够引导训练向着唯一的、低成本的特征到神经元的分配方式时，就会发生这种情况。

作者将输入支撑集 $X$ 模型化为位于低维子空间 $U$ 上（假设 3.1）。他们分析了一种对称性破坏干预，其中有效权重矩阵为 $W_{eff} = F + D \odot W$ ，其中 $F$ （固定偏移量）和 $D$ （固定对角掩码）是架构组件，而 $W$ 是可训练的。

2. 量化对称性破坏

核心分析涉及量化实现成本对置换的敏感度。

置换敏感度 ( $\Delta_{\pi, \tau}$ )： 当特征被重新分配到不同神经元（输出置换 $\pi$ ）或输入坐标被重新索引（输入置换 $\tau$ ）时，总实现成本的变化。
中心主导机制 (Center-Dominated Regime)： 作者识别出一个固定权重 $F$ 主导可训练权重 $W$ 的机制。在此机制下，交换神经元的成本主要由它们的固定中心在输入子空间上的投影距离决定。
子空间相干性 ( $\nu(U)$ )： 本文引入了子空间相干性的概念，用以衡量数据的特征方向与标准基底的对齐程度。高相干性意味着掩码特定的输入坐标（通过 $D$ ）会对哪些特征能被哪些神经元实现产生显著影响。

3. 与线性模式连通性的联系

论文建立了神经元可识别性与 LMC 之间的联系。

弦偏差 (Chord Deviation)： 作者分析了两个解之间线性插值路径上网络输出的偏差。他们证明，如果神经元是“中心主导”的（固定权重占主导），则弦偏差很小 ( $O(\beta^{3/2})$ )，这意味着存在较低的损失壁垒。
无需对齐的合并： 如果神经元是可识别的（即其角色由架构和数据固定），则表示可以在无需显式对齐的情况下进行合并，从而实现非对齐 LMC。

核心贡献

神经元可识别性的理论框架： 本文将神经元可识别性形式化为：在最小化实现成本的驱动下，跨训练运行实现特征到神经元的持续分配。它区分了结构对称性破坏（在原始参数空间中打破对称性）与有效对称性破坏（在实际输入支撑集上打破对称性）。
实现成本的表征： 作者推导出了实现成本的闭式表达式，即依赖于固定架构组件（ $F$ 和 $D$ ）投影到输入子空间上的格拉姆矩阵（Gram matrices）的马哈拉诺比斯范数（Mahalanobis norms）。
有效对称性破坏的条件：
- 固定权重 ( $F$ )： 在中心主导机制下，有效对称性破坏要求神经元的投影中心具有足够的间隔。论文提供了渐近界限，表明这种间隔取决于神经元数量 ( $m$ ) 和数据的内在维度 ( $k$ )。如果 $k$ 相对于 $m$ 较小，则难以实现分离，对称性可能仍然在有效层面上保持完好。
- 输入子空间相干性： 论文证明，即使没有较大的固定权重，高子空间相干性也可以通过对角算子 $D$ 实现有效的对称性破坏，因为它使得某些特征方向对于特定神经元来说变得难以实现。
可识别性与特征学习之间的权衡： 作者证明了一个硬性结果，即强对称性破坏（强制执行一致的神经元角色）会限制网络在给定范数预算内可以学习的特征集，与完全对称的随机特征基准相比，这可能会限制表达能力。
对经验现象的统一解释： 该框架解释了为什么某些对称性破坏方法（如具有大固定权重的 W-非对称网络）能产生非对齐 LMC，而另一些（如缺乏固定偏移的稀疏网络）则不能。

实验结果

作者通过在 MNIST 和 CIFAR-10 数据集上的 MLP 和 ResNet（以及初步的 Transformer 扩展）实验验证了其理论。

固定权重规模 ( $\sigma_F$ ) 的影响： 通过对 $\sigma_F$ 进行扫描的实验表明，对于较小的 $\sigma_F$ （实际上是对称的），身份置换（identity permutations）的激活匹配目标较低，且非对齐 LMC 壁垒较高。随着 $\sigma_F$ 的增加，身份置换变得接近最优，且非对齐 LMC 壁垒显著下降。
内在维度 ( $k$ )： 使用合成高斯混合数据，作者展示了即使在具有对称性破坏架构的情况下，当内在维度 $k$ 相对于网络宽度较小时，神经元交换成本也很低。随着 $k$ 的增加，交换成本上升，非对齐 LMC 随之改善。
子空间相干性： 通过改变输入子空间相干性的实验证实，高相干性允许仅通过对角掩码 ( $D$ ) 就能诱导有效的对称性破坏和非对齐 LMC，即使在固定权重 ( $F$ ) 为零的情况下也是如此。
Transformer： 在视觉 Transformer 上的初步结果表明，虽然 W-非对称机制降低了插值壁垒，但注意力机制复杂的对称性（超越了简单的置换）使得实现完美的非对齐 LMC 比在 MLP 中更具挑战性。

意义与主张

本文声称提供了一个统一的理论视角，用于理解何时以及为何参数对称性破坏会导致神经元可识别性和线性模式连通性。

超越结构对称性： 主要意义在于从将对称性破坏视为架构的纯粹结构属性，转向将其视为由架构、数据分布和学习到的表示共同决定的有效属性。
非对齐 LMC 的机制： 这项工作阐明了非对齐 LMC 并非仅仅通过在权重空间中打破置换对称性就能保证；它要求架构能够诱导出一个独特的、低成本的特征到神经元的分配，且该分配在训练过程中是稳定的。
数据几何的作用： 论文强调，数据的几何特性（特别是子空间相和内在维度）在决定对称性破坏干预是否有效方面起着至关重要的作用。
局限性与权衡： 作者谦虚地指出，强对称性破坏可能会以降低特征学习能力为代价，因为网络被约束在了特定的特征-神经元映射中。他们还承认，目前的框架侧重于置换对称性，可能需要扩展到更丰富的对称群（例如 Transformer 中的对称性）。

总之，本文认为神经元可识别性是连接架构干预、数据几何与非对齐模型合并涌现的关键机制，为何时能成功进行非对齐模型合并提供了一个预测性框架。