🤖 machine learning

Generalizing the Geometry of Model Merging Through Frechet Averages

本文提出了一种基于在适当流形上进行弗雷歇平均以确保对称不变性的通用模型合并框架，展示了其涵盖现有方法（如费舍尔合并）的能力，并提供了一种用于合并低秩适配器（LoRA）的实用算法，以解决当前方法的局限性。

原作者： Marvin F. da Silva, Mohammed Adnan, Felix Dangel, Sageev Oore

发布于 2026-05-01

📖 1 分钟阅读☕ 轻松阅读

原作者： Marvin F. da Silva, Mohammed Adnan, Felix Dangel, Sageev Oore

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你有一支由专家厨师组成的团队。每位厨师都精通一道特定的菜肴：一位能做出完美的千层面，另一位能制作理想的寿司，第三位则擅长最精致的舒芙蕾。现在，你想创造一位能完美烹制这三道菜的“超级厨师”，但你没有时间去从零培训一位新厨师。你只想融合现有厨师们的知识。

在人工智能领域，这被称为模型合并。你取不同 AI 模型的“权重”（内部参数），尝试将它们融合为一个模型。

问题：“错误的地图”

该论文指出，过去进行这种操作的方式，就像试图通过在一张纸上简单平均这些厨师的食谱数字来混合他们的配方。如果所有人使用相同的语言和相同的单位，这种方法行得通。

但 AI 模型有一个隐藏的怪癖：对称性。
可以这样理解：厨师 A 可能写下“2 杯面粉”，而厨师 B 写下"1 杯面粉 + 1 杯面粉”。它们的意思完全相同，但数字看起来不同。或者，厨师 C 可能在笔记本中交换了食材的顺序，但菜肴的味道完全一样。

在 AI 中，存在许多种用不同数字写下完全相同“食谱”（模型）的方式。如果你只是对数字取平均值（朴素平均），你可能会得到一份写着"0 杯面粉”的食谱，因为正负数字相互抵消了。你创造了一个无法烹制任何东西的损坏模型。

作者将这种现象称为脱离轨道。想象“真正”的食谱存在于一个圆形轨道上。如果你只是在轨道上的两点之间画一条直线，你就会穿过圆的中间，最终陷入泥潭（损坏的模型），而不是停留在好食谱所在的轨道上。

解决方案：“智能指南针”（GeoMerge）

该论文提出了一种名为GeoMerge的新方法。他们不再简单地平均数字，而是将 AI 模型的空间视为一个弯曲的地形（黎曼流形）。

地图：他们意识到，由于对称性（用不同方式书写同一食谱），真正的“地图”不是一张平坦的纸。它是一个折叠、弯曲的表面，其中不同的点实际上代表相同的事物。
指南针：他们使用一种名为Fréchet 平均的数学工具。不要将其视为简单的平均值，而应将其视为在弯曲表面上寻找“重心”。
对齐：在混合模型之前，他们首先“对齐”它们。这就像确保厨师 A 和厨师 B 都使用相同的量杯，并按相同的顺序书写。他们找到每位厨师食谱中与彼此最接近的特定版本，忽略数字书写方式上的表面差异。
路径：他们不直接穿过泥潭，而是沿着弯曲的路径（测地线）行走，这条路径始终停留在“好食谱”的轨道上。

这对"LoRA"（专业厨师）为何重要

该论文重点关注一种流行的技术，称为LoRA（低秩自适应）。想象这些不是全能的厨师，而是只微调几种特定食材以改进菜肴的专业副厨师。

作者发现，当你尝试使用旧方法合并这些专业微调时，“对称性”问题甚至更加严重。副厨师们的笔记非常灵活，可以用成千上万种不同的方式书写，而所有这些方式都意味着相同的内容。

旧方法（KnOTS）：试图使用一种僵硬的、逐步的数学技巧（SVD）强行对齐笔记。它效果尚可，但就像试图把方钉强行塞进圆孔里。
GeoMerge：认识到笔记自然地存在于一个弯曲的表面上。它利用“智能指南针”找到群体的真正中心，而无需将它们强行塑造成僵硬的形状。

结果

研究人员在一个针对不同类型语言谜题（自然语言推理）进行了专业化的大型 AI 模型（Llama 3）上测试了这种方法。

结果：GeoMerge 创造了一位“超级厨师”，其表现优于之前的最佳方法（KnOTS）。
效率：更棒的是，GeoMerge 在保持食谱“大小”（即秩）较小的同时做到了这一点。旧方法最终产生了一个庞大、臃肿的食谱（高秩），而 GeoMerge 保持了其精简和高效，证明它更好地理解了该问题的几何结构。

一句话总结

该论文指出：不要只是平均数字。AI 模型就像可以用许多不同语言书写的食谱。如果你想合并它们，首先需要将它们翻译成一种通用语言（对齐），然后使用尊重世界形状（几何）的地图来寻找群体的中心，而不是使用一把平直的尺子。这样可以防止“超级厨师”变成一个破碎的混乱体。

以下是 da Silva 等人论文《通过 Fréchet 平均推广模型合并的几何结构》的详细技术总结。

1. 问题陈述

模型合并旨在将多个训练好的神经网络合并为单个模型，而无需额外的端到端训练。虽然简单的参数空间平均（例如 Model Soups）对全秩微调模型效果良好，但在应用于参数高效微调（PEFT）方法（如LoRA，低秩自适应）时，其表现却显著不佳。

核心问题在于架构对称性：

神经网络参数并非规范坐标；由于对称性（例如神经元置换、重缩放或低秩分解中的规范对称性），不同的参数设置可以表示完全相同的输入 - 输出函数。
朴素平均（欧几里得平均）忽略了这些对称性。它可能导致“偏离”正确的几何轨道，引发破坏性干扰，致使合并后的模型崩溃或性能低下。
现有的对齐方法（如 KnOTS）试图通过 SVD 对齐任务更新来解决这一问题，但它们通常依赖于特定的规范选择或坐标相关的启发式方法，未能完全尊重底层几何结构。

2. 方法论：GeoMerge

作者提出了GeoMerge，这是一个将模型合并重新表述为在黎曼流形上计算Fréchet 平均的框架。

核心概念转变

GeoMerge 不再在欧几里得空间中平均参数，而是将参数空间视为一个商流形（ $\mathcal{M} = \bar{\mathcal{M}} / G$ ），其中 $G$ 是对称群（例如 LoRA 中的 $GL(r)$）。

内蕴平均：目标是在商流形上找到一个点，使其到输入模型的测地线距离之和最小。
对称不变性：通过在商空间上操作，合并过程对输入模型的具体参数化（规范）保持不变。

数学表述

Fréchet 平均：给定模型 $\theta_1, \dots, \theta_T$ ，合并后的模型 $\mu^*$ 是 Fréchet 泛函的最小化器：
$\mu^* \in \arg\min_{\mu \in \mathcal{M}} \sum_{i=1}^T w_i d_{\mathcal{M}}(\mu, \theta_i)^2$
其中 $d_{\mathcal{M}}$ 是流形上的测地线距离。
LoRA 的商几何：
- LoRA 更新表示为 $\Delta W = GH^\top$ 。这种分解具有 $GL(r) $对称性：$ (G, H) \sim (GA^{-1}, HA^\top)$。
- 作者提出使用极分解（Polar Factorization）（ $\Delta W = UBV^\top$ ）将问题映射到 Stiefel 流形（$St$）和对称正定（SPD）流形的乘积上。
- 他们定义了特定的黎曼度量：
  - 针对 SPD 因子（ $B$ ）的仿射不变度量。
  - 针对正交因子（ $U, V$ ）的规范 Stiefel 度量。
算法（商 GeoMerge）：
该算法通过交替执行两个步骤来计算平均值：
- 对齐（轨道最小化）：对于当前估计值 $\mu_t$ ，为每个输入 $\theta_i$ 寻找一个对称变换 $G_i$ ，使其与 $\mu_t$ 的距离最小化。这将输入对齐到相同的“规范”（水平空间）。
- 内蕴平均：计算从 $\mu_t$ 到对齐输入的对数映射（切向量）。这些向量保证是水平的（正交于对称轨道）。平均值通过沿由这些水平向量的加权和定义的测地线移动来更新。

3. 主要贡献

几何统一：本文确立了模型合并本质上是在黎曼流形上计算 Fréchet 平均的问题。它将各种合并策略统一在这一几何视角之下。
感知对称性的合并：通过将参数空间明确建模为商流形，它为 PEFT 中的“未对齐”问题提供了原则性解决方案，确保合并结果对规范选择具有不变性。
与 Fisher 合并的联系：作者证明，在使用二次代理并忽略协方差变化时，Fisher 加权合并是 Fisher-Rao 几何（信息几何）下 Fréchet 平均的一种可行近似。然而，他们指出，标准的 Fisher 合并仍然存在对称性问题，因为平均机制本身并不具备对称不变性。
LoRA 的实用算法：他们利用极分解和特定的黎曼度量，推导出了针对 LoRA 适配器的具体算法，从而能够在无需数据的情况下高效计算测地线和对齐。
玩具模型分析：他们为简单的缩放对称模型提供了闭式解析解，证明了朴素欧几里得平均会失效（坍缩至零），而 GeoMerge 能正确恢复内蕴预测器。

4. 实验结果

作者在Llama-3 8B模型上评估了 GeoMerge，该模型使用了在六个自然语言推理（NLI）数据集（SNLI、MNLI、SICK、QNLI、RTE、SciTail）上微调的 LoRA 适配器。

基线：他们与KnOTS进行了比较，KnOTS 是一种最先进的方法，通过在合并前通过联合 SVD 对齐 LoRA 更新。
性能：在归一化准确率（合并模型准确率与最佳专家模型准确率之比）方面，GeoMerge 在所有数据集上均一致优于 KnOTS。
- 平均归一化准确率：GeoMerge 达到91.88%，而 KnOTS 为90.38%。
效率：一个关键发现是，GeoMerge 以低得多的有效秩实现了更优越的性能。
- KnOTS 通常将合并模型的秩增加到 $T \times r$ （其中 $T$ 是任务数量）。
- GeoMerge 保持原始秩 $r$ ，这表明它通过尊重流形几何结构而非扩展参数空间，更有效地利用了权重容量。

5. 意义与影响

理论进步：本文将模型合并的范式从“启发式参数平均”转变为“流形上的几何优化”。它强调了几何选择（度量和流形）是合并中最关键的设计选择。
鲁棒性：通过内蕴地解决对称性问题，GeoMerge 为合并专用模型提供了更鲁棒的解决方案，特别是在低秩更新成为标准的 PEFT 时代。
未来方向：该框架为整合其他几何概念（如黎曼中位数、Huber 平均）以及扩展到其他 PEFT 方法或存在对称性的全秩模型打开了大门。它还表明，“对齐”不仅仅是预处理步骤，而是商空间上平均过程的固有组成部分。

总之，GeoMerge通过将问题视为商流形上的几何平均任务，解决了模型合并在架构对称性下的脆弱性，从而在 LoRA 合并中实现了最先进的性能，并提高了参数效率。