🤖 machine learning

Manifold-Constrained Hyper-Connections for Parameter-Efficient Finetuning

本文介绍了流形约束超连接（mHC），这是一种新颖的参数高效微调方法，通过对冻结的 Transformer 中的残差连接进行适配，证明了虽然 m-HC 单独使用时并不总能优于 LoRA，但将 mHC 与 LoRA 相结合，在相同的参数预算下，能产生更优越的语言建模性能和基准测试增益。

原作者： Valentijn Oldenburg, Floris de Kam, Bente Zuijdam, Lieve Eberson, Nicky van Zutphen, Stef de Wildt, Ivo Verhoeven

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Valentijn Oldenburg, Floris de Kam, Bente Zuijdam, Lieve Eberson, Nicky van Zutphen, Stef de Wildt, Ivo Verhoeven

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个庞大且极其聪明的机器人，它已经通过学习几乎所有已写下的文献，学会了阅读、写作并理解这个世界。这个机器人是一个“基础模型”。它非常博学，但也是一台巨大且沉重的机器。如果你想教它一个新技巧——比如写有趣的笑话或解决数学问题——通常你需要调整它的内部齿轮。但同时转动所有这些齿轮既昂贵又缓慢，有时还会让它忘记旧有的技能。因此，科学家们发明了“参数高效微调”（Parameter-Efficient Finetuning，简称 PEFT）。你可以把 PEFT 想象成给机器人安装一个小型、定制的附加模块，而不是重建整个机器人。你冻结机器人的大脑，只训练这个微小的全新部分。

长期以来，这些附加模块的工作方式是通过改变机器人的内部权重（就像调节弹簧的张力）或者添加新的小盒子来处理信息。但机器人的大脑中有一个巨大的部分一直被大家束之高阁：那就是“残差连接”（residual connection）。想象一下一条传送带，它将信息从一层传递到另一层，旁边还有一条小路径，机器人在那里进行一些复杂的处理，然后再将结果合并回传送带。这条传送带至关重要；它能防止机器人在处理得越来越深时变得混乱。现在的重大问题是：如果我们不只是让这条传送带保持原样呢？如果我们为这条传送带构建一个聪明的、可训练的交通控制器，让我们能够决定不同的信息流如何精确地混合和合并，会怎样？

这篇论文介绍了一种名为流形约束超连接（Manifold-Constrained Hyper-Connections，简称 mHC）的新方法。研究人员尝试用这些聪明的交通控制器来包裹一个被冻结的机器人（具体是一个 OLMo-2 模型），以观察是否能更高效地教它完成新任务。他们发现，虽然这些控制器确实有效，但它们在“微调”设置下的表现与在机器人从零开始构建时截然不同。最令人惊讶的发现是：最好的交通控制器往往是那个对信息流不做任何改动的控制器。

这里有个转折：研究人员发现，当他们让机器人学习如何混合不同的信息流时，情况反而变糟了或者几乎没有帮助。然而，当他们强制要求混合部分保持与原始机器人完全一致（即“恒等”设置，意味着“不要改变流动”）时，机器人的表现更好，且消耗的资源更少。事实证明，对于一个已经掌握大量知识的机器人来说，最好的策略不是重新学习如何打乱思路，而仅仅是学习在哪里看以及在哪里写入新想法，同时让其思想的主干道保持原样。

虽然这种新方法（mHC）在单独使用时并没有击败现有的冠军（如 LoRA），但它在与它们结合使用时展现出了令人兴奋的前景。将“智能交通控制器”与标准的“权重调节器”结合起来，创造了一个比两者单独使用时都更强大的团队。这表明，我们有一种全新的方式来微调这些机器人——不是通过改变它们的齿轮，而是通过重新规划它们思想的流动方式——这可能是未来 AI 的一个强大工具。

关于智能交通控制器的故事

研究人员从一个简单的想法开始：AI 模型中的传送带（残差连接）通常只是一条直线。信息进入，经过处理，然后出来，并与原始输入相加。论文作者们想：“如果我们让这条线变得更聪明呢？”他们引入了超连接（Hyper-Connections），允许机器人拥有多个平行的信息流（比如拥有四条传送带而不是一条），并学习如何将它们混合在一起。

然而，随机混合事物是危险的。如果你在没有计划的情况下混合四股水流，你可能会导致洪水或干旱。为了解决这个问题，他们使用了流形约束超连接（mHC）。你可以把这想象成一个严格的交通控制器规则手册。它确保无论这些流如何混合，总体的“信号”量保持不变。它防止了机器人在穿过数百层时，由于意外放大噪声或丢失重要信息而导致的问题。

团队在 10 亿参数模型（中型机器人）和 70 亿参数模型（巨型机器人）上进行了测试。他们将这种新的 mHC 方法与行业标准 LoRA（调整机器人内部权重）以及其他流行方法进行了对比。

大惊喜：越少混合，效果越好
在最初训练 mHC 时，他们预期机器人会学习一种复杂且独特的混合四条信息流的方式来解决问题。但当他们观察结果时，发现了一些奇怪的现象。在机器人的深层网络中，“混合矩阵”（决定如何打乱流的部分）自然而然地向**恒等矩阵（identity matrix）**漂移。

用通俗的话说，机器人正在学习：处理这些流的最佳方式就是让它们原封不动地通过。这就像一个交通控制器，在观察了一段时间的道路后决定：“你知道吗？让车辆直行而不变换车道，是到达目的地最好的方式。”

研究人员通过手动强制让混合部分保持为恒等矩阵（不允许混合）来测试这一理论。结果显示，机器人的表现更好或至少持平，但使用的参数显著减少。

在 10 亿参数模型的实验中，将混合固定为恒等，使测试损失（衡量误差的指标）从 1.32 降至 1.27，同时节省了超过 800 万个参数。
这表明，对于已经经过预训练的机器人，残差连接中的“混合”部分已经非常完美了。尝试重新学习它是没有必要的，甚至可能是有害的。真正的力量来自于“读”和“写”门——即那些决定观察哪条流以及在哪里放入新信息的闸门。

团队协作的力量
论文还提出了一个问题：“这种新方法能否与旧方法协同工作？”
他们发现，mHC 和 LoRA 就像是两种解决不同问题的工具。LoRA 改变的是齿轮（权重），而 mHC 改变的是交通流（路由）。

当他们将 mHC（带有恒等混合规则）与 LoRA 结合时，机器人变得更强了。
例如，在 70 亿参数模型上，将一个小型的 mHC 模块与 LoRA 结合，使其在数学和推理任务（如 GSM8K 和 HellaSwag）上的表现优于仅使用 LoRA。
论文指出，这种结合之所以奏效，是因为它们从不同的角度解决问题。一个改变机器人知道什么（权重），另一个改变机器人如何获取这些知识（路由）。

这意味着什么
论文总结道，mHC 是一个很有前景的新工具，但它并不是一个取代一切的万能药。

作为单打独斗者： 它并不总能击败像 LoRA 这样现有的最佳方法。
作为搭档： 当它与其他方法结合时，它能脱颖而出，在特定任务中提供改进。
核心教训： 最重要的发现是，在微调过程中，我们应该停止尝试重新学习如何混合残差流。 “恒等”设置（保持流动原样）才是成功的秘诀。

作者承认，他们的发现是基于特定的模型（OLMo-2）和数据集，他们目前还不确定这种“恒等规则”是否适用于每一类 AI 机器人。但“有时最好的改变是保持主干道不动，只是建造更好的出口”这一想法，为让 AI 变得更聪明、更高效开辟了一个新鲜且令人兴奋的方向。

技术摘要：用于参数高效微调的流形约束超连接（Manifold-Constrained Hyper-Connections）

问题陈述

现代深度学习系统日益依赖于在大规模数据集上预训练的基座模型，随后通过微调将其适配到特定的下游任务。虽然更新所有参数在计算上非常昂贵且存在灾难性遗忘的风险，但参数高效微调（PEFT）方法通过冻结主干网络并仅训练少量新增参数来解决这一问题。现有的方法，如 LoRA（低秩自适应）和适配器（Adapter）模块，主要侧重于修改权重矩阵或插入局部可训练模块。然而，这些方法在很大程度上保持了模型的架构主干，特别是残差连接（residual connections），未对其进行改变。

残差连接是训练深层网络的基础，它们提供了恒等路径以缓解梯度消失并促进信息流。虽然最近的研究引入了超连接（Hyper-Connections, HC）来泛化残差连接，允许模型学习不同深度流之间如何交互，但不受约束的 HC 在深度方向上会导致不稳定性。为了在预训练期间稳定这一机制，研究者提出了流形约束超连接（mHC），通过将残差混合矩阵约束在保范数流形上。本文旨在解决的核心问题是：mHC 是否可以有效地被重新利用为针对冻结 Transformer 主干网络的 PEFT 方法，以及其在微调中的行为与最初的预训练设置相比如何。

方法论

作者将 mHC 实现为预训练 Transformer 块（具体为 OLMo-2 模型）的一个封装器，通过修改中间表示在残差流中的路由方式，而不改变冻结的主干权重。

核心机制

标准残差连接遵循 $z_l = f_l(z_{l-1}) + z_{l-1}$ 。mHC 通过维护 $n$ 个并行残差流来泛化这一过程。

路由（Routing）： 模型学习从流中读取（ $h_{pre}$ ）、跨深度进行混合（ $H_{res}$ ）并写回流中（ $h_{post}$ ）。
流形约束： 为了防止不受约束的 HC 中出现的稳定性问题，残后混合矩阵 $H_{res}$ 被约束为双随机矩阵（非负条目，行和列之和均为 1）。这是通过 Sinkhorn-Knopp 算法实现的，即将不受约束的对数投影到 Birkhoff 多胞体上。
变体： 本研究评估了多种参数化方式：
- Sinkhorn mHC： 使用迭代 Sinkhorn 投影。
- mHC-lite： 使用 Birkhoff-von Neumann 定理将 $H_{res}$ 参数化为置换矩阵的凸组合。
- KromHC： 通过较小双随机矩阵的克罗内克积（Kronecker products）构建 $H_{res}$ ，提供更好的可扩展性。
- 静态与动态（Static vs. Dynamic）： 静态变体使用每层固定的学习对数，而动态变体则根据当前输入表示来预测路由参数。

实验设置

主干网络： OLMo-2-0425-1B（1B 参数）和 OLMo-2-1124-7B（7B 参数）。
数据： Tulu-3 SFT OLMo 混合数据集。
基线模型： 与 LoRA、VeRA、（IA）3、Prompt Tuning 和 Layer Tuning 进行对比。
评估指标： 通过下文预测损失（训练/验证）以及下游基准测试（BBH、DROP、GSM8K、HellaSwag、MATH、MMLU、PIQA、TriviaQA）进行衡量。

关键发现与结果

1. 恒等保持在微调中至关重要

一个关键发现是，mHC 在微调中的行为与在预训练中有着本质的不同。

观察： 在微调设置下，学习到的残差混合矩阵 $H_{res}$ 在深层自然地趋向于单位矩阵（ $H_{res} \approx I_n$ ）。
启示： 强制要求 $H_{res}$ 为单位矩阵（完全移除可学习的混合参数）可以在显著减少可训练参数数量的同时，提高或保持性能。
机制： 作者假设在微调过程中，主干网络已经包含了丰富的表示。通过学习到的混合来破坏预训练的残差路径是适得其反的。相反，模型受益于基于输入的读/写路由（ $h_{pre}$ 和 $h_{post}$ ），同时保持深度方向的残差路径是静态的。

2. 作为独立 PEFT 方法的性能

损失降低： mHC 变体成功地降低了训练和测试损失（相对于冻结的基线）。
基准测试对比： 作为一种独立方法，mHC 并不能在所有下游任务上一致地优于 LoRA 或 VeRA 等成熟的基线。虽然它在特定知识型任务（如 TriviaQA、PIQA）上表现出竞争力的结果，但在推理密集型任务上，其表现通常逊于 LoRA。
参数效率： 静态变体（如 Static KromHC）极其轻量（例如 1B 模型仅 384 个参数），但动态变体（表现更好的变体）需要更多参数，从而缩小了与 LoRA 的差距。

3. 与现有 PEFT 方法的协同作用

最具有前景的应用是将 mHC 作为现有方法的补充，而非替代。

结合方法： 将 mHC（特别是保持恒等性的动态 KromHC 变体）与 LoRA 结合使用，可以获得提升。
结果： 在参数预算匹配的情况下，mHC 与 LoRA 的结合提高了语言模型损失，并在下游基准测试（如 7B 规模下的 GSM8K、HellaSwag 和 PIQA）中显示出任务相关的增益。
解释： 这表明 mHC 和 LoRA 在正交的轴向上运行：LoRA 适配局部权重变换，而 mHC 适配表示通过残差流的路由。

意义与贡献

本文做出了五个主要贡献：

全新的 PEFT 维度： 它引入了 mHC 作为冻结 Transformer 的 PEFT 机制，将重点从权重适配转向了残差路由。
机制洞察： 它确定了**恒等保持（identity preservation）**是一个关键发现，证明了在微调中将 $H_{res}$ 固定为单位矩阵可以提高性能，这与学习到的混合在预训练中是有益的这一情况形成对比。
互补性： 它确立了 mHC 在与标准 PEFT 方法（如 LoRA）结合使用时最为有效，提供了一种独特的适配机制，可以提高损失和任务特定性能。
可扩展性： 它在 1B 和 7B 模型规模上验证了这些发现，表明保持恒等性的 mHC 及其与 LoRA 的结合所带来的收益在更大规模下依然存在。
效率： 它证明了残差路由是一种稳定且有效的 PEFT 策略，并且特定的变体（如 KromHC）提供了高效的参数化方案。

结论

本文得出结论，虽然 mHC 作为一种独立的 PEFT 方法并不总能超越 LoRA，但它开启了一个独特且充满前景的微调维度：残差路由。核心结论是，对于冻结的主干网络，通过固定 $H_{res}$ 为单位矩阵来保留预训练的残差路径，同时利用容量进行基于输入的读/写门控，比学习复杂的跨流混合更为有效。因此，mHC 不应被视为现有方法的直接替代品，而应被视为一种互补机制，通过调节表示在模型残差流中的流动来增强 PEFT。