🤖 machine learning

Subspace-Constrained Federated Learning with Low-Rank Adaptation

本文提出了一种子空间正则化的联邦学习目标函数，旨在缓解 LoRA 微调过程中异构客户端数据中的几何失配问题，并通过在 RoBERTa-large 和 SmolLM-360M 上的广泛实验证明，该方法通过强制实现客户端之间近乎完美的基向量重叠，显著提升了收敛速度和准确率。

原作者： Neranjan Senarath, Rohit Muralitharan, Sadia Asif

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Neranjan Senarath, Rohit Muralitharan, Sadia Asif

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，有10个朋友正试图一起学习一段新的舞蹈动作，但他们都分别在不同的房间里（这就是联邦学习/Federated Learning）。他们不能分享自己练习时的私人视频录像（这是为了保护隐私），而且他们只能向中央教练发送简短的文字信息来描述他们的动作（这是通信限制）。

为了节省时间和带宽，他们不会发送整个舞蹈流程。相反，他们只发送一些他们发明的关键“动作”或“微调”（key "moves" or "tweaks"）。这类似于 LoRA (Low-Rank Adaptation) 技术，该技术允许人们通过只调整模型中一个极小且高效的部分来学习复杂的任务。

问题所在：朝着不同的方向跳舞

论文指出一个隐藏的问题：因为每个朋友都在练习不同的歌曲或风格（数据异构性/heterogeneous data），他们发明的动作最终会指向完全不同的方向。

朋友 A 发明了一个向左旋转的动作。
朋友 B 发明了一个向右旋转的动作。
朋友 C 发明了一个向前跳跃的动作。

当教练收集所有这些动作来创造一个“全局舞蹈”时，它们会互相抵消。向左转抵消了向右转；跳跃动作也会在混乱中丢失。这被称为**“无声抵消”（Silent Cancellation）**。教练看到了每个人付出的努力，但最终结果却很微弱，因为这些动作在互相博弈。

解决方案：“共享参考”规则

作者提出了一种名为 Subspace-Regularized LoRA（子空间正则化 LoRA） 的新规则。

想象一下，教练在大家开始练习之前，给了每个人一段“理想”动作的共享参考视频。规则是：“你可以发明自己的新动作，但你的动作必须与这个共享参考视频的方向保持高度一致。”

这就是子空间约束（Subspace Constraint）。它并不会阻止他们学习，只是温柔地引导他们让自己的“舞池”保持对齐。

与其让朋友 A 疯狂向左转，朋友 B 疯狂向右转，不如让他们都调整旋转方向，使其更接近教练的参考方向。
当教练组合他们的动作时，这些动作会相互增强，而不是互相抵消。

他们测试了什么

研究人员在两个不同的“舞者”（AI 模型）上测试了这个想法：

RoBERTa-large： 一个非常庞大、复杂的模型。
SmolLM-360M： 一个更小、更紧凑的模型。

他们模拟了 10 个朋友（客户端），使用了不同的数据，并运行了 24 次实验以确保结果可靠。

实验结果

1. “对齐”得分（他们是否在同步跳舞？）
团队测量了朋友们的动作对齐程度。

旧方法： 朋友们的动作有一定的对齐度（约 96% 到 99% 的重叠）。
新方法： 朋友们的动作几乎完美对齐（99.99% 的重叠）。他们都在完全相同的“舞池”上跳舞。

2. 性能得分（舞蹈看起来好吗？）

在大模型（RoBERTA）上： 新方法取得了巨大的成功。由于动作完美对齐，最终的舞蹈表现比以前好得多。准确率显著提升，而“错误”（损失值/loss）大幅下降。
在小模型（SmolLM）上： 这里的结果令人惊讶。尽管新方法实现了完美的 99.99% 对齐，但最终的舞蹈得分并没有比旧方法提高多少。小模型似乎即使在有一点点不对齐的情况下也能表现得相当不错。

核心结论

论文证明了几何对齐（geometric alignment）（确保每个人都在大致相同的方向上移动）是真实存在的，并且可以通过他们的新规则来实现。

然而，论文也警告说，完美的对齐并不总是能保证更好的最终得分。

对于大型复杂模型，对齐是解锁更好性能的关键。
对于较小的模型，即使实现了完美的对齐，对齐本身也不一定能转化为巨大的分数提升。

简而言之： 作者构建了一个系统，强制 AI 模型在学习更新的方向上达成“共识”。这阻止了它们在学习过程中互相干扰。对于大模型，这个系统效果极佳；但对于小模型，仅仅在方向上达成一致并不是获得高分的唯一要素。

技术摘要：受子空间约束的联邦学习与低秩自适应

1. 问题陈述

联邦学习（FL）能够在不共享原始数据的情况下实现跨去中心化客户端的协作训练，但它在面对客户端数据分布异构时面临重大挑战。在标准的联邦平均算法（FedAvg）中，统计异构性会导致“客户端漂移”，即局部模型更新发生偏离，从而引起不稳定性和收敛缓慢。

随着大型基础模型的兴起，低秩自适应（LoRA）已成为联邦学习中一种流行的参数高效微调技术。LoRA 将权重更新 ( $\Delta W$ ) 约束为低秩分解 ($BA$)，从而降低了通信和计算成本。然而，本文假设在数据分布异构的情况下，不同的客户端会学习到占据不同子空间的低秩更新。当这些几何上不一致的更新在服务端进行朴素聚合时，它们可能会部分相互抵消——这种现象被称为**“无声抵消”（silent cancellation）**。这种结构性抵消会削弱全局更新的有效幅度，即使单个客户端取得了实质性的局部进展，也会阻碍收敛。

2. 方法论

作者提出了子空间正则化 LoRA（Subspace-Reg），这是一个旨在将局部客户端更新与共享全局参考子空间对齐的框架。

2.1 目标函数

每个客户端 $k$ 优化一个包含近端对齐惩罚项的子空间正则化目标函数。其目标函数为：
$L_k^{SR}(w_k) = \min_{A_k, B_k} \left\{ L_k(w_k) + \frac{\mu}{2} \|B_k A_k - \Delta W_g^{(t)}\|_F^2 + \frac{\lambda}{2} (\|A_k\|_F^2 + \|B_k\|_F^2) \right\}$
其中：

$L_k(w_k)$ 是局部损失。
$\Delta W_g^{(t)}$ 是当前的全局低秩更新（服务端参考）。
$\mu$ 控制子空间对齐的强度。
$\lambda$ 对低秩因子进行正则化。
Frobenius 范数项将局部更新约束在靠近服务端参考更新的范围内，从而鼓励建设性的聚合。

2.2 算法

训练遵循标准的联邦学习结构，并进行了如下修改：

初始化： 服务端初始化一个具有正交列的全局低秩基 $B_g$ 。
服务端步骤： 服务端采样客户端，通过对先前客户端更新的加权和进行 SVD 分解来计算全局参考更新，并广播模型和参考基。
客户端步骤： 每个客户端初始化其局部因子并执行 $E$ $E$ 个局部轮次。局部梯度下降最小化子空间正则化损失，该损失包括：
- 主要任务损失。
- 一个惩罚乘积 $B_k A_k$ 偏离全局参考 $B_g A_g$ 的项。
- 一个可选的惩罚基 $B_k$ 偏离 $B_g$ 的项。
聚合： 客户端将更新 ( $\Delta W_k = B_k A_k$ ) 发送至服务端，由服务端进行聚合并更新全局模型。

3. 理论分析

本文提供了理论分析，以理解子空间对齐如何影响异构情况下的收敛。

几何抵消界限： 作者推导出聚合更新的平方范数取决于客户端更新之间的交叉项。在异构情况下，如果更新不一致，这些交叉项会变为负值，从而降低有效更新幅度（无声抵消）。
收敛保证： 在标准假设（平滑性、有界异构性、有界方差和有界低秩更新）下，本文证明了平均平方梯度范数的收敛界限。
- 该界限包含一个 $C_1 \sigma^2 / \mu^2$ 项，代表对齐惩罚。
- 与遭受固定抵消项影响的标准 LoRA-FedAvg 不同，Subspace-Reg 允许通过增加对齐参数 $\mu$ 使该惩罚项变得任意小。
- 作者推导了使 $\mu$ 和通信轮数 $T$ 达到目标梯度精度 $\epsilon$ 的条件。

4. 实验结果

该方法在 RoBERTa-large 和 SmolLM-360M 两个预训练模型上，使用 HellaSwag 数据集（非 IID 设置，Dirichlet $\beta=0.5$ ）进行了评估。实验在 3 个随机种子（42, 43, 44）下运行，总计 24 次运行。

4.1 RoBERTa-large 的表现

Subspace-Reg 显著优于所有基线方法（FedAvg, SVD redistribution, 和 FedSVD）：

准确率： 实现了最高的平均最佳准确率 (0.454 ± 0.023) 和平均最终准确率 (0.429 ± 0.011)，在最佳准确率方面比表现最好的基线（FedSVD）高出约 0.118。
损失： 实现了最低的最终损失 (1.363)。
对齐度： 实现了近乎完美的基底重叠（Basis Overlap）（≈0.9999），而基线方法的数值为 0.958–0.991。

4.2 SmolLM-360M 的表现

在 SmolLM-360M 上的结果显示，准确率增益是依赖于模型的：

准确率： FedAvg 获得了最高准确率 (0.581)，而 Subspace-Reg 位列第二 (0.564)。
对齐度： 尽管没有带来准确率提升，但 Subspace-Reg 保持了近乎完美的基底重叠 (0.99989)，这与 RoBERTa 的结果一致。
结论： 几何对齐是成功的，但对于该特定模型，它并未转化为下游准确率的提升。

4.3 关键诊断发现

基底重叠 vs. 余弦相似度： 虽然基于 SVD 的方法实现了更高的基于余弦的指标（客户端-全局余弦、成对余弦），但它们并未像 Subspace-Reg 在 RoBERTa 上那样带来准确率提升。作者指出，基底重叠（直接的子空间对齐）才是关键的诊断指标，而非余弦相似度。
鲁棒性： 近乎完美的基底重叠在所有种子和两种模型中均保持一致，验证了几何对齐假设，即使下游性能有所不同。

5. 重要性与主张

本文声称具有以下贡献和意义：

识别了“无声抵消”： 它强调了 LoRA 联邦学习中的子空间不一致会导致破坏性聚合，这是一个此前未被充分探索的现象。
提出子空间正则化目标： 它提出了一种近端对齐惩罚，明确鼓励局部更新保持在全局参考子空间附近，将 FedProx 的概念从参数量级扩展到了几何结构。
理论改进： 它提供了一个收敛界限，表明对齐惩罚是可调的，在异构环境下提供了比标准 LoRA-FedAvg 更严格的保证。
实证验证： 它证明了所提方法能持续实现近乎完美的基底重叠（≈0.9999）。在 RoBERTa-large 上，这转化为了显著的准确率增益。在 SmolLM-360M 上，它证实了几何对齐可以独立于下游准确率实现，表明对齐的益处是依赖于模型的。
诊断洞察： 该工作确立了在联邦 LoRA 设置中，基底重叠比余弦相似度是更相关的聚合质量指标。

作者总结道，虽然子空间对齐是一种鲁棒的几何机制，但其对最终任务性能的影响取决于特定的模型架构和容量，这值得进一步研究为何这些益处在不同模型间存在差异。