💬 NLP

PreLort: Prefix-Nested LoRA for Federated Fine-Tuning under Rank Heterogeneity

PreLort 通过引入具有分段聚合和多截断训练的前缀嵌套 LoRA 公式，解决了秩异构下的联邦微调挑战，确保低秩客户端能够从高秩客户端更丰富的表示中获益，同时实现比现有方法更优的准确率和效率。

原作者： Muhammad Waseem, Nurbek Tastan, Andrej Jovanovic, Nicholas D. Lane, Nils Lukas, Karthik Nandakumar, Samuel Horvath

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Muhammad Waseem, Nurbek Tastan, Andrej Jovanovic, Nicholas D. Lane, Nils Lukas, Karthik Nandakumar, Samuel Horvath

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一群人如何写出一个伟大的故事。你有一个非常聪明、经过预训练的“基础”作家（大语言模型），他精通语法和事实，但需要学习你这个项目的特定风格。

在理想的世界里，你组里的每个人都拥有相同的脑力和记忆力来学习这种新风格。但在现实世界中（联邦学习），有些人拥有强大的计算机（高秩/High Rank），而另一些人则只有内存有限的老旧手机（低秩/Low Rank）。

问题所在：“一刀切”的混乱

论文称之为秩异构性（Rank Heterogeneity）。

如果你尝试直接合并所有人的学习更新，就像是试图将一个完整的管弦乐团与一名独奏小提琴手混合在一起。

旧方法（零填充/Zero-Padding）： 为了让他们匹配，你告诉那位独奏小提琴手，假装他身后跟着整个管弦乐团，但他其实只是在缺失的乐器位置上演奏“沉默”。当大家对表演进行平均时，小提琴手的“沉默”会稀释掉管弦乐团灿烂的音乐。结果就是一种浑浊、混乱的声音。
失配问题（Misalignment）： 即使你尝试在数学上进行混合，高能力的学习者可能专注于歌曲的“结尾”，而低能力的学习者可能专注于“开头”。当他们混合时，开头和结尾就对不上了。

解决方案：PreLort（前缀嵌套 LoRA）

作者提出了一个名为 PreLort 的新方法。你可以把它想象成像俄罗斯套娃或分层蛋糕一样组织学习过程。

1. 嵌套训练（“分层蛋糕”策略）

PreLort 不再让高能力的学习者关注整个蛋糕，而让低能力的学习者只关注一小块，而是强制要求每个人先学习蛋糕的底层。

运作方式： 无论学生的能力如何，他们都被训练去掌握任务的“核心”（底层）。
- **低秩（Low-Rank）**的学生只学习底层。
- **高秩（High-Rank）**的学生学习底层，外加中层和顶层。
神奇之处： 高能力的同学被强制要求在添加他们华丽的顶层之前，必须确保底层是完美的。这确保了“底层”（即前缀/Prefix）包含了所有人达成共识的最重要的共享信息。

2. 分段聚合（“智能混合”策略）

当需要合并所有人的学习成果时，服务器（老师）不会直接把所有东西倒进一个桶里。相反，他们会分层进行混合。

底层： 老师会将来自所有人（包括独奏者和小提琴手和管弦乐团）的底层进行混合。由于每个人都很好地学习了这一层，它会变成一个超级强大的基础。
中层： 老师只从那些真正学习了中层的学生（管弦乐团）那里提取并混合中层。他们不会把小提琴手的“沉默”包含在这里。
顶层： 只有最强大的学生才会对此做出贡献。

为什么这行得通

通过将“重要内容”强行注入共享的底层（前缀），并只让“额外容量”进入顶层，PreLort 解决了两个问题：

无稀释： 当混合顶层时，低能力的学习者不会因为“零填充”而被淹没。
完美对齐： 每个人对底层的含义都达成了一致，因此最终的模型是稳定且连贯的，即使有些学生只贡献了底层部分。

实验结果

论文在不同的“作家”（TinyLlama 和 Qwen）以及不同的任务（编写指令、新闻分类）上测试了该方法。

更高的准确率： 这些模型的写作水平更高，理解指令也更准确，优于以往的方法。
更高的效率： 他们在不需要扩大模型规模或降低速度的情况下实现了这些结果。
稳定性： 无论组内是拥有极强电脑还是极弱电脑的混合组合，该方法都能稳定运行。

简而言之： PreLort 通过确保每个人都共同掌握基础，然后仅让“强者”在顶层添加额外的才华，从而避免了“弱者”拖累“强者”的情况，也避免了污染共享的基础。

技术摘要：PreLort —— 用于处理秩异构性的前缀嵌套式 LoRA 联邦微调

1. 问题陈述

联邦学习（FL）能够实现大语言模型（LLMs）的协作训练而无需共享原始数据，但在通过参数高效微调（PEFT）方法（如低秩自适应 LoRA）适配基础模型时面临显著挑战。一个主要的障碍是秩异构性（rank heterogeneity）：在现实的跨设备设置中，客户端拥有不同的计算和内存约束，导致它们初始化具有不同秩（ $r$ ）的 LoRA 适配器。

现有的异构联邦 LoRA 解决方案主要侧重于聚合阶段，通常采用零填充（zero-padding）来对齐不同秩的适配器以进行平均。然而，作者指出这些方法存在一个根本性的局限性：表示失配（representation misalignment）。即使在数学上定义了聚合，将独立训练的不同秩模型进行组合也会导致不一致性。具体而言，低秩客户端无法从高秩客户端的更新中获益，因为信息并未在秩维度上进行层次化分布。零填充进一步通过引入零值段稀释了高秩客户端的贡献，导致共享低秩表示的利用率低下。

2. 方法论：PreLort

作者提出了 PreLort（Prefix-Nested LoRA，前缀嵌套式 LoRA），该框架通过共同构建训练动力学和聚合规则来解决秩异构性问题。其核心理念是将适配器维度组织成一个前缀层级结构，确保较低秩的维度编码跨所有客户端共享的任务相关信息，而较高秩的维度则捕捉增量容量。

2.1 嵌套低秩结构

PreLort 对适配器维度施加了前缀结构的组织方式。对于秩为 $r_k$ 的客户端，只有前 $r_k$ 个维度是活跃的。至关重要的是，在本地训练期间，适配器并非仅在其全秩下进行优化。相反，它是在**多个截断配置（前缀子秩）**下进行优化的。

机制： 秩为 $r_k$ 的客户端不仅要在 $r_k$ 秩下表现良好，还要在联邦中存在的所有较低秩水平（ $r \in \{r \mid r \le r_k\}$ ）下表现良好。
目标： 这迫使模型将任务相关的信号集中到领先（低秩）维度中，确保这些维度即使在被截断时也能保持信息量和实用性。

2.2 本地训练策略

客户端 $k$ 的本地目标定义为在所有有效前缀子秩 $R_k$ 上计算的交叉熵损失的平均值：
$\mathcal{L}_k = \frac{1}{|R_k|} \sum_{r \in R_k} \mathcal{L}_{CE}(f(\cdot; \theta, r), \mathcal{D}_k)$
在实践中，每个训练步骤涉及一次全秩前向/反向传播，以及针对所有子秩的额外传播。这种策略确保了前缀段在显式优化的粒度上与聚合时使用的粒度保持一致，从而促进了一个一致的层级结构，使较低维度的维度捕捉到最关键的信息。

2.3 分段聚合

为了避免零填充造成的稀释，PreLort 引入了一种在梯度（更新）空间运行的分段聚合规则。

过程： 服务器不是对每个维度平均所有客户端，而是仅针对其秩 $r_k$ 足以贡献该段的客户端子集（即 $r_k \ge r_l$ ），对每个秩段 $[r_{l-1}, r_l)$ 进行梯度聚合。
公式： 对于第 $l$ 个段，聚合后的梯度为：
$\nabla A_{global}^{r_{l-1}:r_l} = \frac{\sum_{k: r_k \ge r_l} n_k \nabla A_k^{r_{l-1}:r_l}}{\sum_{k: r_k \ge r_l} n_k}$
益处： 这防止了来自零填充低秩客户端的信号稀释，并确保高秩维度仅由具备学习能力的客户端进行更新，同时低秩维度能从全量人群中获益。

3. 核心贡献

本文概述了三个主要贡献：

识别表示失配： 作者指出，缺乏跨秩维度的结构化对齐是当前异构联邦 LoRA 方法的关键局限，会导致表示不一致。
嵌套公式化与统一策略： 他们提出了一种嵌套低秩公式，施加了共同的前缀结构。这与统一的训练和聚合策略相结合，实现了跨异构秩的稳定聚合，且无需零填充。
实证验证： 该方法在指令微调基准测试中，相对于之前的异构联邦 LoRA 方法，在模型质量和稳定性方面表现出持续的提升。

4. 实验结果

作者在两个基础模型（TinyLlama-1.1B 和 Qwen2.5-0.5B）以及三个数据集（Alpaca、Databricks-dolly-15 和 20 Newsgroups）上评估了 PreLort。

性能指标： PreLort 在 准确率（MMLU, 20 Newsgroups）和 ROUGE-L 分数方面始终优于基准方法（ZeroPad, HetLoRA, FLoRA）。
- 在 TinyLlama-1.1B 上，PreLort 在 MMLU (Dolly) 上达到了 33.86% 的准确率，在 Alpaca 上达到了 30.76%，超过了次优的基准方法。
- 在 Qwen2.5-0.5B 上，它在 MMLU (Dolly) 上达到了 39.85% 的准确率。
困惑度（Perplexity）： PreLort 在两个基础模型的 Dolly 和 NewsGroup 数据集上均实现了最低的困惑度，展示了卓越的词元级似然度。
秩鲁棒性： 分析表明，PreLort 在不同的前缀截断水平下保持了稳定的性能。相比之下，像“仅嵌套聚合（Nested Aggregation Only）”这样的基准方法表现出不稳定性，特别是在高秩情况下，这证实了仅靠聚合而没有嵌套训练目标是不够的。
逐维度重要性： 维度重要性可视化显示，PreLort 将任务相关信号集中在领先维度中（呈现结构化分布），而标准训练则产生均匀分布。这种层级优先级的设定促进了异构秩之间的稳定更新。

5. 意义与主张

论文声称 PreLort 代表了处理秩异构性的范式转变：它不再仅仅将其视为一个事后聚合问题，而是通过构建训练过程本身来解决。

核心论点： 作者认为，解决秩异构性不仅需要改进聚合，还需要跨秩的表示结构化对齐。
效率： 该方法允许低秩客户端从高秩客户端贡献的更丰富信息中获益，因为前缀维度被一致地学习和聚合。
对局限性的坦诚： 作者承认，由于每个 batch 需要进行多次前向/反向传播，嵌套训练策略引入了约 40% 的额外计算开销。他们还指出，其有效性取决于足够的本地优化步数；如果本地 epoch 非常有限，模型可能无法充分学习到对齐良好的低秩前缀表示。

总之，PreLort 证明了处理联邦 LoRA 中的秩异构性，最好是通过联合构建如何训练适配器（通过嵌套前缀优化）以及如何聚合它们的更新（通过分段规则），从而实现对齐、鲁棒的前缀表示，其表现优于现有的异构聚合方法。