🤖 machine learning

Forward Pass Domain Adaptation (Without Cross-Layer Backpropagation)

本文介绍了前向传递（Forward-Pass-Only, FPO）训练，这是一种针对大语言模型的领域自适应方法，它通过将单一的输出层误差信号直接应用于目标层而不进行反向传播，从而实现了显著更高的吞吐量和更低的内存占用，同时在领域内和领域外基准测试中均保持了与标准微调相当的性能。

原作者： Rivaan Patil, Simon Dennis, Hao Guo, Kevin Shabahang

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rivaan Patil, Simon Dennis, Hao Guo, Kevin Shabahang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大语言模型是当今许多最先进人工智能引擎背后的核心，它们能够进行写作、推理和解决问题，其流畅程度曾一度被认为机器无法企及。为了让这些模型适用于特定任务，例如诊断医学状况或分析法律文件，研究人员通常会对它们进行“微调”。这个过程涉及向模型展示大量的全新专业数据，并调整其内部设置，使其学习新世界的模式。然而，这种调整极其昂贵。它需要强大的计算机来运行模型的正向传播以获取答案，然后再进行反向传播，以精确计算出如何改变系统的每一个部分来获得更好的结果。这个反向步骤对内存的需求巨大，通常是仅运行模型所需内存的三倍，这使得在标准消费级计算机上或在对速度要求极高的场景下执行该操作变得不可能。

加州大学圣克鲁兹分校与墨尔本大学的研究团队发现了一种完全绕过这一昂贵反向步骤的方法。他们发现，对于大语言模型而言，学习新信息所需的最重要的调整主要发生在网络的最后几层，即处理链的末端。通过仅关注这些后层，并仅利用正向传播中可获得的信息来计算必要的变更，他们创造了一种名为“仅正向传播 MLP 训练”（Forward-Pass-Only MLP training）的新型训练方法。这种方法允许模型在无需回溯其自身结构的情况下学习新技能，将内存需求降低了约 40%，并使过程比标准方法快了近 3 倍。至关重要的是，这种速度和效率的提升并没有带来通常会出现的“遗忘原有知识”的问题；虽然传统方法在学习新专业领域时往往会降低模型的通用能力，但这项新技术能保持模型的原始知识完好无损。

这一发现的核心在于一个简单但深刻的观察：关于这些模型如何处理信息。在标准的训练过程中，计算机在模型输出的最末端计算一个误差信号，然后将该信号逐层向后传递，以调整网络内部的权重。研究人员意识到，对于模型最后四分之一的层，所需的调整方向几乎与仅利用输出和当前模型状态即可计算出的信号完全一致，而无需进行路径回溯。他们通过六个不同的公开模型（参数量从 30 亿到 80 亿不等）测试了这一想法，并发现，所需调整的真实方向与这种更简单的、仅靠正向传播的信号高度吻合。这种一致性足以投入实用，因为在近一半的情况下，信号指向的方向基本相同，且这种一致性在不同的模型架构中均保持稳定。

为了将这一理论付诸实践，团队开发了一个快速诊断工具，在单个计算机芯片上运行仅需约两分钟。该工具可以测量特定模型的简单正向信号与复杂反向信号之间的匹配程度。它就像一张地图，能精确指导研究人员在网络的哪些位置可以安全地跳过反向传播。一旦确定了这些“可行”的后层，训练过程就会发生根本性的变化。系统不再构建一个庞大且复杂的记录来保存模型执行的每一步以便稍后逆转，而是简单地运行模型正向传播，计算末端的误差，并直接对目标层进行修正。在此过程中，从未构建过反向传播，也没有浪费内存去存储计算的历史记录。这消除了阻碍许多人在自有硬件上进行大模型微调的主要瓶颈。

该方法在三个不同模型家族上的测试结果令人瞩目。在速度方面，这种新方法比标准微调快 2.7 到 3.2 倍，使研究人员能在相同时间内处理更多的数据。在内存受限的硬件（如单张高端显卡）上，该方法允许同时处理更大批次的数据，而标准方法则会因内存限制而崩溃。或许最重要的一点是，该方法保留了模型的通用智能。当研究人员在各种无关任务（如回答常识问题或解决逻辑谜题）上测试经过适配的模型时，这些模型的表现与训练前几乎完全一致。相比之下，使用标准方法训练的模型在这些通用任务上的表现往往会显著下降，这种现象被称为“灾难性遗忘”。新方法避免了这一陷阱，在学习新专业领域的同时，保持了其广泛能力的稳定性。

研究人员还探讨了为何能实现这种通用知识的保留。他们将自己的方法与一种混合方法进行了对比——在混合方法中，他们仅更新模型的后层，但仍使用标准的、缓慢的反向传播。他们发现，通用知识的保留并非源于这种新计算方法本身，而是由于将变更限制在了网络的后层。处理语言和推理基本构建模块的前层保持不变，从而防止了模型覆盖其核心理解。然而，新方法是实现这一目标的唯一可行途径，因为当仅限于少数几层时，标准的反向传播既太慢又太耗费内存，难以实际操作。新方法使得在这一“安全区”内进行操作成为可能，从而实现了高效学习并最大限度减少遗忘。

尽管该方法非常有效，但也存在局限性。使用该技术训练的模型在学习新领域的深度上不如使用完整、缓慢方法的模型；它们在所教特定任务上的提升幅度略低。这就是权衡之处：新方法牺牲了一小部分在特定任务上的最高性能，以换取在速度、内存效率以及通用知识保留方面的巨大提升。研究人员认为，对于许多现实应用场景，例如为特定用户定制模型或在消费级硬件上将其适配为专业行业工具，这种权衡是非常值得的。该方法开启了一扇门，让原本需要在数据中心才能完成的适配过程，现在可以在单台机器上运行，同时还能确保模型的原始智能不受过度专业化带来的损害。

技术摘要：前向传播领域自适应 (Forward Pass Domain Adaptation, FPO)

1. 问题陈述

在特定领域数据上微调大语言模型 (LLM) 通常需要对整个网络进行完整的反向传播。这一过程需要存储每一层的激活值以计算梯度，导致内存占用比推理时高出 2–3 倍。这种开销使得在消费级 GPU、边缘设备或高吞吐量个性化场景中进行微调变得难以实现。虽然像 LoRA 这样的参数高效方法减少了优化器状态，但它们仍然需要完整的反向传播，从而必须构建完整的激活图。此外，全网络微调往往会导致“灾难性遗忘”，即模型在非领域基准测试（如 MMLU、ARC-Challenge）上的性能显著下降，且这种行为在不同的随机种子下并不能可靠地复现。

2. 核心观察与方法论

本文提出，在 Transformer 的后期层 (late layers)，针对 MLP 权重的真实梯度可以用仅通过前向传播即可计算的量来近似。

2.1 理论基础

对于第 $\ell$ 层的 MLP 权重 $W^{(\ell)}$ ，其真实梯度 $\nabla W^{(\ell)}L$ 可分解为：
$\nabla W^{(\ell)}L = \tilde{g}W^{(\ell)} + R W^{(\ell)}$
其中：

$\tilde{g}W^{(\ell)}$ 是输出投影伪梯度 (output-projected pseudogradient)。它通过将输出层误差通过解嵌入转置 (unembedding transpose) 以及仅通过最终归一化层的闭式雅可比矩阵 (closed-form Jacobians) 进行反向传播来计算。该过程假设 $\ell$ 层与输出之间的所有中间层均表现为恒等函数。
$R W^{(\ell)}$ 是残差项，包含了来自中间非线性层和跨 Token 路由的贡献。

对六个公开模型（3B–8B 参数）的经验调查显示，在最后 25% 的层中， $\tilde{g}W^{(\ell)}$ 与真实梯度之间的余弦相似度在 0.47 到 0.59 之间。这表明残差在正交方向上的分量足够小，使得输出投影成分能够捕捉到主导的梯度方向。

2.2 诊断工具

作者引入了一个层可行性诊断工具 (layer-viability diagnostic)，用于量化每一层的这种余弦相似度。

流程： 在单个 GPU 上运行一个小规模校准批次（16 个序列，每个序列 512 个 Token），耗时约两分钟。
输出： 它能识别出在最终层中的“高平台 (high-plateau)”区域，即在该区域内，对齐强度足以被利用。这使得从业者能够确定在特定模型中，后期层自适应是否可行。

2.3 仅前向传播的 MLP 训练 (FPO)

FPO 是一种无需构建自动求导图 (autograd graph) 或在模型主体中运行反向传播即可实现语言模型自适应的算法。

机制：
1. 执行标准的正向传播，缓存目标层的 MLP 中间激活值 ( $h_{mid}$ )。
2. 计算输出层误差 ( $e = \text{softmax}(z) - y$ )。
3. 将 $e$ 投影到残差流空间，使用语言模型头转置 ( $g = e W_{lm}$ )。
4. 将 $g$ 与归一化层（如 RMSNorm）的闭式雅可比矩阵结合，生成特定层的信号 $\tilde{g}^{(\ell)}$ 。
5. 权重更新：
  - 下投影 ( $W_3$ )： 使用 $\Delta W_3 \propto -\tilde{g}^{(\ell)T} h_{mid}$ 进行精确更新。
  - 门控 ( $W_1$ ) 和上投影 ( $W_2$ )： 这些层需要 MLP 隐藏空间的梯度信号。FPO 通过使用缓存的初始权重 ( $W_3^{init}$ ) 作为固定反馈矩阵来近似该信号： $\text{error}_h = \tilde{g}^{(\ell)} W_3^{init}$ 。由于 $W_3$ 在自适应过程中变化缓慢，该近似是成立的。
约束： 层与层之间不传递信号；不构建自动求导图。峰值内存开销仅限于目标层的缓存激活值以及这些特定层的优化器状态（约占参数量的 10%）。

3. 核心贡献

层可行性诊断工具： 一个快速的、耗时两分钟的工具，能够量化输出投影伪梯度与真实梯度之间的余弦相似度，从而确定任何自回归 Transformer 可行的目标层。
FPO 算法： 一种无需通过模型主体进行反向传播即可实现领域自适应的训练方法。它比全网络监督微调 (SFT) 快 2.7–3.2 倍，比部分层 SFT (SFT-partial) 快 2.2 倍。它将峰值训练内存降低了约 40%。
基准测试安全机制 (Benchmark-Safe Regime)： 经验证据表明，通过 FPO 将自适应限制在后期层，可以使非领域基准性能保持在与基线相当的水平（在种子噪声范围内）。相比之下，全网络 SFT 和 LoRA 通常会导致这些基准性能显著下降。

4. 实验结果

该方法在三个模型系列上进行了评估：OLMo-2-7B、Qwen3-8B 和 Falcon3-7B，并在数学、生物医学和科学文本上进行了自适应。

吞吐量与内存：
- FPO 在 H100 GPU 上的吞吐量达到 22.0K–22.7K tokens/s，而全量 SFT 为 7.5K–8.7K tokens/s。
- FPO 支持更大的批次大小（例如，批次大小为 8–10），即使在 SFT 无法运行的硬件上也能实现（例如，OLMo-7B 在批次大小为 1 时使用 ~30GB 内存，而 FPO 在批次大小为 8 时使用 ~40GB）。
基准测试保留情况：
- FPO： 使非领域基准测试（MMLU, ARC-Challenge, HellaSwag, Winogrande）维持在基线值的 0.22 点以内。在 OLMo-2-7B 上，它甚至显示出 +0.91 的提升。
- 全量 SFT 与 LoRA： 始终导致基准性能下降。OLMo 上的全量 SFT 具有高方差，某些种子会导致严重损伤（高达 -8.86 点），而 LoRA 则表现出持续的退化（-0.68 到 -3.96 点）。
领域内性能：
- FPO 实现了领域内困惑度 (perplexity) 的改善，尽管比全量 SFT 或 LoRA 小（例如，OLMo 为 -6.3% 对比 -11.4%）。
- 至关重要的是，FPO 保持了留存文本 (held-out text) 的困惑度接近基线，而 LoRA 往往会显著降低性能（例如，Qwen3 上为 +19.4%）。
机制控制 (SFT-partial)：
- 仅将标准 SFT 限制在 FPO 目标层（冻结其余部分）的做法，重现了 FPO 的基准测试保护效果。这证实了层选择（后期层自适应）是基准测试安全性的主要驱动因素，而 FPO 是实现这一机制的实用手段。

5. 重要性与声明

本文声称 FPO 使“后期层梯度在很大程度上与输出层信号冗余”这一观察结果得以工程化落地。其重要性在于：

可行性： 使在因内存限制而无法进行全量反向传播的消费级 GPU 和边缘设备上进行领域自适应成为可能。
稳定性： 提供了一种“基准测试安全”的机制，使模型在适应新领域的同时不会丧失通用能力，这是全网络微调无法可靠实现的特性。
效率： 提供了比标准微调快 3 倍的吞吐量优势，使迭代开发和大规模个性化变得更加迅速。

作者指出了局限性：FPO 目前仅在具有特定归一化布局的因果语言模型（3B–8B）上得到了验证。它针对的是下一 Token 交叉熵损失，若用于指令微调或强化学习 (RL) 目标，则需要重新推导。该方法依赖于一个假设，即 $W_3$ 的变化足够缓慢，以至于初始权重可以作为有效的反馈矩阵来支持 $W_1$ 和 $W_2$ 的更新。