💻 computer science

LoCA: Forward-Only LLM Tuning after One-Shot Calibration with Local Credit Assignment

LoCA 引入了一种两阶段、仅前向传播的微调方法，通过闭式解将全局信用分配摊销为单次的一步式校准，以拟合低秩适配器，从而在实现比 LoRA 更低显存占用和更快推理速度的同时，消除了重复反向传播的需求。

原作者： Linhan Xia, Rui Liu, Zhaofeng Zhang, Yihao Wang, Binrui Shen, Shengxin Zhu

发布于 2026-08-05

📖 1 分钟阅读☕ 轻松阅读

原作者： Linhan Xia, Rui Liu, Zhaofeng Zhang, Yihao Wang, Binrui Shen, Shengxin Zhu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一位才华横溢、世界级的厨师，他已经花费多年时间精通烹饪艺术。这位厨师就是你的“冻结骨干”——一个巨大的、预训练好的 AI 模型，它懂得如何说话、推理和解决问题。现在，你想教他一项新的、特定的技能，比如为一家当地小餐馆制作完美的纯素千层饼。在过去的 AI 训练时代，要教会这个新技能，你必须把整个厨师重新拽回厨房，让他品尝每一种食材，精确计算出他哪里做错了，然后强迫他从头开始重写整本脑内的食谱。这就像仅仅因为需要给酱汁加点罗勒，就要让厨师重新学习如何切洋葱一样。这个过程极其沉重，需要庞大的计算机和巨大的能量，往往使得在较小的设备上实现这一目标变得不可能。

但是，如果你能只给这位厨师一件小巧且专门的围裙呢？这件围裙代表了一个小巧、高效的更新，能帮助他在不重写整个大脑的情况下烹饪新菜肴。这就是“参数高效微调”（parameter-efficient tuning）背后的理念。然而，即使有了这件小巧的围裙，旧的方法仍然要求每次尝试新食材时，都必须把厨师拽回厨房进行一次完整的“向后”（backward）检查。科学家们一直在问的一个大问题是：我们能否跳过这些沉重且重复的厨房检查？我们能否只给厨师一个一次性的调整指令，然后让他只进行“向前”（forward-only）烹饪，仅利用他现有的知识和那件新围裙？这就是“无需反向传播”（backprop-free）训练的挑战，这种方法可以让我们在不需要超级计算机的设备（如标准的笔记本电脑甚至手机）上更新庞大的 AI 模型。

请看 LoCA（局部信用分配，Local Credit Assignment），这是由研究员 Linhan Xia、Rui Liu 及其团队提出的一种全新的两阶段方法。把 LoCA 想象成一种聪明的“一次性校准”技巧。与其让厨师在每次做错菜时都重新品尝整道菜，LoCA 采取了不同的做法。首先，它运行一次快速的、单次的“探测”反向传递——仅仅是一次品味测试——来绘制一张简单的地图。这张地图就像是一份参考表，告诉厨师：“如果最终的菜太咸了，就调整第二层的盐量；如果味道太淡，就微调第四层的香料。”这张地图是低秩的（low-rank），这意味着它是复杂数学的一个简化、压缩版本，但对于微小的变化来说已经足够好了。

一旦创建了这份参考表（反馈算子），真正的魔法就开始了。厨师再也不需要为了每一次新菜品而回到厨房进行完整的向后检查。对于每一道新菜，厨师只需向前烹饪，观察最终结果，然后利用参考表立即计算出如何微调他们的小围裙。这种微调的数学计算是一个“闭式解”（closed-form solution），这就像是拥有一个预先计算好的答案解析，而不是通过猜测和尝试来寻找答案。研究人员在五个不同的任务上对 Qwen2.5 模型进行了测试，这些模型的参数规模从 5 亿到 140 亿不等。他们发现，在 25 次对比中，有 16 次 LoCA 实际上比标准方法 LoRA 产生了更好的结果（更低的交叉熵）。

这些优势对于资源受限的设备来说是巨大的。研究测量显示，LoCA 在显卡上的峰值显存占用比 LoRA 低 26–29%。更重要的是，一旦完成初始校准，在标准 CPU 上的稳态显存占用降低了 36–52%，且每次处理过程所需的时间快了 43–48%。团队甚至展示了他们可以将相同的“参考表”设置应用于不同规模的模型，从微小的 0.5B 模型到庞大的 14B 模型，甚至是另一个模型家族 SmolLM2。

然而，作者也谨慎地指出，这并不是解决一切问题的万灵药。他们提到，这种方法最适用于“小幅度偏移”（small-shift）的适配——即在不改变模型基本人格的情况下，教它一项新的、特定的技能。如果你试图教厨师一种需要大规模重组大脑的全新菜系，参考表可能会过时，届时你需要重新进行校准。此外，虽然 LoCA 更快、更轻量，但它仍然需要那个初始的“探测”反向传递，因此它并非完全脱离了反向计算；它只是将沉重的负担转移到了一个前置的步骤中。研究人员建议，对于那些完全无法进行反向计算的设备，可以使用一台强大的计算机先进行校准，然后将参考表发送过来，从而让较小的设备仅通过向前传递即可完成微调。简而言之，LoCA 提供了一种实用的新方法，通过将沉重的计算工作摊销到单次校准中来更新庞大的 AI 模型，使得在原本无法胜任此项工作的硬件上进行此类微调成为可能。

技术摘要：LoCA —— 基于局部信用分配的无反向传播后训练

1. 问题陈述

后训练技术（如指令微调和领域自适应）通常需要对冻结的主干模型进行重复的端到端反向传播。即使是使用 LoRA（低秩自适应）等参数高效的方法，该过程也需要存储或重新计算激活值、传播梯度并维护优化器状态。这导致内存消耗高达推理时的 12 倍，并显著增加了计算成本，使得此类方法在资源受限的环境或缺乏反向计算支持的设备上难以实现。

虽然存在仅前向的方法（如 MeZO）和局部学习方法，但它们往往面临估计方差高、依赖随机扰动或目标更适用于表示学习而非微调的问题。本文旨在探讨一个问题：是否可以通过一次性的校准，来取代适配过程中所需的重复反向链，从而实现后续通过仅前向执行进行的微调？

2. 方法论：LoCA

作者提出了 局部信用分配（Local Credit Assignment, LoCA），这是一种专为预训练模型的小偏移适配（small-shift adaptation）设计的两阶段方法。LoCA 将信用信号的估计与适配器参数的拟合解耦。

第一阶段：校准（一次性探测）

在主训练循环之前，LoCA 对冻结的主干模型进行一次“探测”反向传播。

目标： 为每个 Transformer 块 $\ell$ 拟合一个低秩反馈算子 $F_\ell$ 。
机制： 该算子将最终层的预测误差 ( $e$ ) 映射为局部隐藏状态梯度的估计值 ( $g_\ell$ )。
实现： 利用来自反向传播的样本，该方法通过求解一个正则化最小二乘问题来寻找 $\hat{F}_\ell$ 。随后，通过奇异值分解（SVD）将该映射截断为低秩近似（秩 $k=8$ ）。
结果： 得到一组固定的矩阵 $\{F_\ell\}$ ，用于在不需要进一步反向传播的情况下近似信用分配。

第二阶段：仅前向适配

校准完成后，微调过程在没有任何通过主干模型进行反向传播的情况下进行。

局部目标： 对于每个块，利用前向隐藏状态 $h_\ell$ 、步长 $\eta$ 以及校准后的反馈算子构建回归目标 $\tau_\ell$ ：
$\tau_\ell = h_\ell - \eta F_\ell e$
其中 $e$ 是源自冻结头部（head）的顶层误差。
闭式解更新： 每个低秩适配器（ $B_\ell$ ）通过求解一个局部岭回归问题进行拟合：
$\min_{B_\ell} \sum_n \| B_\ell p^{(n)}_\ell - \rho^{(n)}_\ell \|^2 + \lambda \|B_\ell\|^2_F$
其中 $\rho_\ell$ 是残差目标， $p_\ell$ 是投影输入。这产生了一个唯一的、闭式的 $B_\ell$ 解，不需要梯度优化器、学习率调度或优化器状态。
迭代： 该过程重复进行 $T$ 个外层步骤。在每一步中，前向传播更新隐藏状态和误差，进而更新下一步的局部目标。

尺度归一化

为了确保该方法在不同模型规模（0.5B 到 14B）之间具有泛化能力，步长 $\eta$ 相对于残差流尺度（ $RMS(h_{\ell-1})$ ）进行了归一化。这使得可以跨不同的模型家族（Qwen2.5 和 SmolLM2）复用一套共享的超参数候选集。

3. 核心贡献

校准局部信用： LoCA 复用了从单次探测反向传播中导出的反馈算子，以生成后续仅前向微调阶段的局部目标。
闭式局部更新： 通过将适配器拟合公式化为带有固定局部目标的岭回归问题，LoCA 消除了在微调循环中进行迭代梯度下降的需求。
经验效率： 该方法在稳态 CPU 内存和单次执行时间方面，表现出比标准 LoRA 和 MeZO 基线更低的内存和时间开销。

4. 实验结果

作者在五个判别式基准测试（SST-2, BoolQ, ARC-Easy, OpenBookQA, HellaSwag）上评估了 LoCA，使用的模型包括 Qwen2.5 系列（范围从 0.5B 到 14B 参数）以及 SmolLM2-1.7B。

性能： 在 25 个报告的任务–规模对比中，有 16 个任务中 LoCA 实现了比相应 LoRA 运行更低的评估交叉熵（CE）。值得注意的是，在 7B 和 14B 模型的 BoolQ 任务上，尽管 LoRA 的交叉熵有所改善，但其准确率大幅下降，而 LoCA 则保持了较高的排名准确率，这表明 LoCA 可能避免了某些过拟合模式。
内存效率：
- GPU 峰值： 包括校准阶段在内，LoCA 的峰值 GPU 显存占用比 LoRA 低 26–29%。
- CPU 稳态： 校准完成后，LoCA 的 CPU 内存占用比 LoRA 低 36–52%。
- 可行性： 在一台 32 GB 的设备上，LoCA 完成了一项 LoRA 因显存溢出（OOM）而失败的任务。
速度： 校准完成后，LoCA 在 CPU 上的单次执行时间比 LoRA 低 43–48%。
超参数复用： 一个经过尺度归一化的步长 $\eta$ 候选集被成功地复用于所有测试的 Qwen2.5 规模和 SmolLM2，并基于留出集的交叉熵进行了选择。

5. 重要性与声明

论文将 LoCA 定位为处理计算或硬件上无法进行重复反向传播场景（例如仅推理设备）的实用解决方案。

摊销成本： LoCA 将全局信用分配的成本摊销到单次校准过程中。一旦完成校准，执行适配的设备仅需进行前向执行和局部线性求解。
不同的适配路径： 作者指出 LoCA 不仅仅是在近似 LoRA；它遵循由局部岭回归目标和留出集选择定义的不同优化路径。这可以带来不同的泛化行为，例如在特定任务中更好地保持排名准确率。
局限性与范围： 作者对其声明持谨慎态度，指出：
- 结果主要是描述性的（基于单次运行），并未证明其相对于 LoRA 的绝对优越性。
- 该方法受限于小偏移适配。如果模型相对于校准状态发生显著偏移，或者对于需要大规模分布偏移的任务（如长文本生成），固定的反馈映射可能会退化。
- LoCA 并非完全“无反向传播”；它需要一个具备训练能力的宿主来进行初始校准。然而，它有效地将繁重的计算任务（校准）与部署任务（仅前向微调）分离。

总之，LoCA 提供了一种权衡方案，通过将迭代反向传播替换为一次性校准及随后的闭式局部更新，实现了高效且资源受限的后训练。