🤖 machine learning

On-Device Fine-Tuning via Backprop-Free Zeroth-Order Optimization

本文表明，通过消除对激活值和优化器状态的存储需求，内存高效的零阶优化（MeZO）能够在严苛的内存约束下，以牺牲更多实际运行时间为代价换取更高的精度，从而实现对比传统反向传播显著更大的模型进行设备端微调。

原作者： Prabodh Katti, Houssem Sifaou, Sangwoo Park, Bipin Rajendran, Osvaldo Simeone

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Prabodh Katti, Houssem Sifaou, Sangwoo Park, Bipin Rajendran, Osvaldo Simeone

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个巨大且极其聪明的知识库（大型语言模型），并希望将其带到一个小型、电池供电的设备上，例如智能手机或智能手表。你希望该设备能够当场针对你的特定需求学习新技能，而无需连接云端的大型服务器。这一过程被称为设备端微调。

问题在于，设备的“大脑”（内存）与知识库相比微不足道。

旧方法：“反向传播”背包

教导这些模型的传统方法称为反向传播（BP）。这就像一名学生试图通过学习新科目来备考：在参加完考试后，他们立即记录下解题过程中产生的每一个想法、草稿纸和中间计算步骤，以便日后回顾，找出错误所在。

类比：想象你正试图在一张小小的餐巾纸上解决一道复杂的数学题。若要使用旧方法，你必须为问题的每一层都保留一份单独纸张，记录你采取的每一个步骤。
结果：“餐巾纸”（你的设备内存）会瞬间被填满。由于必须保存所有这些中间笔记，你的设备上只能容纳非常小、非常简单的知识库。如果你试图携带一个巨大的知识库，甚至在开始学习之前就会因空间不足而失败。

新方法："MeZO"直觉

这篇论文介绍了一种名为MeZO（内存高效零阶优化）的新方法。该方法不记录中间步骤，而是采用“试错” approach。

类比：想象你试图在迷宫中找到最佳路线。与其绘制一张记录你每一次转弯的地图（这会占用大量纸张），不如迈出一小步，看看是否撞墙，然后朝不同方向再迈一小步，看看是否更好。你只需记住每一步的结果，而无需记住到达那里的整个思维过程。
结果：你无需携带沉重的笔记背包。由于不再浪费空间在“草稿纸”上，你可以在设备上容纳大得多的知识库。

权衡：速度 vs. 规模

论文对这种权衡提出了非常具体的主张：

规模优势：由于 MeZO 无需存储所有那些中间笔记，你可以容纳比旧方法允许至少大 2 倍的模型。如果你进行长对话（即长“上下文”），这一优势会急剧扩大——可达25 倍。
- 简单数学：如果旧方法允许你容纳一个 30 亿词的词典，MeZO 可能允许你在同一设备上容纳一个 130 亿词的词典。
速度代价：缺点是 MeZO 速度较慢。因为它必须多次“猜测并检查”以确定正确方向（而不是直接查看笔记），所以学习过程需要更长时间。
- 论文发现：在他们的测试中，旧方法学习迅速，但因被迫使用小模型而触及了“天花板”。新方法（MeZO）学习缓慢，但由于它使用的是更大、更聪明的模型，经过几小时后，最终达到了更高的准确率。

实际测试内容

研究人员不仅进行了数学推导，还在强大的计算机芯片（H100 GPU）上运行实验以模拟设备环境：

他们比较了使用旧“沉重背包”方法训练的小模型与使用新“轻量级”方法训练的大得多的模型。
结果：尽管新方法耗时更长（约 2 小时才能获得良好结果），但它所训练的大模型明显更聪明（准确率为 82%），而快速训练的小模型准确率不到 75%。
他们还测试了“稀疏”训练（仅更新模型“大脑”的 1%）。即使使用这一技巧，旧方法仍然比新方法需要更多内存，因为“草稿纸”（激活值）仍然是最大的问题。

核心结论

论文得出结论：如果你希望在内存有限的设备上运行真正智能的 AI，MeZO 是更好的选择。它允许你将一个“更大的大脑”带到边缘设备，前提是你愿意多花一点时间让它学习。它通过改变学习发生的方式，而非仅仅缩小模型，将“内存小”这一限制转化为优势。

技术摘要：基于无反向传播零阶优化的设备端微调

问题陈述

设备端微调对于边缘 AI 系统至关重要，使其能够适应特定的代理任务和不断变化的用户需求，而无需依赖外部服务器。然而，存在一个关键瓶颈：传统的基于反向传播（BP）的微调比推理过程消耗多得多的内存。反向传播需要存储每一层的中间层激活值和优化器状态，其内存需求通常是单次前向传播的十倍。因此，受限于严格内存约束的边缘设备被迫部署比推理时小得多的模型进行微调，严重限制了设备端 AI 的能力。

方法论

本文提出并分析了**内存高效零阶优化（MeZO）**作为解决内存瓶颈的方案。与反向传播不同，MeZO 仅通过前向评估（扰动）来估计梯度，从而消除了存储中间激活值或维护优化器状态的需求。

作者的方法包含两个主要组成部分：

理论内存分析：本文推导了仅在解码器 Transformer 模型上反向传播和 MeZO 的内存占用数学估算。分析考虑了以下因素：
- 参数量：包括多头注意力（及分组查询注意力变体）和前馈神经网络（FFN）层。
- 激活存储：计算反向传播所需的缓存激活值内存，该内存随上下文长度（ $N$ ）、批量大小（ $B$ ）和隐藏层维度（ $D$ ）缩放。
- 优化器状态：假设使用无状态 SGD 优化器，以隔离激活存储的影响。
- 实现因素：引入因子 $L' \leq L$ 来表示 MeZO 因特定实现缓冲而存储的最大激活层数，从而进行更现实的比较。
实证验证：通过在单个 H100 GPU 上使用 BoolQ 和 MultiRC 数据集进行的数值实验，验证了理论主张。研究比较了：
- 全量微调：在固定内存预算（约 17 GB）下，比较反向传播（使用 GPT2-medium）与 MeZO（使用 Llama2-7B 和 Llama2-13B）。
- 参数高效微调（PEFT）：使用 Qwen3 模型评估稀疏更新（仅微调 1% 的参数）对反向传播和 MeZO 的影响，以评估稀疏性对内存和准确性的影响。

主要贡献

本文做出了以下具体贡献：

内存分析：理论比较表明，在固定的片上内存预算下，MeZO 可容纳的模型至少比反向传播大2 倍。这一优势随上下文长度缩放，在不进行检查点的情况下，对于长上下文（例如 $N=32768$ ）可达25 倍，在使用激活检查点的情况下约为5 倍。
扩展洞察：分析揭示，虽然参数量内存随层数（ $L$ ）线性缩放，但反向传播中的激活内存随上下文长度（ $N$ ）呈二次方缩放，并随 $L$ 线性缩放。MeZO 避免了二次方上下文惩罚，随着上下文窗口的增长，其优势愈发显著。
实证验证：数值结果证实，虽然 MeZO 在挂钟时间上收敛较慢，但在严格内存约束下，它通过允许部署显著更大、能力更强的模型，实现了更优的验证准确率。
PEFT 评估：研究表明，即使采用稀疏更新（1% 参数调整），反向传播的内存节省也有限（约 12–13%），因为激活存储仍占主导地位。相比之下，MeZO 继续能够在相同的内存预算内微调更大的模型（例如 4B 对比 0.6B），从而产生更好的性能。

结果

准确率与时间的权衡：BoolQ 数据集的实验显示，MeZO 在挂钟时间上的收敛速度慢于反向传播。然而，在微调约 2 小时后，MeZO（使用 130 亿参数模型）实现了约 82% 的准确率，而反向传播（由于内存限制，仅能使用等效的 0.6B-1.5B 较小模型）的准确率仍低于 75%。
内存效率：内存需求比率（反向传播/MeZO）随上下文长度增加。对于 32,768 的上下文长度，在不使用检查点的情况下，MeZO 所需的内存约为反向传播的 1/25。
稀疏性局限：本文证明，通过 PEFT 减少更新参数的数量并不能显著缓解反向传播的内存负担，因为激活存储仍然是主导因素。MeZO 通过完全避免激活存储，即使在反向传播被稀疏化时仍保持其优势。

意义与主张

本文将 MeZO 定位为设备端微调场景的有力候选方案，特别适用于代理边缘系统和持续学习应用。其主要意义在于将约束从“模型大小”转变为“微调时间”。通过接受更长的挂钟训练时间，边缘设备可以微调比反向传播所能实现的模型大几个数量级的模型，从而直接在设备上解锁更高的性能能力。

作者得出结论，MeZO 有效地将训练内存需求降低到推理内存水平，使得在资源受限的硬件上部署更大模型和更长上下文窗口成为可能。他们指出，虽然当前分析侧重于标准 Transformer 架构，但结论可推广至现代变体（例如滑动窗口注意力、混合专家模型），并且需要进一步研究以将这些发现专门化用于神经形态系统和动态稀疏性。