🤖 machine learning

SURGE: Surrogate Gradient Adaptation in Binary Neural Networks

本文介绍了 SURGE，这是一种新颖的可学习框架，它通过采用带有全精度辅助分支的双路径梯度补偿器和自适应梯度缩放器来动态平衡梯度贡献，从而缓解二值神经网络中的梯度失配和信息丢失问题，进而在各项任务中超越了最先进的方法。

原作者： Haoyu Huang, Boyu Liu, Linlin Yang, Yanjing Li, Yuguang Yang, Xuhui Liu, Canyu Chen, Zhongqian Fu, Baochang Zhang

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Haoyu Huang, Boyu Liu, Linlin Yang, Yanjing Li, Yuguang Yang, Xuhui Liu, Canyu Chen, Zhongqian Fu, Baochang Zhang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人识别猫和狗。为了让这个机器人足够快且足够小，能够安装在像智能手表这样微小的电池供电设备上，你决定简化它的“大脑”。你不再让它使用复杂的高精度数字（如 3.14159），而是强制它只使用两个简单的开关：开（1）或关（-1）。

这被称为二值神经网络（BNN）。它极其高效，但存在一个大问题：教一个只懂得“开/关”思维的机器人，就像试图教一个只能说“是”或“否”的学生如何解数学题。当老师试图纠正学生的错误（这一过程称为“反向传播”或梯度下降）时，“否”这个答案没有可供遵循的斜率。数学计算因此崩溃，导致机器人陷入停滞或学习效果极差。

旧方法：“猜测与截断”法

多年来，研究人员使用一种称为**直通估计器（STE）**的技巧。

类比：想象机器人犯了一个错误。老师说：“好吧，假装你没说‘否’，假装你说了‘是’，然后我们继续。”
问题：这是一个粗略的猜测。这就像老师忽略学生答案中偏差过大的部分。如果学生的答案过高或过低，老师就将其截断（切断），并说：“让我们假装那部分从未发生过。”这丢弃了有价值的信息，导致机器人形成带有偏见且不完整的理解。

新方法：SURGE（“影子导师”）

这篇论文介绍了一种名为SURGE（代理梯度自适应）的新方法。SURGE 不再仅仅依靠猜测，而是在训练过程中引入了一个影子导师。

其工作原理分为两个主要部分：

1. 双路径梯度补偿器（影子导师）

想象一下，在训练期间，机器人拥有两个并行工作的“大脑”：

主脑（二值化）：这是你真正想要保留的机器人。它只使用 1 和 -1。它负责实际工作。
影子导师（全精度）：这是第二个“完美”的大脑，与主脑并行运行。它使用正常的复杂数字。它能清晰地看到一切。

它们如何协同工作：

前向传播（学习）：主脑使用 1 和 -1 做出决策。影子导师在一旁观察，但不改变主脑的最终答案。输出结果与普通的二值机器人完全一致。
反向传播（修正）：当需要修正错误时，主脑试图使用旧的“猜测与截断”方法进行自我学习。但此时影子导师会介入。它说：“嘿，主脑因为截断数据而遗漏了一些细节。让我计算那些缺失部分的真实修正值，并将其添加到主脑的学习中。”

这使得主脑能够利用影子导师的精度进行学习，而自身无需变得复杂。一旦训练完成，影子导师就会被丢弃，留下的只是一个微小、快速的二值机器人。

2. 自适应梯度缩放器（音量旋钮）

这里存在一个风险：影子导师非常聪明，可能会大声喊出它的修正意见，以至于淹没了主脑自身的学习。

解决方案：SURGE 包含一个智能的音量旋钮（称为自适应梯度缩放器）。
工作原理：它持续监听主脑和影子导师。如果影子导师的修正过于强烈，它就调低音量；如果太弱，就调高音量。它动态地平衡两者，使它们完美协作，而不会让一方压倒另一方。

为何这很重要

作者在三类不同的任务上测试了这种新的“影子导师”系统：

图像分类：识别图片（如猫、狗或手写数字）。
目标检测：在视频或图像中寻找物体。
语言理解：阅读和理解文本（如 BERT 模型）。

结果：
在每一项测试中，SURGE 方法都优于之前的最佳方法。

在著名的ImageNet数据集（一个巨大的照片集合）上，使用 SURGE 训练的二值网络达到了**62.0%**的准确率，显著超越了之前的最佳记录。
它还在目标检测和语言任务中提升了性能，证明了这种“影子导师”方法适用于不同类型的 AI。

总结

SURGE 通过为“二值”（开/关）AI 模型在训练期间提供一个临时的、高精度的“影子导师”，解决了训练难题。这位导师填补了二值模型丢弃的缺失信息，但一旦训练结束，导师就会消失，留下一个超快、微小且高度准确的二值模型，随时准备部署到现实世界的设备上。

技术摘要：SURGE：二值神经网络中的代理梯度自适应

1. 问题陈述

二值神经网络（BNN）的训练依赖于对不可微分二值化操作（如符号函数）的梯度进行近似。目前的标准方法是直通估计器（STE），它在反向传播过程中用恒等函数的导数替代符号函数的零梯度。然而，STE 及其变体存在两个关键局限性：

梯度失配：固定值的梯度近似引入了估计偏差和优化不稳定性，因为符号函数的真实梯度在几乎处处为零。
通过截断导致的信息丢失：为了提高精度，STE 通常采用固定范围的梯度截断（例如，仅保留输入在 $[-1, 1]$ 范围内的梯度）。这丢弃了该范围之外值的梯度信息，导致训练次优，特别是在激活量化方面。

现有方法通常依赖手工设计的启发式方案（例如分段多项式或特定的激活函数）来缓解这些问题，但无法保证最优的梯度近似，也无法解决二值前向传播与连续梯度流之间的根本性失配。

2. 方法论：SURGE

本文提出了SURrogate GradiEnt Adaptation（SURGE），这是一种可学习的梯度补偿框架，旨在纠正梯度失配，同时不改变前向传播输出或引入推理开销。SURGE 包含两个主要组件：

2.1 双路径梯度补偿器（DPGC）

DPGC 通过为每个二值化层（主分支）构建一个并行的全精度辅助分支来解决梯度失配问题。

架构：对于输出为 $f_b(x)$ 的二值化层，DPGC 引入一个输出为 $f_a(x)$ 的全精度分支。最终层输出合成如下：
$\text{output} = f_b(x) - \text{detach}(f_{ao}(x)) + f_{ao}(x)$
其中 $f_{ao}(x) = \lambda f_a(x)$ 是缩放后的全精度计算， $\text{detach}(\cdot)$ 阻止梯度从被减项中流过。
机制：在前向传播过程中，输出与标准 BNN 保持完全一致。在反向传播过程中，梯度流被解耦为两条路径：
1. 二值路径：提供标准的 STE 代理梯度（ $g_b$ ）。
2. 辅助路径：提供全精度梯度（ $g_a$ ），捕捉高阶项并补偿因 STE 的一阶近似和截断而丢失的信息。
结果：辅助分支注入“补偿梯度”以恢复被截断的区域并减少偏差，同时前向输出保持不变。训练完成后，辅助分支将被丢弃。

2.2 自适应梯度缩放器（AGS）

为了防止来自全精度辅助路径的大幅度梯度破坏主二值分支的收敛稳定性，SURGE 引入了一个自适应梯度缩放器。

动态平衡：AGS 使用基于范数的缩放因子 $\lambda_{AGS}$ 动态平衡二值梯度和辅助梯度的贡献：
$\lambda_{AGS} = \eta \frac{\|g_b\|_2}{\|g_a\|_2 + \epsilon}$
其中 $\eta$ 是基础缩放系数， $\epsilon$ 是稳定项。
理论基础：该缩放因子源自理论分析（定理 5.3），旨在最小化复合梯度与理想参考梯度之间的均方误差。范数比近似确保二值梯度主导更新方向，而辅助梯度提供感知幅度的补偿。

3. 主要贡献

SURGE 框架：一种新颖的梯度补偿策略，采用双路径梯度补偿器来解决 BNN 中的梯度失配问题。它通过在训练后丢弃辅助分支，保留了标准 BNN 的推理效率。
自适应梯度缩放器（AGS）：一种机制，基于理论推导的最优缩放因子，动态均衡来自二值分支和辅助分支的梯度贡献，确保训练稳定。
最先进性能：大量实验表明，与现有方法相比，SURGE 在图像分类、目标检测和语言理解任务中均取得了更优越的性能。

4. 实验结果

作者在四个标准基准上评估了 SURGE：

图像分类（CIFAR-10）：SURGE 在 ResNet-18、ResNet-20 和 VGG-Small 骨干网络上均优于所有最先进（SOTA）方法（包括 ReCU、IR-Net 和 RBNN）。例如，在 ResNet-18 上，SURGE 达到了 93.1% 的 Top-1 准确率，超过了 ReCU（92.8%）。
图像分类（ImageNet-1K）：
- 单阶段训练：SURGE 训练的 ResNet-18 达到了 62.0% 的 Top-1 准确率，优于 RBONN（61.4%）和 ReCU（61.0%）。
- 两阶段训练：SURGE 达到了 66.7% 的 Top-1 准确率，略优于 RBONN（66.5%）。
目标检测（PASCAL VOC）：使用带有 ResNet-18 骨干网络的 Faster-RCNN 框架，SURGE 达到了 77.0% 的 mAP，超过了之前的 SOTA IDa-Det（76.5%）和实值基线（76.4%），同时提供了显著的内存和计算节省。
语言理解（GLUE）：在 BERT-base 上，SURGE 取得了 72.0 的平均分数，优于 BiT（70.6）和 BiBERT（63.2）。

消融研究：

移除 DPGC 导致 CIFAR-10 上的准确率下降了 0.4%。
移除 AGS 导致准确率进一步下降了 0.2%。
研究证实，补偿所有激活梯度（包括被截断和未被截断的）能产生最佳结果，这验证了恢复因 STE 固定截断而丢失的信息的必要性。

5. 意义与主张

本文主张，SURGE 代表了 BNN 训练的重大进步，它超越了手工设计的梯度近似，转向一种可学习的、具有理论基础的补偿框架。

理论基础：与以往的启发式方法不同，SURGE 基于梯度的矩统计量分析推导其缩放机制，提供了一种平衡梯度贡献的原则性方法。
效率：该方法在推理过程中不引入额外的计算开销，因为辅助全精度分支在训练后会被丢弃。训练开销适中（对于 CNN 约为 +25% 的时间和 +7.6% 的内存），作者认为鉴于显著的精度提升，这是可以接受的。
通用性：该框架与架构无关，已成功应用于卷积网络（ResNet、VGG）、目标检测器（Faster-RCNN）和 Transformer（BERT）。

作者总结道，SURGE 有效地缩小了二值网络与全精度网络之间的性能差距，使 BNN 在不牺牲精度的情况下，更适用于资源受限的边缘设备。