🤖 machine learning

Layerwise Progressive Freezing: A Training Scaffold for Depth-Scalable Binary Networks

本文介绍了 StoMPP，这是一种新颖的训练支架，它通过随机掩码从输入到输出逐层逐步强制执行二值化，从而有效地消除了对直通估计器（STE）的需求，并通过策略性地管理激活引起的梯度阻断，防止了二值神经网络中由深度引起的精度崩溃。

原作者： Evan Gibson Smith, Bashima Islam

发布于 2026-06-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Evan Gibson Smith, Bashima Islam

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是关于论文《Layerwise Progressive Freezing: A Training Scaffold for Depth-Scalable Binary Networks》（层级渐进式冻结：一种用于深度可扩展二值网络的训练支架）的通俗化解释。

核心问题： “二值化”瓶颈

想象你正在建造一台非常深、非常复杂的机器（神经网络），但这台机器只能理解两种状态：开 (+1) 和关闭 (-1)。这就是所谓的二值神经网络 (BNN)。

它的好处是什么？这些机器速度极快且体积微小，非常适合在手机或传感器等小型设备上运行。
问题在于？这类机器极难训练，尤其是当它们变得很深（拥有许多层）时。

把训练深度网络想象成在一条长长的队伍中传递秘密信息。在普通的网络中，人们可以通过低声耳语、大声喊叫或使用手势（连续数值）来传递信息并纠正错误。但在二值网络中，每个人都被迫只能喊出“是”或“不是”。

训练这类网络的标准方法使用了一种叫做直通估计器 (Straight-Through Estimator, STE) 的技巧。这就像是在告诉队伍里的人：“当你实际上只是喊了一声‘是’的时候，请假装你刚才低声传递了一个复杂的信号。”对于短队，这效果还可以；但随着队伍变长（网络变深），信息会变得混乱，导致训练失败。网络越深，情况就越糟。

解决方案：StoMPP（“建筑支架”）

作者引入了一种名为 StoMPP（随机掩码部分渐进式二值化）的新方法。他们不再试图修复那个“耳语技巧”（STE），而是改变了网络被迫喊出“是”或“不是”的时间和位置。

想象你正在建造一座摩天大楼。

旧方法（全局二值化）： 你从第一天起就强迫整座大楼必须由坚硬、不可改变的砖块组成。随着高度增加，由于硬质砖块无法适应重量，地基开始出现裂缝。
StoMPP 方法（层级渐进式冻结）： 你从地面向上建造摩天大楼，但你使用了支架。
1. 底层（输入层）： 你从柔软、可调节的粘土（连续数值）开始。
2. 过程： 你慢慢地将粘土变成坚硬的砖块，但你是一层一层地进行的，从底部开始。
3. 支架的作用： 当你在加固第 5 层时，第 6、7、8 层仍然是由柔软的粘土组成的。这至关重要。

为什么有效： “梯度阻塞”类比

论文确定了旧方法失效的一个具体原因，他们称之为**“激活诱发的梯度阻塞”**。

想象“学习信号”（告诉网络如何改进的反馈）是一条从大楼顶部向上游流向底部的河流。

阻塞： 如果你过早地将一层变成坚硬、不可改变的砖块（二值激活），河流就会撞上一堵墙。水流（学习信号）无法穿过这堵墙去修复下方的楼层。
旧错误： 如果你随机冻结楼层（全局掩码），你可能会在还在建造第 10 层时，不小心在第 3 层造了一堵砖墙。河流被堵住了，下方的楼层永远学不到任何东西。
StoMPP 的修正： 通过仅从底部向上加固楼层，你确保了在当前施工区域上方始终有一段“软粘土”区域。河流总能通过这些软粘土流向你正在修理的部分。

用通俗语言解释的关键发现

顺序至关重要（“单行道”）：
- 正向（自底向上）： 效果很好。河流流动顺畅。
- 反向（自顶向下）： 如果你尝试先加固顶层，你会立即阻塞河流。网络会崩溃且无法学习（表现为接近随机猜测）。
- 随机： 如果你随机冻结楼层，你会制造出随机的阻塞，随着网络变深，性能会下降。
关键在于“喊叫”（激活）：
论文发现，问题特别在于强制使激活（层与层之间的信号）变为二值。如果你只强制让权重（连接）变为二值，但让信号保持柔软，那么顺序就没那么重要了。所谓的“阻塞”发生在信号本身变得僵硬的时候。
两个版本的实现：
- STE-Free 版本： 网络完全不需要任何“耳语技巧”就能学习。它直接使用渐进式支架。仅凭这一点，它就显著优于旧方法。
- 混合版本： 他们将支架与旧的“耳语技巧”（STE）结合起来，但只在已经加固好的楼层上使用该技巧。这取得了所有方法中的最佳结果。

实验结果：越深越好

作者在各种“建筑”（ResNet-18, ResNet-34, ResNet-50, MobileNet，甚至是一个名为 BERT 的语言模型）上进行了测试。

趋势： 随着网络变深，旧方法（STE）的效果越来越差。
StoMPP 的结果： 新方法随着网络变深反而变得更好。
- 在一个用于图像识别的极深网络（ResNet-50）上，新方法在一个数据集上比旧方法提高了 18%，在另一个数据集上提高了 27%。
- 它适用于视觉（图像）和语言（文本）任务。

总结

论文认为，要训练深度的二值网络，你不应该仅仅尝试让数学计算变得更“聪明”，而应该改变施工进度表。

通过自底向上建造网络，在底层硬化时保持上层具有灵活性，你可以防止“学习之河”被阻塞。这种对顺序的简单改变，让深层二值网络终于能够发挥其全部潜力，大幅超越了标准方法。

技术摘要：用于深度可扩展二值网络的层级渐进式冻结

问题陈述

从零开始训练二值神经网络（BNN，其权重和激活值均被约束在 $\{-1, +1\}$ ）仍然具有挑战性，尤其是在网络深度增加时。主流的训练方法依赖于直通估计器（Straight-Through Estimator, STE），该方法在反向传播中使用代理梯度（通常为恒等函数）来替代前向传播中不可微的符号函数。虽然这种方法对浅层网络有效，但 STE 存在根本性的前向/后向不匹配问题。随着网络加深，这种不匹配会导致严重的精度下降。

现有文献主要试图通过改进 STE 本身（例如：更好的代理梯度、梯度整形或学习缩放）来缓解这一问题。然而，这些方法保留了硬前向算子与代理后向传播的核心结构。本文识别出了另一个失效维度：激活诱导的梯度阻断（activation-induced gradient blockades）。在全二值 BNN 中，一旦激活值被“冻结”（即固定为硬二值），其导数在几乎所有地方都变为零。如果激活值在训练期间在任意深度被冻结，梯度流向早期层的路径将被切断，从而阻止深层架构进行有效学习。这一问题是全 BNN 特有的；而激活保持连续的二值权重网络（BWN）则不会受到此类阻断的影响。

方法论：StoMPP

作者引入了 StoMPP（随机掩码部分渐进式二值化，Stochastic Masked Partial Progressive Binarization），这是一种控制何时以及何处实施二值化的训练框架，而非改进梯度估计器本身。

核心机制

StoMPP 维护用于权重和预激活值的实值底层变量。一个二值掩码决定了每个条目是被视为离散（冻结）还是连续（未冻结）。该方法采用了两种关键策略：

层级渐进式调度（Layerwise Progressive Scheduling）： 不同于全局渐进式量化（即在整个网络中随机冻结参数），StoMPP 从输入到输出按顺序冻结层。
- 冻结前缀（Frozen Prefix）： 第 $1 $到$ \ell-1$ 层已完全二值化。
- 过渡层（Transition Layer）： 第 $\ell$ 层处于部分冻结状态，从连续向二值演变。
- 未冻结后缀（Unfrozen Suffix）： 第 $\ell+1$ 到 $N$ 层保持完全连续。
- 原理： 这确保了当前正在进行二值化的层始终拥有一个未冻结的下游后缀，从而保留了一条通往损失函数的有效梯度路径。这防止了由下游激活过早冻结导致的梯度阻断。
带有软刷新（Soft Refresh）的随机掩码部分冻结： 在过渡层内，掩码并非确定性设置。相反，根据某种调度方案（如三次函数），一部分 $p(\tau)$ 的条目被冻结。至关重要的是，冻结集在每一步都会进行“软刷新”：一小部分索引（ $1/r$ ）会根据伯努利分布进行重新采样。这防止了模型过早地承诺于特定的冻结配置，并允许模型适应新兴的二值模式。

梯度处理

该方法对冻结条目的梯度处理方式是不可知的，支持两种模式：

无 STE 版 StoMPP： 冻结条目接收零梯度（$Surr(u) = 0$）。这提供了一种完全无需 STE 的训练过程。
StoMPP+STE： 冻结条目接收标准的 STE 恒等梯度（$Surr(u) = 1$）。这结合了渐进结构与代理梯度。

作者在 STE-free 模式下进行了消融实验，以隔离渐进顺序对代理梯度收益的贡献。

核心贡献

StoMPP 框架： 一种具有随机掩码和软刷新的层级渐进式冻结程序。它支持完全无需 STE 的训练以及在冻结条目上使用 STE 的混合训练。
决定性作用的排序（Progression Order）： 本文确立了对于全 BNN 而言，二值化的顺序至关重要。
- 前向层级（输入 $\to$ 输出）： 在深层网络上表现成功。
- 反向层级（输出 $\to$ 输入）： 会导致性能崩溃至接近随机水平。
- 全局排序： 随深度增加显著退化。
- BWN 不敏感性： 二值权重网络（BWN）对排序基本不敏感，这证实了失效模式是特定于阻塞梯度的二值激活。
训练动力学分析： 作者表征了训练动力学，指出存在一种“锯齿状”收敛模式：当新的一层进入冻结阶段时，准确率会下降，随后随着未冻结后缀的适配而恢复。他们证明了只要使用层级调度，该方法对调度形状和刷新率具有鲁棒性，这与全局调度不同。

实验结果

评估采用了一个受控协议，使用极简训练方案（恒定学习率，无权重衰减）以隔离二值化规则的效果。

深度可扩展性： 在 ResNet-50 BNN 上，原生 STE 的性能随深度增加而显著下降（例如，从 ResNet-18 的 41.9% 下降到 ResNet-50 的 30.8% [ImageNet]）。
- StoMPP (STE-free)： 在 ResNet-50 上相比 vanilla STE 分别提升了 +18.0% (CIFAR-10)、+13.5% (CIFAR-100) 和 +3.8% (ImageNet)。
- StoMPP+STE： 取得了更高的增益，在 ResNet-50 上相比 vanilla STE 分别提升了 +27.1% (CIFAR-10)、+19.8% (CIFAR-100) 和 +17.7% (ImageNet)。
泛化能力： 该模式在 ResNet-18/34、MobileNetV2 以及 BERT 在 SST-2 上的微调中均成立。值得注意的是，在 SST-2 上，vanilla STE 崩溃至接近随机水平（50.9%），而 StoMPP+STE 达到了 82.8%。
消融实验：
- 排序： 反向层级排序会导致 BNN 崩溃（例如 CIFAR-100 ResNet-50 仅为 8.6%），而前向层级排序能维持性能。
- 超参数： 只要使用层级渐进，该方法对调度形状（三次函数、线性等）和刷新率具有鲁棒性。
- 架构： StoMPP 无需修改即可迁移到 Bi-Real Net 等特定二值架构，尽管微调过程中的交互作用有所不同。

重要性与主张

本文声称，训练深层 BNN 的主要瓶颈不在于代理梯度的质量，而在于二值化的时机和位置。通过强制执行前向层级渐进，StoMPP 防止了形成导致深层网络中梯度信号中断的激活诱导型梯度阻断。

作者强调，这是一种改进 STE 的正交方法；它改变的是训练支架而非梯度估计器。结果表明，在 BNN 中观察到的“深度崩溃”是梯度阻断的一种结构性后果，可以通过确保在二值化过程中存在一条通过未冻结下游层的连续梯度路径来缓解。该方法被呈现为一种可以与现有架构改进或代理梯度技术相结合的训练程序，为实现可扩展的全二值深层网络提供了一条路径。