⚡ electrical engineering

Lyapunov-Guided Training for Hardware-Safe Neural Networks Under Fixed-Point Arithmetic

本文提出了一种李雅普诺夫引导的训练框架，该框架通过强制执行单调状态投影来抑制由不动点溢出引起的失稳，从而实现在资源受限的硬件上进行可靠的低精度神经网络训练与推理。

原作者： Anis Hamadouche, Amir Hussain

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Anis Hamadouche, Amir Hussain

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人识别手写数字（比如“1”、“2”或“3”）。为了让这个机器人足够快、足够便宜，能够运行在像智能手表或传感器这样的小型电池供电设备上，你想要缩小它的“大脑”。你通过降低其数学运算的精度来实现这一点——将复杂的、高精度的数字（就像科学家的计算器）切换为简单的、低精度的数字（就像儿童使用的算盘）。这被称为量化（Quantization）。

然而，这篇论文的研究人员发现，在这个过程中隐藏着一个陷阱。

陷阱：“回绕”事故

大多数人认为，如果一个数字超过了机器人的微小内存限制，它只会进行“裁剪”或被截断在最大值处（就像时速表卡在 120 英里/小时一样）。

但在许多现实世界的计算机芯片中，数学运算的方式并非如此。它使用的是一种被称为**补码回绕（Two's-complement wrapping）**的技术。想象一个时钟盘面：如果你不断向前拨动指针，当超过 12 点后，指针并不会停下，而是会跳回 1 并重新开始。

在这些机器人的大脑中，如果一个数字变得过大且为正数，它会突然跳变成一个巨大的负数。
如果一个数字变得过小且为负数，它会突然跳变成一个巨大的正数。

论文称之为**“溢出回绕”（Overflow wrapping）**。这就像过山车，在撞到轨道尽头时，它不是减速停止，而是突然翻转过来，朝相反的方向飞射出去。这会让机器人彻底混乱，导致它忘记正在学习的内容，表现得就像在随机乱猜一样。

解决方案：“李雅普诺夫安全网”

作者 Anis Hamadouche 和 Amir Hussain 提出了一种新的方法来训练这些机器人，使它们不会从轨道上掉下来。他们使用了一个数学概念——李雅普诺夫稳定性（Lyapunov stability）。

把机器人的大脑想象成一个在山坡上滚动的球（神经网络的各层）：

问题所在： 如果没有安全网，球可能会越滚越快，获得如此多的能量以至于飞出悬崖（发生溢出回绕）。
解决方法： 他们引入了一个**“单调李雅普诺夫投影”（Monotone Lyapunov Projection）**。想象一只温柔的、隐形的手，在每一步都会检查球的速度。如果球移动得太快或拥有太多能量，这只手就会轻轻地将其推回安全速度，确保它获得的能量永远不会超过初始能量。

这只“手”不仅仅是裁剪数字；它还会主动监测机器人思维（隐藏状态）的“能量”，并强制它们保持在一个安全的、有界的圆圈内。如果机器人试图跳出边界，数学逻辑会立即将其拉回。

实验：MNIST 上的竞赛

团队在名为 MNIST（包含数千个手写数字）的著名数据集上测试了这一方法。他们使用了一种现代且紧凑型的 AI 类型——Transformer（即聊天机器人背后的技术，但经过了缩放处理）。

他们对比了四种场景：

标准训练： 机器人正常学习，但在数字过大时崩溃。
训练后量化（Post-Training Quantization）： 他们在训练之后缩小了数字。在高精度下表现尚可，但在低精度下表现糟糕。
带有安全机制的量化感知训练（QAT without Safety）： 他们尝试从一开始就教机器人处理较小的数字。灾难性的结果。 即使在 16 位精度下（这本该绰绰有余），机器人的大脑依然不断发生回绕，它什么也没学到，得分接近 10%（随机猜测水平）。
新方法（QAT + 李雅普诺夫安全网）： 他们带着“隐形手”安全网来训练机器人。

结果

结果非常显著：

没有安全网： 机器人完全失败。在 8 位精度下，准确率仅为 10.88%，且其内部思维中有超过 13% 被“回绕”事故破坏了。
有了安全网： 机器人学得非常完美。在 12 位精度下，它达到了 86.55% 的准确率（非常接近全精度版本）。最重要的是，“溢出”事故几乎降到了零（0.009%）。

核心启示

论文证明了，如果机器人的内部逻辑是不稳定的，仅仅给机器人增加位数（提高精度）是不够的。“回绕”数学会导致现实硬件芯片中的学习过程被摧毁。

通过使用这种李雅普诺夫引导的训练，他们创造了一种“硬件安全”的方法。这就像不仅教司机如何转向，还教他们如何遵守他们实际行驶的道路限速，从而确保他们永远不会失控打滑。这使得我们能够制造出更小、更快、更便宜且不会在触及自身内存极限时崩溃的 AI 设备。

技术摘要：面向固定点算术下硬件安全神经网络的 Lyapunov 指导训练

1. 问题陈述

在资源受限的硬件（如 FPGA、嵌入式处理器）上部署深度神经网络，高度依赖低精度算术以减少内存占用、带宽消耗和能耗。虽然标准的量化研究侧重于舍入误差、截断（clipping）和校准，但它们往往忽略了实际固定点硬件中一个关键的失效模式：补码溢出回绕（two's-complement overflow wrapping）。

与将溢出值截断为最大或最小可表示整数的饱和算术不同，回绕算术会导致数值在有限的整数范围内“回绕”。因此，一个极大的正值可能会变成一个极大的负值，反之亦然。在 ResNet 和 Transformer 等深度架构中（这些架构可以被视为深度索引的动力系统），这种回绕会在隐藏层激活值中引入不连续的符号和幅度误差。这些误差会破坏状态轨迹，导致不稳定的数值误差传播以及灾难性的精度下降，即使名义上的位宽看起来足够。目前的量化感知训练（QAT）方法（通常假设理想化的截断或忽略回绕动力学）无法防止这种不稳定性，在面对硬件风格的回绕时，往往会导致准确率崩塌至接近随机水平。

2. 方法论

本文提出了一种 Lyapunov 稳定量化框架，旨在显式控制在回绕算术下运行的神经网络的内部状态轨迹。核心方法论将网络视为离散时间动力系统，并通过逐层能量约束来强制执行稳定性。

系统模型： 网络被建模为一个由非线性变换更新隐藏状态 $h_\ell$ 的序列。作者定义了一个归一化的逐层 Lyapunov 能量函数：
$V(h_\ell) = \frac{1}{TD} \|h_\ell\|_F^2$
其中 $T$ 是 Token 数量， $D$ 是嵌入维度。该能量度量代表了隐藏状态的平均幅度。
单调 Lyapunov 投影： 为了防止隐藏状态进入易发生溢出的区域，作者引入了一种硬投影机制。对于未受约束的更新状态 $z_{\ell+1}$ ，投影后的状态 $h_{\ell+1}$ 被约束为满足：
$V(h_{\ell+1}) \leq \min\{V(h_\ell), V_{\max}\}$
这里， $V_{\max}$ 是基于初始训练集 Token 能量的第 99 百分位数并乘以安全系数（ $\gamma = 1.20$ ）后得到的安全能量阈值。该投影会对状态向量进行缩放，如果其能量超过目标值，从而确保能量在深度方向上是受限且非递增的。
硬件感知前向传播： 该方法的一个关键方面是考虑回绕的运算顺序。所提出的前向传播执行如下步骤：
1. 计算未受约束的全精度更新。
2. 应用带有回绕算术的固定点量化（模拟硬件写回）。
3. 应用 Lyapunov 投影以处理回绕后的状态。
4. 在最后一次量化步骤后执行“修复投影（repair projection）”，以确保固定点写回不会违反 Lyapunov 约束。
训练目标： 在量化感知训练（QAT）中，在上述逐层投影动力学定义的约束下，最小化标准交叉熵损失。与软正则化不同，这种方法对状态轨迹实施硬约束。

3. 主要贡献

本文做出了四个主要贡献：

问题形式化： 它将带有溢出回绕的固定点神经网络量化构造成一个隐藏状态稳定性问题，将其与标准的量化误差分析区分开来。
机制设计： 它引入了一种单调 Lyapunov 投影机制，通过强制执行有界且非递增的逐层能量，直接约束隐藏状态而非仅仅是量化噪声。
硬件感知： 该框架显式地模拟了补码回绕和固定点写回，作为一种专门针对硬件风格算术的稳定机制。
实证证据： 它证明了激活值溢出而非仅是位宽降低，是低精度网络的主要失效模式，并且稳定性控制可以恢复学习性能。

4. 实验结果

该方法在 MNIST 数据集上进行了评估，使用的是紧凑型基于 Patch 的 Transformer（4 层，16 个 Token，64 维嵌入），采用有符号固定点算术，位宽范围从 4 到 16 位。

无约束失效： 使用回绕算术的标准 QAT 在 6 到 16 位下均表现出准确率崩塌至接近随机水平（约 10–11%），尽管增加了精度。在这些无约束模型中，激活值溢出率超过 11%（在 8 位时达到峰值约 13.9%）。
稳定化成功： 所提出的 Lyapunov 投影 QAT 恢复了稳定的学习。在 12 位下，投影模型实现了 86.55% ± 0.65% 的准确率，而无约束的回绕 QAT 仅为约 9.87%。
溢出抑制： 投影成功将 12 位下的激活值溢出率抑制到了 0.009%（相比之下，无约束情况为 13.6%）。
能量控制： 最大归一化隐藏状态能量从全精度无约束训练中的 6.26 降至投影模型的 0.36，证实了对安全能量集的强制执行。
PTQ 性能： 后训练量化（PTQ）也显著受益；在 6 位下，通过投影，准确率从 64.65% 提升至 80.83%。

5. 意义与主张

本文认为，鲁棒的低精度学习需要的不仅仅是量化感知优化，更需要对内部状态轨迹进行显式控制。作者主张：

稳定性至关重要： 深度网络中不稳定的隐藏状态增长会导致在回绕算术下直接产生溢出引起的态破坏，而标准的量化方法无法解决这一问题。
Lyapunov 控制作为安全保障： 基于 Lyapunov 的状态控制是一种有效的硬件感知安全机制。通过将隐藏状态能量保持在“安全集”内，网络可以避免由回绕引起的符号不连续变化。
权衡： 该方法提供了一个有意义的稳定性-准确率权衡。虽然全精度无约束训练能获得最高准确率（89.15%），但它允许危险的能量增长。Lyapunov 约束模型牺牲了少量的准确率（全精度下约为 2.2 个百分点），以实现 17.4 倍的最大隐藏状态能量降低，并使低位宽（如 12 位）下的可靠训练成为可能，而无约束方法在此时会完全失效。

作者总结道，将低精度推理和训练视为动力学稳定性问题，而非仅仅是数值近似问题，对于在固定点硬件上可靠地部署神经网络至关重要。未来的工作建议转向更大的数据集、更深的架构以及硬件在环（hardware-in-the-loop）实现。