🤖 machine learning

Learning Quantized Continuous Controllers for Integer Hardware

本文提出了一种量化感知训练流水线，该流水线能够自动为 Artix-7 FPGA 选择并合成低比特整数策略，在实现微秒级延迟推理的同时，保持与全精度基准相当的性能，并提供增强的噪声鲁棒性。

原作者： Fabian Kresse, Christoph H. Lampert

发布于 2026-06-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Fabian Kresse, Christoph H. Lampert

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你拥有一个极其聪明、受过高等教育的机器人大脑（神经网络），它已经学会了完美地行走、奔跑或飞行。这个大脑目前是用一种复杂、高精度的语言——“浮点数”（FP32）编写的，这就像是用一本包含数百万个生僻词汇的字典来写一部小说。它在大型超级计算机上运行得非常好，但如果你试图把它放入一台微型、电池驱动的无人机或一个小型的机械臂中，那台超级计算机就太重了，不仅消耗大量电量，而且速度太慢。

这篇论文是关于如何教导那个聪明的机器人大脑，去使用一种更简单的、“仅限整数”的语言，使其能够完美适配于被称为 FPGA（现场可编程门阵列）的微型、廉价且节能的计算机芯片。

以下是他们旅程的详细拆解，使用了简单的类比：

1. 问题所在：沉重的盔甲 vs. 短跑选手

作者希望将先进的机器人控制器部署到小型硬件上。

问题： 标准的机器人大脑使用“浮点数”数学运算。在小型芯片上进行这种运算，就像是穿着一套沉重的盔甲去跑马拉松。这不仅速度慢，还会迅速耗尽电池，并让芯片发烫。
目标： 他们想要脱掉这层沉重的盔甲。他们希望机器人能运行在“整数”数学（简单的整数）上，这就像是穿着轻便的运动鞋跑步。这使得机器人能够跑得更快、耗电更少，并能适配在小型芯片上。

2. 解决方案：“量化感知训练”（QAT）

你可能会想：“为什么不直接把写好的机器人大脑翻译成简单的数字呢？”作者尝试过这样做（称为训练后量化/Post-Training Quantization），但这就像是在诗歌已经写完后，试图将其翻译成儿童读物；其中的意境会丢失，导致机器人开始踉跄跌倒。

相反，他们使用了 量化感知训练 (QAT)。

类比： 想象你在教一名学生准备数学考试。
- 旧方法： 用具有无限精度的计算器教他们，然后告诉他们：“好了，现在请只用铅笔和纸（不带小数）来参加考试。”他们会失败，因为他们从未练习过使用铅笔。
- 新方法 (QAT)： 从第一天起，就在使用铅笔和纸的过程中教导他们。他们在学习概念的同时，也在学习如何处理舍入数字以及应对铅笔带来的局限性。
结果： 机器人大脑学会了具备“量化感知”能力。它从一开始就知道如何用简单的、低比特的数字（比如 2 或 3 比特）进行思考，因此在切换到微型芯片时不会丧失技能。

3. 实验：我们可以简化到什么程度？

研究人员在五种不同的机器人任务（如人类行走、猎豹奔跑或跳跃者跳跃）上测试了这一点。他们问道：“在机器人开始失败之前，我们可以把数学运算简化到多简单？”

发现： 他们对能简化的程度感到震惊。
- 对于许多任务，他们可以将大脑的“记忆”缩小到每个数字仅需 2 或 3 比特。
- 为了直观理解：一个标准数字可能占据一整页笔记本；而这些新的数字只需一张便利贴就能放下。
- 关键细节： 他们发现，输入（机器人看到的东西）需要稍微精确一点（例如 8 比特），但内部思维（权重和激活值）可以非常粗糙（2-3 比特），而不会损失性能。

4. 硬件测试：微型芯片

他们将这些超简化的脑部模型构建在一个名为 Artix-7 FPGA 的特定小型芯片上。

速度： 机器人可以在 微秒级（百万分之一秒）内做出决策。这比人类眨眼的速度还要快。
能量： 每次动作仅消耗 微焦耳 级别的能量。这能量之少，以至于微小的电池也能维持很长时间。
对比： 他们将自己构建的这个“微型大脑机器人”与一个已经简化但未经过度优化的“参考机器人”进行了对比。他们的版本在速度和能耗方面都表现得显著更好。

5. 一个意外的收获：噪声免疫力

通常，当你简化一个系统时，你会预期它变得脆弱。如果你向朋友传递信息，而对方只能听到一半的词，他们可能会理解错。

发现： 作者发现情况恰恰相反。他们简化的、“粗糙”的机器人大脑在面对噪声时，实际上比复杂的、精确的大脑更具鲁棒性（稳健性）。
类比： 想象你在嘈杂的房间里听音乐。
- 精确的 大脑就像是一个高保真麦克风，它会捕捉到每一个细微的划痕声和嘶嘶声，从而被噪声干扰而感到困惑。
- 简化的 大脑则像是一个只接收主旋律的收音机。因为它忽略了那些细微的细节（这些细节通常只是噪声），所以即使在嘈杂的环境中，它也能保持稳定并持续起舞。使用“粗糙”数字进行训练的过程，实际上起到了一种过滤器的作用，帮助机器人忽略传感器的误差。

总结

这篇论文证明了，运行先进的机器人控制器并不一定需要超级计算机。通过从一开始就教导机器人使用简单的整数进行思考，你可以将大脑缩小到足以适配微型、廉价芯片的程度。这使得机器人更快、续航更久，并且在处理混乱、多噪的现实世界环境时，表现得出奇地出色。

技术摘要：面向整数硬件的学习量化连续控制器

问题陈述

在嵌入式硬件上部署用于连续控制的深度强化学习（RL）策略面临着关于延迟、功耗和内存占用方面的显著约束。虽然高性能 GPU 提供强大的计算能力，但它们对于电池供电系统（如纳米/微型无人机）而言通常过于耗能，或者无法满足安全关键型控制环路（如聚变等离子体控制或机械臂）对微秒级延迟的要求。现场可编程门阵列（FPGA）提供了一种极具前景的低延迟、低功耗替代方案；然而，它们受限于片上存储器容量以及浮点（FP32）算术的高昂硬件成本。因此，在 FPGA 上部署标准的 FP32 神经网络是低效的。虽然后训练量化（PTQ）已经存在，但特别是在小模型和低位宽设置下，其表现往往不如量化感知训练（QAT）。核心挑战在于开发一种能够直接在低精度、仅整数机制下学习连续控制策略的流水线，从而在不牺牲控制质量的前提下实现高效的 FPGA 部署。

方法论

作者提出了一种以针对 FPGA 整数专用推理的连续控制强化学习量化感知训练（QAT）为核心的学习到硬件（learning-to-hardware）流水线。

RL 框架： 本研究利用离策（off-policy）演员-评论家算法，即深度确定性策略梯度（DDPG）和软行动者-评论家算法（SAC），在五个 MuJoCo 连续控制任务（Humanoid, Walker2d, Ant, HalfCheetah, Hopper）上进行训练。
量化感知训练 (QAT)：
- 架构： 策略网络在训练期间被实例化为一个标准的 FP32 网络，但配备了量化/去量化（QDQ）层。
- 机制： 在输入端、每个 ReLU 激活函数之后以及最终输出之前插入 QDQ 步骤。这些步骤通过缩放、舍入和裁剪 FP32 值到目标位宽 ( $b$ )，然后将其去量化回 FP32，以模拟整数算术。
- 可微性： 使用直通估计器（Straight-Through Estimator, STE）来通过不可微的舍入操作进行梯度反向传播。
- 缩放： 激活缩放系数通过梯度更新进行学习（在预热期之后），而权重缩放系数则固定为权重矩阵的绝对最大值。
- 范围： 研究区分了对“核心”（权重和内部激活）、输入状态和输出的量化。
模型选择策略： 采用三步选择过程来寻找能够匹配 FP32 性能的最小硬件友好型配置：
- 确定核心最小位宽 ( $b_{core}$ )，涵盖权重和内部激活。
- 选择能保持性能的最小隐藏层宽度 ( $h$ )。
- 确定必要的输入位宽 ( $b_{in}$ )。
硬件综合： 所选策略使用 FINN 数据流编译器被综合到 Artix-7 FPGA (XC7A15T) 上。综合目标为固定的 100 MHz 时钟，通过调整处理单元（PEs）和 SIMD 宽度来优化吞吐量。在初始输入量化之后，部署严格遵循仅整数模式。

关键结果

本研究在五个 MuJoCo 环境中评估了该流水线，将 QAT 策略与全精度（FP32）基准模型及量化参考模型进行了比较。

位宽敏感性：
- QAT 策略可以在核心位宽低至 3 位的情况下达到 FP32 等效性能（在一个标准差以内），在某些情况下（如 Ant, Hopper），2 位也足够。
- 输入量化被确定为主要的瓶颈；第一层中的高量化误差会显著降低性能，而深层网络对低位宽更具鲁棒性。
- 输出量化对性能影响极小，因此保持在 8 位以提高硬件效率。
模型选择：
- 所选模型（表 1）使用的隐藏层宽度范围为 16 到 256，核心位宽为 2 或 3 位。
- 尽管进行了激进的缩减，这些模型在训练期间的收敛情况与 FP32 基准模型相似（图 2）。
鲁棒性：
- 与 FP32 基准相比，量化策略表现出更高的输入噪声鲁棒性。当在状态空间中注入高斯噪声时，QAT 模型通常能达到甚至超过 FP32 的性能。作者假设这是由于训练过程中状态空间的离散化，迫使策略在相邻的量化箱（bins）之间保持稳定，从而起到隐式正则化的作用。
硬件性能 (FPGA 综合)：
- 所选的低位宽策略成功地综合在低端 Artix-7 FPGA 上。
- 延迟： 推理延迟范围从 0.2 µs (Hopper) 到 243.2 µs (HalfCheetah)。
- 能量： 每次动作的能耗在微焦耳量级（例如，Hopper 为 $6.5 \times 10^{-8}$ J）。
- 对比： 与 8 位核心参考模型（该模型经常超出 FPGA 容量或需要更多资源）相比，所选的低位模型实现了数量级的性能提升（对于 Hopper 可达 1000 倍的延迟降低），并在功耗和资源利用率（LUTs, FFs, BRAM, DSPs）方面实现了大幅减少。

意义与主张

本文声称证明了量化感知训练是将在连续控制 RL 策略部署到资源受限的整数硬件上的可行且有效的方法。

低位宽控制的可行性： 作者展示了连续控制任务并不一定需要高精度的浮点算术。策略可以压缩到每权重和激活仅 2 或 3 位，同时保持与全精度网络相当的控制质量。
硬件效率： 通过避免昂贵的浮点流水线，所提出的流水线使得在小型、低功耗 FPGA 上部署 RL 控制器成为可能，并实现微秒级的延迟和微焦耳级的能量消耗，使其适用于电池供电的自主系统。
意想不到的鲁棒性： 一个显著的发现是量化过程本身可能会增强对传感器噪声的鲁棒性，这表明 QAT 训练的策略在具有不完美传感器的现实环境中可能更加可靠。
局限性： 作者谦虚地指出，目前的研究主要局限于仿真（MuJoCo），尚未涉及现实世界的安全约束、安全性，以及除解析注入之外的特定物理传感器噪声特征。未来的工作提议在物理系统和基于视觉的策略上进行测试。