A Constant-Time Implementation Methodology for Activation Functions on Microcontrollers

技术摘要：微控制器上激活函数的恒定时间实现方法

问题陈述
在资源受限的微控制器上进行嵌入式神经网络推理日益受到定时侧信道攻击的威胁。近期研究表明，这些网络中的激活函数会通过依赖于输入值和函数类型的执行时间变化泄露信息。这种泄露使攻击者能够区分不同的激活函数（例如 ReLU 与 sigmoid），并可能逆向工程模型架构或推断敏感输入数据。尽管现有的对策（如去同步化，即引入随机延迟）试图掩盖这些定时模式，但它们并未消除底层依赖于输入的行为。因此，基于模板的剖析攻击仍能在统计上区分激活函数，尽管存在额外的噪声。

方法论
作者提出了一种恒定时间实现方法论，旨在从源头消除依赖于输入的时间变化，而不仅仅是掩盖它们。该方法在 ARM Cortex-M4 平台（STM32F411）上实例化，针对五种广泛使用的激活函数：ReLU、sigmoid、tanh、高斯误差线性单元（GELU）和 Swish。

该方法依赖于四个核心组件：

1. 无分支、基于掩码的选择：为防止控制流发散，实现避免了数据依赖的分支。相反，它使用逻辑掩码和按位运算（与/或）来根据输入的位表示在候选值（例如饱和输出与近似结果）之间进行选择。这确保了无论输入值如何，指令序列都保持一致。
2. 固定成本的 Padé 基近似：对于非线性函数（sigmoid、tanh、GELU、Swish），作者使用基于 $\tanh(x)$ 的 Padé 近似（记为 $R_{tanh}(x)$）的共享、固定成本有理近似，替代了标准的超越函数求值。该近似涉及固定序列的加法、乘法和一次除法，避免了依赖于输入的循环或区间选择。
   • Sigmoid 和 Swish 利用恒等式 $S(x) = \frac{1}{2}(1 + \tanh(x/2))$ 构建。
   • GELU 使用基于 $\tanh$ 的公式进行近似。
3. 基于掩码的饱和处理：为了处理超出近似区域的输入，该方法采用通过相同的无分支掩码策略实现的饱和逻辑（钳位至 0、1 或 $x$）。这确保了即使对于饱和输入绕过了有理近似，执行路径和周期数仍保持恒定。
4. 周期对齐与虚拟算术：为了使所有五个函数的执行时间完全相同，作者引入了虚拟算术运算。具体而言，原本执行速度快得多的简单 ReLU 函数被增加了相同的基于 $R_{tanh}$ 的算术序列（不影响最终结果），以将其周期数与更复杂的函数对齐。仅使用最小量的 NOP 填充进行微调对齐。

主要贡献

• 恒定时间方法论：本文提出了一种可重用的激活函数构建原则，保证在嵌入式微控制器上具有与输入无关的执行时间。
• 五种函数的实例化：该方法成功应用于 ReLU、sigmoid、tanh、GELU 和 Swish，利用共享的有理近似处理非线性组件。
• 去同步化的脆弱性：作者证明，基于去同步化的对策虽然在视觉上掩盖了定时轨迹，但仍易受基于模板的剖析定时攻击。对执行时间的统计分析允许攻击者在经过足够多的测量后，以高置信度区分激活函数。
• 实验验证：该工作提供了实证证据，表明所提出的受保护实现对所有测试输入均实现了相同的周期数，有效抑制了定时泄露。

实验结果
该方法在运行频率为 84 MHz 的 ARM Cortex-M4 上进行了评估。

• 定时规律性：
  • 在包含三种函数（ReLU、sigmoid、tanh）的设置中，在区间 $[-8, 8]$ 上，所有受保护的实现均恰好执行 88 个时钟周期（1.048 µs），与输入值无关。
  • 在包含五种函数（包括 GELU 和 Swish）的扩展设置中，在区间 $[-500, 500]$ 上，所有实现均恰好执行 108 个时钟周期（1.286 µs）。
  • 相比之下，未受保护的实现显示出显著的定时变化（例如，未受保护的 ReLU 耗时约 12 个周期，而未受保护的 tanh 耗时约 403 个周期）以及依赖于输入的波动。
• 数值精度：
  • 近似保留了高精度。在区间 $[-8, 8]$ 上，sigmoid 的均方误差（MSE）为 $2.93 \times 10^{-12}$，tanh 为 $6.14 \times 10^{-10}$。
  • 在扩展区间 $[-500, 500]$ 上，sigmoid 和 tanh 的误差仍可忽略不计（因为它们迅速饱和），而 GELU 和 Swish 显示出局限于饱和阈值附近的低误差（Swish 的最大绝对误差为 $1.11 \times 10^{-3}$）。
• 性能权衡：
  • 受保护的 ReLU 实现由于插入了用于对齐的虚拟算术，导致延迟增加（从约 12 个周期增加到 88/108 个周期）。
  • 相反，受保护的非线性函数比其未受保护的对应版本快得多（例如，受保护的 sigmoid/tanh 比未受保护版本快约 33-38%），因为在该目标硬件上，有理近似比标准库的超越函数更高效。

意义与主张
本文声称，所提出的方法论为构建嵌入式推理中抗侧信道的激活函数提供了实用基础。通过将重点从“掩盖”（随机化）转向“恒定时间”设计，该方法消除了定时泄露的根本原因：依赖于输入的执行路径。作者断言，该方法允许构建执行指令序列与输入值无关的激活函数，从而防止基于模板的定时攻击。

该工作将自己定位为安全嵌入式机器学习的构建模块，特别适用于对隐私敏感的边缘设备（例如医疗传感器、可穿戴设备），在这些设备中定时信息可能被攻击者获取。作者谦逊地指出，虽然这解决了激活函数中的定时泄露，但它并不构成针对整个推理流程的完整对策，其他侧信道（功耗、电磁）或实现细节可能仍需要保护。本研究专门关注定时领域，并不声称解决所有潜在的侧信道向量。