A Constant-Time Implementation Methodology for Activation Functions on Microcontrollers

技術概要：マイクロコントローラにおける活性化関数の定時間実装手法

問題提起
リソース制約のあるマイクロコントローラにおける組み込みニューラルネットワーク推論は、時間的サイドチャネル攻撃に対してますます脆弱になっています。最近の研究により、これらのネットワーク内の活性化関数が、入力値や関数タイプに依存する実行時間のばらつきを通じて情報を漏洩することが示されました。この漏洩により、攻撃者は異なる活性化関数（例：ReLU とシグモイド）を区別し、モデルアーキテクチャを逆設計したり、機密性の高い入力データを推測したりする可能性があります。既存の対策、例えばタイミングパターンを曖昧にするための非同期化（ランダムな遅延の導入）は、これらのタイミングパターンを隠蔽しようと試みますが、入力依存の挙動そのものを排除するものではありません。その結果、プロファイルされたテンプレートベースの攻撃は、追加されたノイズにもかかわらず、統計的に活性化関数を区別し続けることができます。

手法
著者は、単に隠蔽するのではなく、入力依存の時間的ばらつきを源において排除するために設計された定時間実装手法を提案します。このアプローチは ARM Cortex-M4 プラットフォーム（STM32F411）上で具体化され、広く使用されている 5 つの活性化関数、すなわち ReLU、シグモイド、双曲線正接（tanh）、ガウス誤差線形ユニット（GELU）、および Swish を対象としています。

この手法は、4 つの中核コンポーネントに依存しています：

1. 分岐なし、マスキングベースの選択: 制御フローの分岐を防ぐため、実装はデータ依存の分岐を回避します。代わりに、論理マスキングとビット演算（AND/OR）を使用して、入力値のビット表現に基づいて候補値（例：飽和出力と近似結果）間を選択します。これにより、命令シーケンスが入力値に関係なく同一であることを保証します。
2. 固定コストのパデ近似ベースの近似: 非線形関数（シグモイド、tanh、GELU、Swish）に対して、著者は標準的な超越関数評価を、$\tanh(x)$ のパデ近似 $R_{tanh}(x)$ に基づく共有された固定コストの有理近似に置き換えます。この近似には、入力に依存するループや区間選択を回避する、加算、乗算、および単一の除算の固定シーケンスが含まれます。
   • シグモイドと Swish は、恒等式 $S(x) = \frac{1}{2}(1 + \tanh(x/2))$ を用いて構成されます。
   • GELU は、$\tanh$ ベースの定式化を用いて近似されます。
3. マスキングベースの飽和: 近似領域外の入力を処理するために、この手法は、同じ分岐なしマスキング戦略を通じて実装された飽和ロジック（0、1、または $x$ へのクリッピング）を採用します。これにより、飽和入力に対して有理近似がバイパスされる場合でも、実行パスとサイクル数が一定に保たれます。
4. サイクルアライメントとダミー演算: 5 つの関数すべてで同一の実行時間を達成するために、著者はダミー演算を導入します。具体的には、自然に非線形近似よりもはるかに高速に実行される単純な ReLU 関数を、最終結果に影響を与えることなく同じ $R_{tanh}$ ベースの算術シーケンスで拡張し、そのサイクル数をより複雑な関数と整合させます。微細な整合のためには最小限の NOP パディングのみが使用されます。

主要な貢献

• 定時間手法: 本論文は、組み込みマイクロコントローラ上で入力に依存しない実行時間を保証する、活性化関数用の再利用可能な構築原理を導入します。
• 5 つの関数への具体化: この手法は、非線形コンポーネントに共有された有理近似を用いて、ReLU、シグモイド、tanh、GELU、および Swish に成功裡に適用されました。
• 非同期化の脆弱性: 著者は、タイミングトレースを視覚的に曖昧にする非同期化ベースの対策であっても、プロファイルされたテンプレートベースのタイミング攻撃に対して脆弱であることを実証しました。実行時間の統計分析により、攻撃者は十分な測定後に高い確信度で活性化関数を区別できます。
• 実験的検証: この研究は、提案された保護実装がすべてのテスト入力に対して同一のサイクル数を達成し、効果的にタイミング漏洩を抑制するという実証的証拠を提供します。

実験結果
この手法は、84 MHz で動作する ARM Cortex-M4 上で評価されました。

• タイミングの規則性:
  • 区間 $[-8, 8]$ における 3 つの関数設定（ReLU、シグモイド、tanh）において、すべての保護実装は入力値に関係なく、正確に88 クロックサイクル（1.048 µs）で実行されました。
  • 区間 $[-500, 500]$ における拡張された 5 つの関数設定（GELU と Swish を含む）において、すべての実装は正確に108 クロックサイクル（1.286 µs）で実行されました。
  • 対照的に、保護されていない実装は顕著なタイミング変動（例：保護されていない ReLU は約 12 サイクル、保護されていない tanh は約 403 サイクル）および入力依存の揺らぎを示しました。
• 数値精度:
  • 近似は高い精度を維持しました。区間 $[-8, 8]$ において、シグモイドの平均二乗誤差（MSE）は $2.93 \times 10^{-12}$、tanh の MSE は $6.14 \times 10^{-10}$ でした。
  • 拡張区間 $[-500, 500]$ において、シグモイドと tanh の誤差は（これらが急速に飽和するため）無視できるレベルにとどまりましたが、GELU と Swish は飽和閾値付近に局所化した低い誤差を示しました（Swish の最大絶対誤差は $1.11 \times 10^{-3}$ でした）。
• 性能トレードオフ:
  • 保護された ReLU 実装は、整合のためのダミー演算の挿入により、レイテンシの増加（約 12 から 88/108 サイクルへ）を招きました。
  • 一方、保護された非線形関数は、ターゲットハードウェアにおける標準ライブラリの超越関数よりも有理近似の方が効率的であるため、保護されていない対応物よりも大幅に高速でした（例：保護されたシグモイド/tanh は、保護されていないバージョンより約 33-38% 高速でした）。

意義と主張
本論文は、提案された手法が、組み込み推論におけるサイドチャネル耐性を持つ活性化関数の構築に対する実用的な基盤を提供すると主張しています。「隠蔽」（ランダム化）から「定時間」設計への転換により、このアプローチはタイミング漏洩の根本原因である入力依存の実行パスを排除します。著者は、この手法により、実行される命令シーケンスが入力値に依存しない活性化関数の構築が可能となり、テンプレートベースのタイミング攻撃を防ぐことができると述べています。

この研究は、医療センサーやウェアラブルデバイスなど、タイミング情報が攻撃者にアクセス可能である可能性のあるプライバシーに敏感なエッジデバイス向けに、安全な組み込み機械学習のための構築ブロックとして位置づけられています。著者は、これが活性化関数におけるタイミング漏洩に対処するものの、推論パイプライン全体に対する完全な対策ではなく、他のサイドチャネル（電力、電磁波）や実装の詳細は依然として保護を必要とする可能性があることを控えめに指摘しています。本研究は特にタイミングドメインに焦点を当てており、すべての潜在的なサイドチャネルベクトルに対処するものではないと主張しています。