技術要約: PTQ4SNN

問題提起

スパイキングニューラルネットワーク（SNN）は、エネルギー効率の高いイベント駆動型の計算を提供しますが、膜電位（membrane states）のストレージと再帰的なデータ移動が原因で、リソース制約のあるプラットフォームへのデプロイにおいて大きな障害に直面しています。重みの量子化は一般的ですが、推論中の再帰的な膜電位は通常、浮動小数点精度で保持されます。これにより、状態のストレージとデータトラフィックの大部分が圧縮されないまま残されています。

膜電位を量子化することは、標準的な活性化関数の量子化とは異なる独自の課題を伴います：

1. 分布の不一致（Distribution Mismatch）: 膜電位の分布は、その前段の重みのスケールや形状とは大きく異なることがよくあります。重みのスケールを直接共有すると深刻なクリッピングが発生し、一方で独立したスケーリングを行うと、ハードウェアにとって扱いにくい変換オーバーヘッドが生じます。
2. 閾値への感度（Threshold Sensitivity）: 膜電位のエラーは非常に敏感です。発火閾値付近での微小な摂動はスパイクの決定を変化させ、エラーが時間の経過とともに蓄積して時間的軌跡を劣化させる原因となります。
3. チャネルの不均一性（Channel Heterogeneity）: 異なる膜チャネルは、それぞれ異なる発火活動や量子化ノイズに対する感度を持っています。一律のビット幅割り当ては非効率であり、重要なチャネルを優先することができません。

既存のSNN向け事後学習量子化（PTQ）手法は、膜電位を無視するか、再学習を必要とする量子化意識学習（QAT）に依存しているか、あるいはチャネルレベルの不均一性に対処できないレイヤー単位のスケール結合を使用しています。

手法

著者らは、バックボーンのパラメータを再学習することなく、少量のキャリブレーションセットのみを使用して重みと再帰的な膜電位を共同で量子化する、膜電位を考慮したPTQフレームワークであるPTQ4SNNを提案します。このフレームワークは、量子化可能な投影（projections）とその後のリーキー・インテグレート・アンド・ファイア（LIF）ニューロンを、再利用可能な投影–LIFペアとして構成します。

1. 統一スケールブリッジ（Unified Scale Bridge）

重みと膜電位の間の分布の不一致に対処しつつ、ハードウェア効率を維持するために、PTQ4SNNはチャネル単位の統一スケールブリッジを導入します。独立したスケーリングや直接的な再利用ではなく、チャネル $c$ の膜電位スケール ($s_{mem,c}$) は、先行する重みスケール ($s_{w,c}$) によって、2のべき乗シフトを介して制約されます：
$$s_{mem,c} = s_{w,c} 2^{k_c}$$
ここで、$k_c$ は整数シフト指数です。これにより、量子化範囲を膜電位の分布に適応させつつ、シフト互換性のある変換（乗算器ではなくビットシフトとして実装可能）を可能にします。指数 $k_c$ は、各チャネルに割り当てられたビット幅に基づいて校正されます。

2. 混合精度ビット割り当て（Mixed-Precision Bit Allocation: MPBA）

チャネルの不均一性を処理するために、本フレームワークは混合精度ビット割り当てを採用しています。すべてのチャネルに一律のビット幅（例：M4）を割り当てるのではなく、PTQ4SNNは、要素数で重み付けされた平均ビット予算の下で、チャネルあたり2、4、または8ビットを割り当てます。

• スコアリングメカニズム: チャネルは、キャリブレーションセットから導出された2つの指標に基づいてスコアリングされます：
  • 発火率 ($r_c$): 活動量が高いチャネルが優先されます。
  • 量子化感度 ($g_c$): スパイク出力の変化と損失勾配の間の相関によって測定されます。
• 割り当て: 統合スコア $a_c = \beta \hat{r}_c + \gamma \hat{g}_c$ がチャネルをランク付けします。グリッド探索およびバイナリサーチを通じて、高活動または高感度なチャネルを高い精度（8ビット）で保護し、重要度の低いチャネルには低い精度（2ビット）を割り当てることで、平均予算（例：約4ビット）を満たすように閾値が決定されます。

3. フレームワークのパイプライン

PTQ4SNNのパイプラインは以下の手順を含みます：

1. 正規化をフォールディングし、Conv/LIFペアを置き換えることで、量子化モデルを準備する。
2. キャリブレーションのフォワードパスを通じて、統計量（重みスケール、膜電位範囲、発火率、感度）を収集する。
3. チャネル単位の膜電位精度（MPBA）を割り当てる。
4. 割り当てられたビット幅に基づいた統一スケールブリッジを構築する。
5. 固定された量子化モデルを評価する。

主な貢献

1. 統一スケールブリッジ: 重みドメインと膜電位ドメインの間の不一致を、ハードウェアに優しいシフト演算を介した2のべき乗変換によって解決し、ハードウェアにとって扱いにくい乗算器を必要とせずに、チャネル単位で膜電位スケールを適応させるメカニズム。
2. 混合精度ビット割り当て: グローバルな予算の下で、活動量と感度を考慮して再帰的な膜電位チャネルに2/4/8ビットの精度を動的に割り当て、精度とストレージのトレードオフを最適化する戦略。
3. 汎用性: 本フレームワークは、バックボーンの再学習なしで、従来の畳み込みSNN（例：SEW-ResNet）から最新のスパイクトランスフォーマー（例：SDT, Meta-SpikeFormer）まで動作し、静的な画像分類、イベントベースの認識、およびセマンティックセグメンテーションをサポートします。

実験結果

実験は、W4（4ビット重み）量子化および平均約4ビットの膜電位予算（M4）を用いて、ImageNet-1K、CIFAR10-DVS、およびPascal VOC2012に対して行われました。

• ImageNet-1K 分類:
  • SDT-8-768: PTQ4SNNは75.16%の精度を達成し、フル精度ベースラインからの低下はわずか0.74%でした。これはFlowQ（63.74%）および重み再利用ベースライン（例：BRECQによるM4での74.12%、4.84%の低下）を大幅に上回りました。
  • Meta-SpikeFormer: 78.50%（低下は0.38%）を達成し、すべてのベースラインを上回りました。
  • SEW-ResNet18: 59.62%（低下は3.07%）を達成し、FlowQおよび重み再利用手法を上回りました。
• イベントベース分類 (CIFAR10-DVS):
  • SDT-2-256において、PTQ4SNNは70.80%（低下は1.00%）に達し、再帰的な時間的タスクにおいてFlowQ（67.30%）と比較して堅牢性を示しました。
• セマンティックセグメンテーション (Pascal VOC2012):
  • SDTベースのFPNにおいて、PTQ4SNNは59.77 mIoU（低下は0.67）を達成し、レイヤー単位のFlowQベースライン（49.41 mIoU）を大幅に上回りました。
• ハードウェアコスト分析:
  • 8×16-PEハードウェアモデルにおいて、混合精度アプローチ（MPBA）は、フル精度の1.000と比較して、状態SRAMの読み書きエネルギーを0.177（正規化）に削減しました。なお、真の平均精度は4ビットに近い値となっています。

意義と主張

本論文は、再帰的な膜電位状態を第一級のPTQターゲットとして扱うことで、PTQ4SNNが低ビットSNNデプロイメントの「不完全」な性質を効果的に解決することを主張しています。バックボーンを再学習することなく重みと状態を共同で量子化することで、本フレームワークは多様なアーキテクチャとタスクにわたって競争力のある精度を維持します。

著者らは、彼らの手法が以下の点を実現していることを強調しています：

• 再学習の必要性を排除し、学習済みSNNのデプロイを実用的なものにする。
• シフト演算を通じて、重みと膜電位の状態間のスケールの不一致を解決する。
  、高活動/高感度な場所にビットを割り当てることでリソース使用を最適化し、約4ビットの膜電位精度でフル精度に近い精度を実現する。
• 畳み込みSNNから最新のスパイクトランスフォーマーまで汎用しており、次世代のエネルギー効率の高いAIハードウェアへの有用性を検証している。