技術概要：効率的なジェスチャ理解のための弾性スパイクトランスフォーマー

1. 問題定義

ヘルスケアおよびジェスチャ認識におけるニューロモルフィックハードウェア（例：Intel Loihi、IBM TrueNorth）へのスパイクニューラルネットワーク（SNN）、特にスパイクトランスフォーマーの展開は、2 つの重要なボトルネックに直面しています。

1. アーキテクチャの硬直性: 既存の SNN アーキテクチャは静的であり、固定されたパラメータ数と計算グラフを持っています。メモリや電力制約が異なる多様なニューロモルフィックチップ上でこれらのモデルを展開するには、各ハードウェアターゲットごとに完全に独立したモデルを訓練・展開する必要があり、統一されたアプローチの効率性を無効化しています。
2. ハードウェア非互換性とエネルギー非効率性: 現在の多くのスパイクトランスフォーマーは、グローバル行列乗算（GEMM）またはバッチ行列乗算（BMM）演算に依存しています。これらはスパイク駆動型のニューロモルフィックチップによってネイティブにサポートされていないため、ワークロードが高電力の CPU にオフロードされ、エネルギー節約効果が損なわれます。さらに、標準的なスケーリング戦略（モデルの幅/深さの縮小）は、初期の特徴抽出（パッチ埋め込み）段階がモデルサイズに関わらずスパイク活動の主要な発生源として残るため、エネルギー消費を比例的に削減できないことがよくあります。

2. 手法：NESTformer アーキテクチャ

著者は、スパイクパラダイムに直接ランタイム適応性を埋め込むように設計された新しいアーキテクチャであるNESTformer（ニューロモルフィック弾性スパイクトランスフォーマー）を提案します。このフレームワークは、以下の 3 つの核心原則に基づいています。

• ネスト型アーキテクチャ: 小規模な構成はより大規模なものの厳密な部分集合であり、重みの共有を可能にします。
• スパイク認識型弾性: サイズ縮小は、パラメータ数とスパイク活動の両方を最小化するように最適化されます。
• ハードウェア認識型設計: このアーキテクチャは CPU 依存の演算を回避し、ニューロモルフィックハードウェアに固有の構造を利用します。

このモデルは、粒度パラメータ $g$ によって制御される 3 つの弾性構築ブロックを通じて、イベントベースの入力を処理します。

A. 弾性スパイク自己注意

マトリョーシカ表現学習に触発されたこのブロックは、推論中にアクティブな注意ヘッドの数（$h_g$）を調整するために、クエリ（$Q$）、キー（$K$）、値（$V$）テンソルの動的なスライシングを可能にします。

• ニューロモルフィック互換性: グローバル行列乗算を排除するために、著者は行方向注意メカニズムを導入します。密な注意マップを計算する代わりに、この演算は 2 つのリーキー・インテグレート・アンド・ファイア（LIF）演算のシーケンスに分解されます：$attng = LIF(Q_g \cdot K_g^T)$ に続き、$O_g = LIF(attng \cdot V_g)$ です。これにより、注意スコアがバイナリスパイクに変換され、後続の乗算がイベント駆動型ハードウェアと互換性のある厳密なスパイク駆動型の累積となります。

B. 弾性スパイク MLP

多層パーセプトロン（MLP）モジュールは、対数間隔のフィルタ数に基づいて可変の隠れ次元を利用します。隠れ次元（$h_g$）を最小値から最大値まで動的に調整することで、モデルは再訓練なしでパラメータ数（標準的なトランスフォーマーの約 60% を構成）を大幅に削減できます。

C. 弾性特徴抽出（XiSPS）

パッチ埋め込みがスパイクの大部分を生成するというボトルネックに対処するため、著者はXiSPS（弾性スパイクパッチ分割）を導入します。静的な埋め込みとは異なり、XiSPS は特徴粒度と電力消費の間の動的なランタイムのトレードオフをサポートします。入力段階で計算負荷とパラメータ数を削減するために調整可能な圧縮係数 $\gamma$ を適応させ、エネルギー節約がモデルサイズに比例して線形にスケールすることを保証します。

D. 訓練戦略

このモデルは、従来の「サンドイッチ」訓練ではなく、確率的サンプリング戦略を採用します。訓練中、各ステップでバイアス付き分布 $P(g)$ から 1 つの粒度構成がサンプリングされますが、この分布はより大規模な構成を優先します。これにより、完全なパラメータセットが頻繁に更新され、すべての小規模なサブネットワークで共有される重みが安定します。一貫した計算グラフを維持するために、バイナリマスキングを備えた静的なテンソル形状が使用されます。

3. 主要な貢献

1. 最初の弾性スパイクトランスフォーマー: NESTformer は、再訓練なしでランタイム適応性（メモリフットプリントと計算のスケーリング）を可能にする最初の SNN トランスフォーマーであり、3.8$\times$ のエネルギー範囲をカバーします。
2. ニューロモルフィックネイティブな注意: 新しい行方向注意計算方式は、グローバル行列乗算を逐次的なシナプス演算に置き換え、CPU オフロードなしでのニューロモルフィックハードウェアへの真の展開を可能にします。
3. 線形エネルギースケーリング: 著者は、以前のアーキテクチャではエネルギー節約が非線形であったのに対し、NESTformer の弾性は総スパイク発火率を直接削減することを示しています。これにより、モデルサイズが縮小するにつれてエネルギー消費が比例的に減少します。
4. 最先端のパフォーマンス: このアプローチは、ジェスチャおよび画像ベンチマークにおいて競合する、あるいはそれ以上の精度を達成し、現在の最先端（SOTA）アーキテクチャよりも大幅に少ないエネルギーを消費します。

4. 実験結果

著者は、EHWGesture臨床データセットおよび標準ベンチマークであるDVS128 Gesture、CIFAR10-DVS、および静的CIFAR-10/100上で NESTformer を検証しました。

• EHWGesture（臨床ジェスチャ）:

  • 最大構成（$g_3$）は**75.98%**の精度を達成し、SOTA の QKFormer-5-320（75.28%）および効率的な CNN PhiNet（71.25%）を上回りました。
  • エネルギー効率: NESTformer（$g_3$）は推論あたり46.1 $\mu$Jを消費し、QKFormer-5-320（100.9 $\mu$J）の半分以下、CNN ベースライン（6,900–460,000 $\mu$J）よりも桁違いに低いエネルギーでした。
  • 弾性: $g_2$構成はピーク精度の 99.8%（75.86%）を維持しつつ、エネルギーを約 40% 削減（28.7 $\mu$J）しました。最小構成（$g_0$）はわずか 13.3 $\mu$J で 71.01% の精度を維持しました。

• 一般ベンチマーク:

  • DVS128 Gesture: NESTformer（$g_3$）は SOTA のスパイク駆動トランスフォーマー（99.30%）と同等の性能を示し、QKFormer（98.60%）を上回りました。超軽量な $g_0$ 構成は、最大構成よりもパラメータ数が 5.3$\times$ 少ない状態で 97.57% の精度を達成しました。
  • CIFAR10-DVS: 83.61% の精度（$g_3$）を達成し、標準的なスパイクフォーマー（80.90%）を上回りました。
  • CIFAR-100: $g_3$構成は**81.30%**の精度を達成し、このデータセットにおけるスパイクトランスフォーマーの新しい SOTA を確立しました。

• 時間的トレードオフ: EHWGesture に関する分析により、アクション品質評価（AQA）は高い時間分解能（$T=64$）から恩恵を受けるのに対し、ジェスチャ認識は低いタイムステップ（$T=16$から 32）でピークに達することが明らかになりました。NESTformer を使用すれば、ユーザーは特定のタスク要件に最適な粒度とタイムステップの組み合わせを選択できます。

5. 意義と主張

本論文は、NESTformer が効率的なニューロモルフィック計算と弾性トランスフォーマーアーキテクチャの間のギャップを埋めると主張しています。その主な意義は、再訓練の必要性なしに、超低電力のエッジデバイスから高精度サーバーまで、ニューロモルフィックハードウェアの全スペクトルに単一の統一モデルを展開可能にする点にあります。

動的なスライシングを通じてメモリ制約の問題を解決し、総スパイク発火率を直接低下させることで、NESTformer は以下のような独自の二重の利点を提供します。

1. 展開の柔軟性: 多様なハードウェア仕様に適合するためにパラメータフットプリントを即座にスケーリング可能。
2. 真のエネルギー効率: モデルサイズの縮小に比例したエネルギー消費の線形削減。これは、従来の人工ニューラルネットワーク（ANN）および固定 SNN では以前は利用できなかった能力です。

著者は、このアプローチがリソース制約のあるエッジデバイス上で継続的かつリアルタイムのジェスチャ認識を可能にし、高い精度を維持しながらユーザーのプライバシーを保護し、通信遅延を削減すると結論付けています。