Uncertainty-Aware Token Importance Estimation in Spiking Transformers

技術的概要：スパイキング・トランスフォーマーにおける不確実性認識トークン重要度推定

問題定義
スパイキング・トランスフォーマーは、スパイキング・ニューラルネットワーク（SNN）のエネルギー効率と自己注意のグローバルモデリング能力を組み合わせることで、ニューロモルフィック・ビジョンにおいて大きな可能性を示しています。しかし、重要なボトルネックが残されています：SNN に固有の多段階トークン処理は、しばしば大幅な冗長性と推論コストをもたらします。既存のトークン削減手法（トークンプルーニングやマージなど）は効率向上を目指していますが、それらの多くは活性化の大きさ、発火統計、または特徴の類似性といった、応答駆動型の手がかりに主に依存しています。

著者らは、これらの基準がスパイキング・トランスフォーマーには不十分であると主張します。なぜなら、それらはトークンレベルのクラス証拠が時間とともにどのように進化するかを明示的に特徴づけることができないからです。単一の瞬間でトークン表現が決定される静的なトランスフォーマーとは異なり、スパイキング表現は複数のシミュレーションステップにわたって漸進的に形成されます。したがって、トークンの重要度は単一のステップの応答のみから適切に推測することはできず、スパイキングダイナミクス全体における証拠と不確実性の進化を捉える時間的視点が必要です。

手法：Uncert
これに対処するため、著者らは時間的不確実性パターンに基づいてトークン重要度を推定するための、学習不要なプラグアンドプレイフレームワーク「Uncert」を提案します。この手法は以下の 4 つの主要な構成要素からなります：

1. スパイキング・トークン階層性：このフレームワークは、階層的なスパイキング・トランスフォーマー・バックボーン（QKFormer または MaxFormer など）を利用します。トークン表現は $T$ 個の時間ステップにわたって進化し、各空間トークンに対して時間的軌跡を形成します。
2. トークン不確実性基準：Uncert は生活性化値を使用するのではなく、ディリクレ分布を用いてトークンごとのクラス証拠をモデル化します。
   • 時刻 $t$ におけるトークン $i$ の分類器ログitは、Softplus 活性化を通じて非負の証拠値に変換されます。
   • これらの証拠値は、ディリクレ分布のパラメータ（$\alpha$）を定義します。
   • トークン不確実性（$U$）は、総証拠（$S$）から $U = C/S$ として導出されます（ここで $C$ はクラス数です）。これにより、各トークンに対して時間的不確実性軌跡 $\{U^t_i\}_{t=1}^T$ が得られます。
3. スパイキング時間的不確実性モデリング：このフレームワークは、各トークンの時間的不確実性軌跡を 2 つの統計量で要約します。
   • 平均（$\mu$）：トークンの全体的な曖昧さのレベルを表します。
   • 標準偏差（$\sigma$）：トークンの不確実性の時間的変動または安定性を捉えます。
   • 最終的な重要度スコアは $S_i = \mu_i + \lambda \sigma_i$ として計算されます（ここで $\lambda$ はバランス係数であり、経験的に 0.9 に設定されます）。著者らは、より高い不確実性またはより強い変動を示すトークンは、モデルが曖昧さを解決している情報豊富な領域に対応する傾向があり、一方で低不確実性のトークンはしばしば冗長な背景を表すと観察しています。
4. トークン選択：計算されたスコアは、2 つの戦略を通じて推論時のトークン削減を導きます。
   • トークンプルーニング：自己注意計算を行う前に、最も高いスコアを持つトップ-$K$ のトークンを選択して保持し、残りを破棄します。
   • トークンマージ：重要度の低いトークンを近くのスコアの高いアンカーに集約します。

主要な貢献

• トークン重要度に関する時間的視点：本論文はスパイキング・トランスフォーマーにおけるトークン重要度推定を再考し、トークンが均一なダイナミクスではなく、安定、変動、または持続的な曖昧さといった不均一な不確実性軌跡を示すことを実証しています。
• Uncert フレームワーク：ディリクレ分布を用いてトークン証拠をモデル化し、時間的に集約された不確実性統計量（平均と変動）から重要度スコアを導出する、学習不要なプラグアンドプレイ手法の提案。
• 実証的検証：静的（CIFAR-10、CIFAR-100）およびニューロモルフィック（DVS-CIFAR-10、DVS-Gesture）の両方のベンチマークにおける広範な実験により、手法の有効性が検証されました。

実験結果

• 精度と効率のトレードオフ：Uncert は、精度と効率の間に有利なトレードオフを達成します。CIFAR-100 および DVS-CIFAR-10 において、トークンの 80〜90% だけを保持しても、フルベースラインと同等か、わずかに優れた精度が得られることがよくあります。
• プルーニング対マージ：トークンプルーニングは、不確実性基準の最も効果的な応用として浮き彫りになりました。例えば、CIFAR-100 で 80% の保持率の場合、Uncert（プルーニング）は 81.06% の精度を達成し、ベースライン（80.98%）およびランダム選択（80.40%）を上回りました。一方、トークンマージは一貫した改善を示さず、過剰な圧縮下ではしばしばベースラインを下回りました。
• コンポーネント分析：アブレーション研究により、平均不確実性と時間的変動の両方を組み合わせることが、いずれかの指標単独を使用する場合よりも優れた性能をもたらすことが確認されました。これは、全体的な曖昧さのレベルとトークンの時間的安定性の両方が、情報豊富な信号を識別するために重要であることを浮き彫りにしています。
• 効率性の向上：キープ率を 0.40 に低下させた場合、ブロックレベルの操作（SOP）は約 14.86% 削減され、測定可能な計算コストの節約が示されました。

意義と主張
本論文は、Uncert が瞬間的な応答の強さから時間的不確実性パターンへと焦点を移すことで、スパイキング・トランスフォーマーにおけるトークンダイナミクスに対する新たな視点を提供すると主張しています。著者らは、不確実性は単なる不安定性の尺度ではなく、さらなる解決を必要とする識別可能なコンテンツを特定するための有用なシグナルであると位置づけています。

この研究の意義は、追加の学習や学習可能な予測子を必要とせずに推論効率を向上させる能力にあります。スパイキング表現の内在的な時間的進化を利用することで、Uncert は冗長性を削減するための原理的かつ学習不要なメカニズムを提供します。著者らは、時間的不確実性統計量が、特にプルーニングにおいてトークン選択のための堅牢かつ効果的な手がかりを提供し、静的およびイベントベースの両方のビジョンタスクに対してより効率的なスパイキング・トランスフォーマーを可能にすると結論付けています。