技術要約：動的減衰によるスパイキングニューラルネットワークの並列学習

1. 問題提起

スパイキングニューラルネットワーク（SNN）は、エネルギー効率が高く、イベント駆動型の計算が可能であり、ニューロモーフィック・ハードウェアに適しています。しかし、大規模なSNNの学習、特に現代のGPUにおける並列学習の効率性は依然として大きな課題となっています。

核心となるボトルネックは、標準的なスパイキングニューロン（例：LIF：Leaky Integrate-and-Fire）に備わっているリセット機構です。ニューロンが発火すると、その膜電位はリセットされます。これにより複雑な時間依存性が生まれ、全タイムステップを同時に計算することが妨げられます。並列学習を可能にする既存のアプローチには、大きく分けて以下の2つのカテゴリーがありますが、それぞれに限界があります。

1. リセットを保持する手法： 空間的依存性と時間的依存性を切り離す手法（例：バックプロパゲーション中に時間的依存性をドロップアウトさせる、あるいは単一ステップの事前学習を用いる）などは、多くの場合、学習の質を損なうか、並列性を十分に活用できません。
2. リセットを除去する手法： Parallel Spiking Neuron (PSN) のような手法は、並列計算を可能にするためにリセット機構を取り除きます。しかし、これらの手法は以下の問題を抱えています。
   • バニラなスパイキングニューロンに不可欠な**逐次推論（serial inference）**能力を犠償すること（これは、テスト時における効率的、安定的、かつ長シーケンスへの外挿に極めて重要です）。
   • リセット機構の機能的役割（非線形性の導入および膜電位の制御）を十分に再現できず、性能の天井や不安定性を招くこと。

本論文は、優れた並列スパイキングニューロンとは、並列学習（効率のため）と逐次推論（効率と外挿のため）の両方を同時にサポートし、かつリセット機構の生物学的機能を維持または強化できるものであるべきだと主張しています。

2. 手法：動的減衰スパイキングニューロン (DSN)

著者らは、リセット機構の新しい機能解析に基づいた動的減衰スパイキングニューロン (Dynamic Decay Spiking Neuron: DSN) を提案しています。

2.1 リセットの機能解析

本論文は、バニラなスパイキングニューロンにおけるリセット機構の2つの主要な機能を特定しています。

1. 非線形性の導入： リセットは、膜電位と入力履歴の間に非線形な関係を生み出します。リセットがない場合、膜電位の更新は入力の線形結合となります。
2. 膜電位の制御： リセットは、膜電位を適切な範囲内に抑えることで、「膜電位の爆発」や絶え間ない発火を防ぎます。これは以下のように特徴付けられます。
   • $\Delta$-short control（短期的制御）： 大きな入力の影響を短い時間窓に限定する。
   • Long control（長期的制御）： 小さな蓄積入力に対しても、膜電位が有界であることを保証する。

著者らは、既存の並列ニューロンはこれらの機能を効果的に複製できていないか、あるいは逐次推論を行う能力を失っていることが多いと主張しています。

2.2 並列学習と逐次推論のための条件

両方のモードをサポートするニューロンを設計するために、本論文では3つの構造的条件を確立しています。

1. 接頭辞要約可能性 (Prefix Summarizability)： 時刻 $t$ における出力は、入力 $X_{1:t}$ の接頭辞のみに依存すること。
2. オンライン更新可能性 (Online Updatability)： 内部状態が、直前の状態と現在の入力のみを用いて再帰的に更新可能であること（これにより逐次推論が可能になる）。
3. オフライン並列可能性 (Offline Parallelizability)： 完全な入力シーケンスが与えられたとき、状態のシーケンスを並列に計算できること（これにより並列学習が可能になる）。

2.3 DSN アーキテクチャ

DSNは、ハードリセットまたはソフトリセットの代わりに、入力履歴から導出される動的減衰因子 $\alpha_t$ を用いて、リセット機構を置き換えます。

• リセットの除去： 膜電位の更新式からリセット項を除去します。
• 動的減衰： 標準的なLIFにおける定数減衰因子 $\beta$ を、時変的な $\alpha_t$ に置き換えます。
  $$H_t = \alpha_t \odot H_{t-1} + (1 - \alpha_t) \odot X_t$$
  ここで、$\alpha_t$ は直近の入力履歴 ($X_{t-k+1:t}$) に対する因果的1次元畳み込み (causal 1D convolution) を通じて計算され、Sigmoid関数を通過することで $0 \le \alpha_t \le 1$ を保証します。
• スパイク発火： 学習を最適化しオーバーヘッドを削減するため、整数値スパイク発火（膜電位のクリッピングと丸め）を利用しますが、この手法はバイナリ発火もサポートしています。

重要な洞察： 動的減衰 $\alpha_t$ は、並列学習の条件を崩すことなく、非線形性を導入し、膜電位に対して柔軟で入力依存的な制御（短期的および長期的制御の両方）を提供することが証明されています。

計算モード：

• 学習時： 反復式を行列形式に展開し（並列スキャンアルゴリズムを使用）、すべてのタイムステップを同時に計算します。
• 推論時： モデルは再帰形式（式9）に切り替わり、最小限の状態保持のみを必要とするため、逐次推論の効率性が維持されます。

3. 主な貢献

1. 新しい機能的視点： 本論文は、リセット機構の体系的な分析を行い、その核となる機能（非線形性と電位制御）と、それらの機能を保持できなかったり逐次推論能力を失ったりする既存の並列アプローチの限界を明らかにしました。
2. 洞察に基づいた設計： 著者らは、並列学習と逐次推論の両方の条件を満たしつつ、ハード/ソフトリセットよりも柔軟にリセットの機能を実装する動的減降スパイキングニューロン (DSN) を提案しました。
3. 汎用性と性能： 本手法は、多様なネットワークアーキテクチャ（CNN、Transformer、状態空間モデル）および5つのタスクカテゴリ（画像分類、ニューロモーフィック・イベント処理、時系列予測、言語モデリング、強化学習）において、一貫した有効性を示しています。

4. 実験結果

著者らは、DSNを検証するために包括的な実験を行いました。

• 学習効率： 16k長のシーケンスにおいて、DSNは先駆的なParallel Spiking Neuron (PSN) に対して25.6倍の学習スピードアップを達成しました。
• 外挿能力： 2k長のシーケンスで学習されたモデルは、最大30k長のシーケンスに対しても安定した推論を実行できました。一方、他の並列手法（Masked PSNなど）は、学習時の長さを超えると失敗しました。
• タスク性能：
  • 画像分類： Sequential CIFAR-10/100においてSOTA（最高水準）の結果を達成し、ImageNetおよびCIFAR10-DVSにおいても並列スパイキングニューロンの中で競争力のある結果を示しました。
  • 時系列予測： 交通量や太陽光発電のデータセットにおいて、様々な予測長にわたってベースラインのSNNおよびTransformerを上回りました。
  • 強化学習： IDP-v4、Hopper-v4、Walker2d-v4のベンチマークにおいて、既存のSNNベースのRL手法と比較して分散を抑えつつ、SOTAの性能を達成しました。
  • 言語モデリング： スパイキング言語モデルの中で、WikiText-103において最低のパープレキシティ（28.50）を達成しました。
• エネルギー消費量： 動的減衰による複雑さが加わっているにもかかわらず、DSNはバニラなLIFや既存の並列ニューロンよりも低いスパイク発火率を示しました。その結果、推定される総エネルギー消費量はLIFよりわずかに低く、PSNよりも大幅に低いものとなりました。

5. 意義と主張

本論文は、DSNがリセット機構に代わる汎用的かつ強力な選択肢であり、学習効率と推論能力の間のトレードオフを解決すると主張しています。リセットの必要性をリセット機構そのものから切り離し、学習可能な入力依存の動的減衰に置き換えることで、著者らはSNNが現代のGPU上で効率的にスケールし、かつスパイキングニューロンの生物学的妥当性と推論効率を維持することを可能にしました。

この研究は、DSNを、大規模な基盤モデルの時代における重要なボトルネックである「並列学習」に対処し、大規模で高性能なスパイキングモデルを訓練するための基礎的なステップとして位置付けています。著者らは、彼らのアプローチが単に既存のニューロンを近似するのではなく、並列および逐次計算の両方に必要な構造的制約を遵守しながら、スパイキングニューロンの機能的能力を強化するものであることを強調しています。