Mutual Lateral Prediction for Locally Trained Spiking Neural Networks

技術要約：局所的に学習されたスパイキングニューラルネットワークのための相互横方向予測（Mutual Lateral Prediction）

問題提起
スパイキングニューラルネットワーク（SNN）は、動的視覚センサ（DVS）からのイベントベースデータに対して低エネルギー推論を提供する、ニューロモーフィック・ハードウェア（Intel Loihi-2やSpiNNaker2など）の自然な計算モデルである。しかし、現在最も高精度なSNNは、代理勾配を用いたBackpropagation Through Time（BPTT）に依存している。この手法は、層間を逆方向に誤差信号を伝播させ、時間軸を通じて伝播させることを要求するが、これは（層間の勾配ブロードキャスト機構を欠く）ニューロモーフィック・チップの仕組みとも、また（同様の逆方向経路を持たない）生物学的妥当性とも相容れない。予測符号化（Predictive Coding）は厳密に局所的な学習への道筋を提示しているが、既存のスパイキング定式化では、通常、ニューロンは自身の順方向の駆動のみを予測し、隣接する横方向のニューロンが受ける駆動については無視されている。

手法：MPC-SNN
著者らは、完全に局所的かつバックプロパゲーションを用いないルールで学習される畳み込みSNNであるMPC-SNN（Mutual Lateral Predictive Coding SNN）を導入する。そのアーキテクチャと学習プロセスは、以下の3つのコアコンポーネントによって定義される。

1. アーキテクチャの革新（横方向予測）：
   樹状突起による予測が、純粋に順方向のシナプス前スパイクのみに依存する従来のアーキテクチャとは異なり、MPC-SNNは学習された横方向重み行列 $W_{lat}$ を導入する。各ニューロンは、同じ層のピア（仲間）から前時刻に放出されたスパイクを用いて、それらピアの順方向入力を予測する。

   • 樹状突起の推定値 $\hat{I}[t]$ は次のように計算される：$\hat{I}[t] = W_d s_{pre}[t] + W_{lat} z_{layer}[t-1]$。
   • $W_{lat}$ は、同一空間位置におけるチャンネル間の学習された $1\times1$ 畳み込みとして実装される。
   • 予測誤差 $\epsilon[t]$ は、実際のシナプス前スパイクベクトルと、この横方向および順方向の推定値との偏差である。

2. 厳密に局所的な学習ルール：
   ネットワークは、グローバルな誤差信号や外部ターゲットを必要としない、第一原理から導出された3つの更新ルールを利用する。

   • 体細胞重み ($W_s$)： 予測誤差、適格性トレース（eligibility trace）、およびニューロモジュレーション信号を用いた3因子ヘブ則によって更新される。
   • 樹状突起重み ($W_d$)： 予測誤差の順方向成分を最小化するように更新される。
   • 横方向重み ($W_{lat}$)： 局所的な目的関数（予測誤差の二乗の半分）を微分することによって導出された、新しいコンポーネントである。更新ルール $\Delta W_{lat} = \eta_{lat} \epsilon[t] e_{lat}[t]^\top$ は、ニューロン自身の予測誤差と、同一層のピアの前刻みのスパイクのみを必要とする。これは、e-prop（出力誤差をブロードキャストする）やLTTS（外部ターゲット・スパイク列を必要とする）よりも厳密に局所的である。

3. 2段階の学習手順：

   • フェーズ1（教師なし事前学習）： クラスラベルやグローバルな損失なしで行われる50エポックの学習。各層は、局所的な予測誤差を用いて独立して重みを更新する。このフェーズは、再利用可能な表現を学習し、横方向メカニズムの活動を検証することを目的としている。
   • フェーズ2（教師あり微調整）： 線形読み出し（linear readout）が付加され、クロスエントロピー損失とラベルスムージングを用いてネットワークをエンドツーエンドで最適化する400エポックの学習。

主要な結果
DVS128 Gestureベンチマークを用いて評価した結果、MPC-SNNは以下の性能を示した。

• 精度： 本モデルは**95.83%**のテスト精度を達成した。これは、最も強力な局所学習ベースラインであるDECOLLE（~95.5%）と統計的に一致しており、展開済みのニューロモーフィック実装（Loihiの89.64%、Spike Gating Flowの87.50%）を大幅に上回っている。
• メカニズムの活動： フェーズ1において、横方向の重み ($W_{lat}$) は、初期値（$\approx 0.001$）から第1層において最大21.1倍まで成長しており、ラベル駆動の信号なしに横方向のルールが機械的に活性化していることが確認された。
• ラベル効率： モデルは高いラベル効率を示す。訓練ラベルの**25%**のみを用いて、**73.50%**の精度を維持している。これは2.94の情報保持比（IRR）をもたらし、これは各ラベル付きサンプルが線形スケーリングによる精度向上よりも、実質的に約3倍の精度向上を提供していることを意味する。
• スパース性： フェーズ2において、推論あたりのスパイク数は約730,000から約143,000へと減少した。これは、損失関数に明示的なスパース性ペナルティを課すことなく、創発的なスパース性が生じたことを示している。
• アブレーション： 横方向コンポーネントを除去した場合（条件B）、精度はわずかに低下（ベストの95.83%に対し94.79%）し、スパイク数は5.8%増加したが、これらの差は5つのシードを用いた288サンプルのテストセットにおいて統計的有意には至らなかった。

意義と主張
論文は、MPC-SNNが、同一層の横方向予測符号化と、局所的に導出された予測誤差ルールを組み合わせた最初のSNNであると主張している。その意義は、以下の3つの明確な貢献として構成されている。

1. アーキテクチャ的貢献： ピアの順方向入力を予測するための、学習された同一層の横方向重み行列を導入した。これは、SNNの文献においてこれまで報告されていない構成である。
2. 理論的貢献： 横方向の更新ルールがヒューリスティックなものではなく、予測誤差の目的関数から導出されていることを示し、層間の調整や外部ターゲットを必要としない、厳密に局所的な学習ルールを確立した。
3. 実証的貢献： 標準的なニューロモーフィック・ベンチマークにおいて競争力のある精度を達成すると同時に、高いラベル効率と、教師なし事前学習中の能動的な横方向重みの成長を実証した。

限界と誠実なネガティブな側面
著者らは、いくつかの限界を明示的に述べている。

• 統計的有意性： アブレーション研究において、横方向メカニズムは大きな効果量（Cohen's $d=1.01$）を示しているものの、テストセットが小さい（288サンプル）ため、これらの結果が統計的有意性に達することはできなかった。横方向の重みの信頼性を決定づけるには、より大きなテストセットが必要である。
• 収束の問題： 中間層（conv2）における予測誤差の収束は非単調であり、局所的な目的関数が、純粋に局所的なエッジでもなく、かといって完全に抽象的なものでもない特徴に対して苦戦する可能性を示唆している。
• 分布外（OOD）検出： スパイク数を異常スコアとしてOOD検出に用いた実験では、AUROC 0.578（有意差なし）となった。著者らはこれを「誠実なネガティブ（honest negative）」として報告しており、これは検出ロジックの根本的な欠陥ではなく、保持されたクラスと訓練クラスの間の意味的な類似性に起因するものとしている。
• デプロイメント： 本研究はシミュレーションのみであり、フェーズ1の学習を物理的なニューロモーフィック・チップ上にマッピングする際の効率については未検証である。

結論として、本論文はMPC-SNNを、生物学的妥当性と高性能なニューロモーフィック・コンピューティングの間の溝を埋める、バックプロパゲーションを用いない横方向予測符号化の具体的な実現例として提示しており、さらなる統計的検証とハードウェアへのデプロイメント研究の必要性を認めている。