Spiking Neural Networks for Continuous Control via End-to-End Model-Based Learning

技術要約：エンドツーエンドのモデルベース学習による連続制御のためのスパイキングニューラルネットワーク

問題提起
分類タスクにおけるスパイキングニューラルネットワーク（SNN）の進歩にもかかわらず、その連続的な運動制御への応用は依然として限定的である。生物学的脳は、堅牢で適応的かつ低遅延な運動行動のためにスパイクベースの通信を利用しているが、これをロボティクスにおける実用的な機械学習システムへと変換することは困難である。主なボトルネックは、SNNを連続的なタスクに対してエンドツーエンドで訓練することの難しさにある。滑らかな勾配の恩恵を受ける標準的な人工ニューラルネットワーク（ANN）やゲート付きリカレントニューラルネットワーク（RNN）とは異なり、SNNはスパイクの非線形性に起因する不連続性を示す。このことが、研究の方向性を、原理的なエンドツーエンドの最適化ではなく、局所的な可塑性ルール、オンライン適応、あるいは間接的な訓練パラダイムへと向かわせる要因となっている。さらに、既存のSNN制御手法の多くは、解析モデル、局所学習ルール、またはANNからSNNへの変換に依存しており、高自由度（DoF）の連続制御へのスケーラビリティや、未モデル化されたダイナミクスに対する堅牢性に欠けることが多い。

手法
著者らは、サロゲート勾配を用いてエンドツーエンドで訓練される、完全スパイキング・モデルベース制御フレームワークである予測制御（Pred-Control）SNNアーキテクチャを提案する。このシステムは、2つの訓練可能なスパイキングネットワークで構成される：

1. 予測ネットワーク（順モデル）： 現在の状態（$s_t$）と制御入力（$u_t$）から将来の状態変化（$\Delta \hat{s}_t$）を予測するリカレント・スパイキングネットワーク。これは、学習可能な時定数とオプションの適応閾値を持つLeaky Integrate-and-Fire（LIF）ニューロンを利用する。
2. 方策ネットワーク（逆モデル）： 現在の状態（$s_t$）と目標状態（$s^*_t$）に基づいて、最適な制御アクション（$u_t$）を推論するフィードフォワード・スパイキングネットワーク。

主要な訓練戦略と構成要素：

• サロゲート勾配： 微分不可能なスパイク関数は、バックプロパゲーション時に滑らかなサロゲート関数（具体的にはGaussian Spike）を用いて近似され、勾配ベースの最適化を可能にする。
• アーキテクチャ： 両ネットワークはLIFニューロンを採用している。予測ネットワークは、部分的な観測から隠れ状態変数（速度など）を推論するためにリカレント結合を含み、方策ネットワークはフィードフォワード型である。
• 学習可能な時定数： 膜時定数（$\tau_{mem}$）およびシナプス時定数（$\tau_{syn}$）は、ネットワークがタスクの要求に合わせて固有の時系列ダイナミクスを適応できるように、学習可能なパラメータとして扱われる（変動駆動型初期化によって初期化される）。
• 適応閾値（ALIF）： 本モデルは、減衰するベースライン閾値とスパイク誘発型適応を備えた適応型LIFニューロンを組み込んでいる。このメカニズムは、沈黙したニューロンを再活性化させ、持続的な過剰活動を防ぎ、長期的なホライゾンにおけるクレジット割り当てを改善する。
• 潜在空間圧縮： パラメータ効率を向上させるため、アーキテクチャはスパイキング層間に潜在空間圧縮を採用しており、固定されたパラメータ予算内でより広い層を実現している。
• 訓練パイプライン： ネットワークはリプレイバッファを用いて反復的に訓練される。予測モデルはティーチャーフォーシングによって更新され、方策は、方策損失のために微分可能な状態推定値を生成するために、凍結された予測モデルをロールアウトすることで最適化される。

実験設定
本フレームワークは、2つのシミュレーションされた連続制御環境で評価された：

1. 2D平面アーム： 速度データがない部分観測性を伴う2関節アーム。ハイパーパラメータのスクリーニングに使用。
2. 3Dロボットアーム（6-DoF）： トルク制御を行う、シミュレーションされたFranka Emika Pandaロボット。高次元の連続制御タスクを代表する。

主な結果

• 性能 vs パラメータ数： 6-DoFリーチングタスクにおいて、フルPred-Control SNNは、約1,270万個のパラメータを持つ大規模な非スパイキング・リカレント・ベースラインと同等のタスク性能（累積距離、成功率、ターゲット滞在時間）を、約90万個という桁違いに少ないパラメータ数で達成した。
• アブレーション研究：
  • 学習可能な時定数： 最適ではない初期化を補償する際、特に収束性と最終的な性能を大幅に向上させた。
  • 適応閾値（ALIF）： 発火率を安定させ、沈黙したニューロンの再活性化を可能にすることで、性能を向上させ、より長期のクレジット割り当てを容易にした。
  • 潜在圧縮： 固定されたパラメータ予算内でより広いスパイキング層を可能にし、良好な性能・効率のトレードオフをもたらした。
• 予測 vs 制御： 非スパイキングのベースラインは、より低い長期的予測平均二乗誤差（MSE）を達成したが、これが優れた制御性能には直結しなかった。SNNは、自己回帰的な予測の正確性が劣るにもかかわらず、同等の制御効果を示した。これは、効果的な制御には、完璧な予測精度よりも、タスクに関連するダイナミクスを捉えるのに十分な表現力を持つモデルが必要であることを示唆している。
• 安定性： 提案されたSNNは、基本的なスパイキングコントローラーと比較して、より滑らかで安定した最適化ダイナミクスを示したが、非スパイキングのベースラインよりも学習は緩やかであった。

意義と主張
本論文は、完全スパイキングアーキテクチャが、連続環境における複数の自由度を持つロボットアームをエンドツーエンドで制御できることを実証したと主張しており、ディープラーニングの訓練ツールと生物学的な計算の間の溝を埋めるものである。

主な貢献は以下の通りである：

1. スケーラビリティ： SNNが、ANNの事前学習、変換、またはハードウェア固有の制約を必要とせずに、高次元の連続制御のための実行可能かつスケーラブルな基盤であることを確立した。
2. 原理的な設計： 学習可能な時定数、適応閾値、および潜在空間圧縮といった特定のアーキテクチャおよび訓練設計の選択が、スパイキング領域における安定した訓練と効果的な制御に極めて重要であることを強調した。
3. モデルベース制御： 学習された予測モデルを制御ループに統合することで、SNNが高次元かつ長期のタスクにスケールできることを示した。
4. 効率性： 同等の非スパイキング・リカレントネットワークよりも大幅に少ないパラメータで、高性能な制御が可能であることを示した。

著者らは、本研究を、ディープラーニングの訓練と予測計算を統一する、スケーラブルで適応可能かつエネルギー効率の高い制御システムを構築するためのステップとして位置づけている。彼らは、Backpropagation Through Time (BPTT) の計算オーバーヘッドと現在のレートコーディングへの依存という限界を認めており、今後の研究として、オンライン学習手法（例：e-prop）や代替的なスパイクコーディングスキームの探索を示唆している。