テクニカル・サマリー：極めて高速なロボットを制御するために、低速なシリコン・ニューロンを学習させる：スパイキング強化学習を用いたアプローチ

問題提起

自律型ロボティクスは、エネルギー効率のボトルネックに直面している。大規模なニューラルネットワークは前例のない成功を収めてきたが、その学習および推論コスト（メガワット時単位の消費と急速なバッテリー消耗）は、ミリワット予算で動作するモバイル・プラットフォームとは相容れないものである。対照的に、ヒトの脳は、約20Wの電力とわずかな学習例によって複雑な運動学習を実現している。ニューロモーフィック・ハードウェアは、非同期かつイベント駆動型の処理を通じてエネルギー効率の高い道筋を提示しているが、既存のスパイキングニューラルネットワーク（SNN）による強化学習（RL）の実証は、主に単純化されたベンチマーク（例：離散的なアクションと低次元の観測を伴う2Dゲーム）に限定されてきた。

本研究が取り組む中心的な課題は、以下の特性を持つ実世界のロボット操作へとニューロモーフィックRLをスケールアップさせることである：

1. 高次元性： 6次元の連続状態空間（パックの位置／速度およびエンドエフェクタの座標）。
2. 物理的制約： 機械的なレイテンシを伴う精密なエンドエフェクタ制御。
3. 時間的ダイナミクス： 1.0–1.5 m/sの軌跡を描くパックに対し、50 Hzの制御と1 msの物理統合を用いた予測的なプランニングが必要。

著者らは、混合信号ニューロモーフィック・プロセッサ上で動作する「低速」なシリコン・ニューロンのコンパクトなネットワークが、高速なエアホッケー・タスクにおいて「極めて高速」なロボットを制御できるかどうかを調査している。

手法

実験セットアップ

システムは、MuJoCoによるエアホッキー環境の**Hardware-in-the-Loop (HIL)**構成で作動する。

• ロボティクス： 人型マニピュレータが、1.038 × 1.948 mのテーブル上でマレット型のエンドエフェクタを制御する。
• 制御ループ： 50 Hzで動作する。エージェントは、定義済みの運動プリミティブ（ホームターゲットまたはフォワードターゲット）に対応する2つの離散的なアクションのいずれかを選択する。これらのプリミティブは、組み込まれた逆運動学ソルバを介して、オープンループの弾道軌道として実行される。
• 物理演算： 無摩擦のパックのダイナミクスと弾性衝突をモデル化するため、1000 Hzで統合される。

ネットワーク・アーキテクチャ

システムは、DYNAP-SEアナログ・デジタル混合信号ニューロモーフィック・チップを利用している。アーキテクチャは、可塑性を持つリードアウトを備えたリザーバー・コンピューティング構成である：

• 入力層： 60個のFPGAベースのスパイク生成器。6つの状態変数（パックの $x, y, v_x, v_y$ およびエンドエフェクタの $x, y$）は、各10個のニューロンを用いたガウス型活動プロファイルによるポピュレーション・コードとしてエンコードされる。
• 隠れ層（リザーバー）： 固定されたランダムなフィードフォワード・シナプスを持つ1020個のシリコンAdEx-LIFニューロン。この層は、重みの更新を必要とせずにタスクの時間的構造を捉える。
• リードアウト層： アクション0またはアクション1を選択する確率を表す2つの線形ユニット。隠れ層とリードアウトを接続する重みは可塑的である。
• 学習規則： システムは、誤差逆伝播法（Backpropagation through Time）を近似する局所学習規則であるe-prop（eligibility propagation）を採用している。重みの更新は、グローバルな報酬信号と組み合わされた、局所的なプレおよびポスト・シナプス活動のみに依存する。更新規則は以下の通りである：
  $$\Delta w_{ik} = -\alpha \sum_{t} r_t \sum_{t' \le t} \gamma^{t-t'} (\pi_{t'}^k - \mathbb{1}_{a_{t'}=k}) \bar{s}_{t'}^i$$
  ここで、$\bar{s}$ はフィルタリングされた活動、$r_t$ は報酬、$\pi$ はアクションの確率である。

報酬関数

各ステップでスカラー報酬 $r_t$ が計算され、パックの前方への移動と精密なインターセプト（阻止）のタイミングを促す：

• +20： パックがターゲットを通過し（$x_p > 1.5$ m）、かつ前方への運動量を持っている（$v_x > 0.1$ m/s）場合の終端報酬。
• $0.2 v_x$： エンドエフェクタがパックから0.08 m以内にいる場合に、前方速度に比例して与えられるシェイピング報酬。
• -0.1： エピソードの長さを最小化するためのステップごとのペナルティ。

学習プロトコル

学習は、チップの確率性を考慮して10個の独立したランダムシードで繰り返される、1実験あたり2000エピソードの実行で行われる。システムは「覚醒時」のみ学習を行い（この実装ではオフラインの「夢を見る」フェーズはない）、リアルタイムの相互作用に依存する。

主な貢献

本論文は、ニューロモーフィックRLをゲーミングから物理的ロボティクスへとスケールアップさせたことについて、主に3つの貢献を主張している：

1. 玩具レベルのRLを超えて： 単純なグリッドベースのゲームから、適応精度を持つ連続状態エンコーディングを備えた実世界のエアホッキーへと移行した。
2. 離散から連続への制御： 50 Hzで弾道軌道を実行する連続的な運動プリミティブを用いた、ニューロモーフィックRLの実証。これはフレームレベルではなく、予測的な意思決定を要求する。
3. 不確実性下での汎化： パックの位置と速度をランダム化しても（1.0–1.5 m/s）、堅牢な学習（成功率96–98%）を達成し、システムが多様な初期条件に適応できることを証明した。

結果

• 学習効率： システムは1500–2000エピソード以内に堅牢なプレイを実現した。
• パフォーマンス：
  • 静止パック： 200試行以内に100%の成功。
  • 一定速度： 1000エピソード後に100%の成功。
  • 可変速度 (1.0–1.5 m/s)： 1500エピソード後に成功率が96%以上に安定。
  • ランダムな位置と速度： 1300エピソード後に成功率が98%以上に安定。
• スケーラビリティ・テスト：
  • 狭い速度範囲（[0.7, 0.9] m/s）では、約150エピソードで97%以上の成功に達した。
  • より広い範囲（[0.7, 1.5] m/s）では、約700エピソードを要し、漸近的な成功率がわずかに低下（97%から93%へ）したが、これは壊滅的な失敗ではなく、緩やかな性能低下を示している。
• 行動の定着： 学習前の行動は不安定で確率的であった。学習後、エージェントは、インターセプト軌道への早期のコミットメントと、それに続く精密な修正操作を特徴とする、決定論的かつ時間的に精密な戦略を示すようになった。

意義と主張

著者らは、本研究を、ニューロモーフィックRLシステムが、実世界のロボティクスに典型的な高次元状態、連続時間制御、およびタイトな時間制約にスケールできるかどうかの最初の肯定的な回答として位置づけている。

• ギャップの架橋： 本研究は、脳にヒントを得たアプローチが、高速な相互作用タスク（1.5 m/sのパック速度）に対処しながら、インテリジェントな機械における「常時稼働」の学習をサポートできることを示している。
• 効率性： システムはわずか1020個のニューロンのみを使用して安定したパフォーマンスを達成した。これは、エアホッキーのために約10,000個のニューロンを必要とした従来のバイオインスパイアードRLシミュレーションと比較して、10倍の削減である。
• 実用性： ハードウェアと学習アルゴリズム（DYNAP-SE上でのe-prop）を協調設計することにより、システムはコンピュータとニューロモーフィック・チップをイン・ザ・ループとしたリアルタイム学習を可能にし、非局所的で計算コストの高い学習規則に頼ることなく、スパイキングニューラルネットワークを自律型ロボットシステムのために学習させる実現可能性を検証した。

本論文は、複雑な感覚運動学習がコンパクトな混合信号ニューロモーフィック・プロセッサで達成可能であることを結論づけ、自律型ロボティクスにおけるエネルギー効率の高い適応制御の可能性を強調している。