Dynamic neural manifolds for flexible closed-loop control on neuromorphic hardware

技術要約：ニューロモーフィック・ハードウェア上での柔軟なクローズドループ制御のための動的ニューラル・マニホールド

問題提起
生物学的な神経回路は、動的で低次元のマニホールドに沿って逐次的な活動を進化させることで、柔軟な振る舞いを示す。スパイクネットワークモデルは、これらの逐次的活動を特定の回路メカニズムに関連付けてきた（これによりパラメータ化が可能となった）が、このフレームワークをエネルギー効率の高いリアルタイムのクローズドループ制御としてニューロモーフィック・ハードウェア上に実装することは依然として課題である。既存のアプローチは、説明可能な人工知能や適応型自律システムに不可欠な、感覚フィードバックに応じて神経幾何学を動的に再構成する能力を欠いていることが多い。著者らは、ロボット・エージェントのリアルタイムなクローズドループ制御を可能にするため、SpiNNaker 2 ニューロモーフィック・チップ上に動的ニューラル・マニホールド・フレームワークを実装することで、このギャップを埋めることを目的としている。

手法
著者らは、リング状のネットワークと非対称な再帰的結合に基づいた回路アーキテクチャを実装した。これは、リングに沿って進行する活動の「バンプ（塊）」を生成し、振動的なシーケンスを作り出すように設計されている。

1. ハードウェア実装 (SpiNNaker 2):

   • スパイク変換: 元のレートベースのモデルを、SpiNNaker 2 のスパイクベースの通信に適応させた。ニューロンは内部レートを確率的にスパイクへと変換する（レートをスパイク確率とする）。パフォーマンスを最適化するため、高コストな乱数生成を行わずにスパイク頻度を近似する決定論的なルールを採用している。
   • スパース性とメモリの最適化: オンチップSRAMの制限に対処するため、著者らは結合行列にスパース性（接続確率50%）を導入した。重み行列の巡回構造を利用し、完全な行列ではなく、単一の重み行と接続用のビットマスクのみを保存するようにした。
   • クローズドループ・ストリーミング: 長期的な内部記録を妨げるメモリ制約のため、システムはHostIFインターフェースを介してホストコンピュータにスパイクをストリーミングする。ホストは感覚フィードバックを処理し、制御パラメータをチップにリアルタイムで送り返すことで、低レイテンシ（約3タイムステップ）のクローズドループを形成する。

2. 制御メカニズム（「コントロール・ノブ」）:
   このアーキテクチャは、ニューラル・マニフォールドを操作するために3つの特定の回路メカニズムを利用する：

   • 加算電流 ($I$): 活動バンプのサイズ（幅）を調整し、ニューラル・トラジェトリ（軌跡）の半径を制御する。
   • 乗法的ゲイン ($S$): バンプの伝搬速度を調整し、ニューラル・トラジェトリの速度を制御する。
   • 不均一な抑制 ($p_{inh}$): 抑制性アンサンブルを介して、ニューロンのランダムなサブセットを選択的に沈黙させる。これによりニューラル部分空間を回転させ、システムが異なる行動状態（例：異なる移動タイプ）を切り替えることを可能にする。

3. 応用（仮想迷路のナビゲーション）:
   二輪のロボット・エージェントが仮想迷路をナビゲートする。外部のポリシー・プログラムが、高レベルの計画（例：「西へ進む」）と、感覚入力（壁までの距離、地面の種類など）に基づく局所的な適応を生成する。これらの入力は、リング・ネットワークの制御パラメータ（$S, I, p$）へとマッピングされる。制御パラメータ空間のランダムな探索を通じて学習された線形読出し層（リニア・リードアウト・レイヤー）が、リング・ネットワークのスパイク活動をモーターコマンド（車輪の速度およびジャンプのトリガー）へとデコードする。

主な結果

• パラメータの忠実度: SpiNNaker 2 による実装は、元のレートベースのCPUモデルのダイナミクスを正常に再現した。
  • 形状制御: 加算電流 $I$ は、バンプのサイズとトラジェトリの半径を線形に制御した。
  • 速度制御: 乗法的ゲイン $S$ は、活動バンプの回転速度を確実に制御した。
  • 部分空間の回転: 選択的な抑制は、ニューラル部分空間の回転に成功した。部分空間間の主角は解析的なスケーリング挙動（$\arccos(1 - p_{inh})$）と一致しており、異なる行動状態が幾何学的に分離可能であることを裏付けた。
• 効率性: 実装は 1 ms のリアルタイム・タイムステップの閾値内に十分に収まって動作した。実行時間は、処理されたスパイク数に対して線形にスケールした。大きなバンプ（$I$ によって制御）は実行時間を増加させ、高い抑制（より多くのニューロンを沈黙させること）は実行時間を減少させた。
• クローズドループ性能: ロボット・エージェントは、迷路のナビゲーションに成功し、行動（前進、旋回、ジャンプ）を動的に切り替え、感覚フィードバックに基づいて速度や軌跡を調整した。本システムは、感覚入力が抑制、ゲイン、および電流を調整することで、マニフォールドの幾何学をオンザフライで再構成できることを示した。

意義と主張
本論文は、動的ニューラル・マニフォールドが説明可能なニューロモーフィック・アーキテクチャのための実現可能なアプローチであることを確立したと主張している。低レベルの回路メカニズム（ゲイン、抑制、電流）を高レベルの幾何学的特徴（トラジェトリの速度、形状、部分空間の方向）にマッピングすることで、著者らはシステムの内部状態が数学的に解釈可能であるというフレームワークを提供している。

本研究は、以下の点における概念実証として機能する：

1. 複雑で動的なニューラル・マニフォールドを、ニューロモーフィック・ハードウェア（SpiNNaker 2）上に効率的に実装できること。
2. このようなシステムは、感覚フィードバックが直接ニューラル・ダイナミクスを形成して行動を駆動する、柔軟なクローズドループ制御をサポートできること。
3. このフレームワークは、生物学的な神経ダイナミクスを調査し、予測可能で説明可能な振る舞いを持つ自律システムを設計するための基盤を提供し、将来的にはより複雑な運動制御タスクへの拡張が可能であること。

著者らは、現在の研究では計画のために学習済みの世界モデルを想定しているものの、本フレームワークはより高次の学習アーキテクチャとインターフェースするように設計されており、将来の研究ではこの運動制御層の上に直接世界モデルを学習させる可能性についても言及している。