CLANE: Continual Learning of Actions on Neuromorphic Hardware from Event Cameras

技術概要：CLANE – イベントカメラからのニューロモルフィックハードウェアにおける動作の継続的学習

問題定義
本論文は、厳格な電力およびメモリ制約を有するエッジデバイスにおける動作認識のための継続的学習（CL）システムの展開という課題に取り組む。従来の深層学習アプローチは、大規模な活性化バッファ、過去データまたはリプレイバッファへのアクセスを必要とするグローバルな誤差伝搬に依存しており、常時稼働型エッジデバイスのリソース制約と互換性がない。さらに、標準的な視覚的動作認識は、変化する照明、モーションブラー、冗長な静的データに対して脆弱である。イベントカメラは、低遅延処理に適したスパースで非同期、かつ高ダイナミックレンジなデータを提供するが、イベントベースの動作認識に対する完全なエンドツーエンドの継続的学習パイプラインをニューロモルフィックハードウェア上で成功裏に展開した先行システムは存在しない。既存のニューロモルフィックCL研究は、静的な空間入力（物体認識）に限定されていたか、破滅的忘却の分析を欠く小規模なベンチマークに留まっていた。

手法
著者らは、インテル Loihi 2 ニューロモルフィックプロセッサ上で展開されたエンドツーエンドシステム「CLANE（イベントカメラからのニューロモルフィックハードウェアにおける動作の継続的学習）」を提示する。このシステムは、以下の 3 つの中核コンポーネントを統合している：

1. イベント駆動型データパイプライン: システムは、CeleX-V イベントカメラで取得された THUE-ACT-50 データセットを利用する。イベントストリームは、固定された時間ウィンドウ（例：40ms）にビン化され、スパースな 2 次元イベントカウントヒストグラムを生成する。これらのスパース表現は、フレームベースのカメラで必要となる密なテンソル演算を回避し、スパイクトレインとして直接処理される。
2. スパイク 2D CNN 特徴抽出器: 5 層のスパイク畳み込みニューラルネットワーク（SNN）が時空間特徴を抽出する。ネットワークはパラメトリックリーキーインテグレートアンドファイア（PLIF）ニューロンを使用する。この特徴抽出器は、GPU 上で時間逆伝播（BPTT）を用いて 38 の基本クラスで事前学習され、その後の継続的学習フェーズでは固定される。
3. CLP-Loihi モジュール（オンチップ学習ヘッド）: 動作の時間的性質と Loihi 2 のハードウェア制約に対処するため、著者らは CLP-SNN アルゴリズムを 2 つの新しいモジュールで拡張する：
   • 時間集約層: 非リーキーインテグレートアンドファイアニューロンを用いて動作クリップの期間全体にわたってバイナリスパイクストリームを統合し、動作全体を表す「段階的スパイク（ベクトル）」を出力する。
   • 正規化層: Loihi 2 のマイクロコードエンジンを通じて固定小数点の高速逆平方根アルゴリズムを用いて L2 正規化を実装する。これは、チップにネイティブの除算命令が存在しないためである。
   • 継続的学習メカニズム: システムは自己正規化型の 3 因子学習規則を採用する。グローバルな誤差伝搬やリプレイバッファを必要とせず、誤りが発生した際に新規動作用の新しいプロトタイプベクトルを作成することで、オンラインかつクラス増分的に学習する。

主要な貢献

• CLP-Loihi: 時空間動作認識への CLP-SNN アルゴリズムの拡張。これには、カスタムニューロンモデルを用いて Loihi 2 上で直接実装された、時間集約および固定小数点正規化層の新しい実装が含まれる。
• 完全なニューロモルフィック展開: 単一の Loihi 2 チップ上で、深層スパイク CNN 特徴抽出器と継続的学習ヘッドをエンドツーエンドで展開した初の事例。システムは、推論および学習ループのいずれにおいても GPU の介入なしにイベントカメラ入力を処理する。
• 厳密なイソアルゴリズムベンチマーク: 本論文は、Loihi 2 上の CLANE と Nvidia Jetson Orin Nano 上の CLANE を比較するクロスプラットフォームベンチマーク手法を導入する。学習アルゴリズム（CLP）とモデル容量をプラットフォーム間で一定に保つことで、著者らはアルゴリズムの違いからハードウェア効率の向上を分離している。

結果
THUE-ACT-50 データセット（50 クラス、照明変化や遮蔽を含む実世界条件）上で評価したところ、CLANE は以下の結果を示した：

• 精度: 10 ショットのクラス増分的学習タスクにおいて、CLANE は70.4% の精度を達成した。これは GPU 上で実行される CLP アルゴリズム（73.0%）と競合するレベルであり、破滅的忘却に悩まされる単純な微調整を大幅に上回る。
• 効率性: Jetson Orin Nano 上で同じ CLP アルゴリズムを実行する逐次 CNN+GRU ベースラインと比較して、CLANE は以下を実現した：
  • エネルギー消費の 100 倍以上の削減。
  • 16 倍の低遅延。
  • エネルギー遅延積（EDP）は 0.018 mJ·s であり、GPU 上の 3D CNN と同等の効率性を示しつつ、ストリーミングシナリオでは著しく低い遅延を達成した。
• 特徴抽出: Loihi 2 上のスパイク CNN は、GPU 上の 2D CNN+GRU ベースラインと比較して、約 30 倍の遅延削減と 230 倍のエネルギー削減を実現し、精度の低下はわずか 2.6% にとどまった。

意義と主張
本論文は、CLANE によってニューロモルフィックハードウェアが「常時稼働し、継続的に適応する知覚システム」の実用的な基盤として確立されたと主張する。著者らは、イベントカメラ（スパースセンシング）、SNN（スパース計算）、ニューロモルフィックプロセッサ（局所学習）との間のアーキテクチャ的整合性が、スパースでオンラインかつ電力制約のある領域において、フォン・ノイマンアーキテクチャでは達成不可能な相乗的な効率向上を生み出すと論じている。

本研究は、GPU が密でバッチ処理された処理に優れている一方で、ニューロモルフィックシステムは、忘却なしの低遅延・低エネルギーかつ継続的適応を必要とするシナリオにおいて優位に立つことを浮き彫りにしている。論文は、このフルスタックアプローチが分野における重要なギャップに対処し、ニューロモルフィック継続的学習コミュニティが現在欠いているベンチマーク手法を提供し、大規模な時空間継続的学習がエッジニューロモルフィックハードウェア上で可能であることを実証していると結論づけている。