Online Continual Learning on Intel Loihi 2 via a Co-designed Spiking Neural Network

本論文は、従来の精度と効率性のトレードオフを打破し、エッジ GPU ベースラインと比較して最大 6,600 倍の低消費電力化と 113 倍の低遅延化を実現しつつ、リプレイベースの手法と同等の精度でオンライン継続学習を達成するインテル Loihi 2 上で実装された共設計スパイキングニューラルネットワーク「CLP-SNN」を紹介する。

要約

ロボットに散らかった家の中の物体を認識させることを想像してみてください。現実世界では、ロボットは猫を一度見て終わるのではなく、猫を見て、次に犬を見て、次に新しいタイプの椅子を見て、再び猫を見るという、連続したストリームとしてそれらを目にします。

現在のほとんどの AI システムは、期末試験のために勉強し、すべてを暗記してから、「わかった、じゃあ猫や犬について学んだことをすべて忘れ、椅子だけについてゼロから始めなさい」と言われる学生のようなものです。古いノートを読み返すことなく新しいことを教えようとすると、彼らはしばしば古い内容を完全に忘れてしまいます。これを「破滅的忘却」と呼びます。

これを修正するために、エンジニアは通常、AI に古い画像を繰り返し見せることで「リハーサル」させます。しかし、これは遅く、多くのバッテリー電力を消費します。これは、小さなバッテリーで動作する必要があるロボットや健康モニターなどの小型デバイスにとって問題です。

大きなアイデア：脳のようなチップ
この論文は、生物学的な脳がどのように機能するかを模倣し、Intel Loihi 2と呼ばれる特殊なコンピュータチップ上で動作する、AI を教える新しい方法を紹介しています。大きなバッチでデータを処理する標準的なコンピュータではなく、このチップは神経系のように機能します。つまり、新しいことが起こったとき（イベント）にのみ「目覚めて」作業を行うのです。

著者らは、CLP-SNN（Continually Learning Prototypes - Spiking Neural Network：継続的学習プロトタイプ・スパイキング・ニューラルネットワーク）と呼ばれるシステムを作成しました。その仕組みを、簡単なアナロジーを用いて説明します。

1. 「精神的な書類棚」（プロトタイプ）

AI が猫のすべての写真を暗記しようとするのではなく、各カテゴリごとにいくつかの「理想的な例」またはプロトタイプを頭の中に保持すると想像してください。

• 古い方法: 新しい写真が入ってくると、AI はこれまで見たことのあるすべての写真と比較します。これは遅く、巨大なライブラリを必要とします。
• CLP-SNN の方法: AI は猫がどのように見えるかについての、小さく進化し続ける「精神的なスケッチ」を保持します。新しい写真が届くと、「これは私の猫のスケッチに似ているか？」と尋ねます。もしそうなら、スケッチをわずかに更新します。そうでない場合、「これは新しい何かだ！」と気づき、それに対して新しいスケッチを作成します。

2. 「自己修正ペンの」（学習規則）

通常、スケッチを更新するときは、比率を正しく保つためにページ全体を消し、完璧に描き直す必要があります。これは、多くのエネルギーと時間を必要とするグローバルな「再正規化」ステップのようなものです。

• 革新: 著者らは、特別な数学的トリック（「自己正規化規則」）を発明しました。これは、描画中にインクの流量を自動的に調整するペンを持っているようなものです。ページ全体を描き直すために立ち止まる必要はありません。ペンが自然に新しい詳細を加えるにつれてスケッチをバランスよく保つのです。これにより、AI は中央の管理者が作業を確認する必要なく、その場で瞬時に学習できます。

3. 「神経新生」（新しいニューロンの成長）

ロボットが「ホバーボード」のように、これまで見たことのない全く新しい物体を見た場合どうなるでしょうか？

• 解決策: システムには「新規性検出器」があります。現在の書類棚に新しい物体と一致するものが何もなければ、神経新生がトリガーされます。これは、ロボットが「これのフォルダを持っていない！今すぐ新しいフォルダと新しいスケッチを作ろう」と言うようなものです。人間の脳が新しいスキルを学ぶときに新しい結合を成長させるのと同様に、必要に応じて容量を拡張します。

4. 「静かな図書館」（スパース性）

通常のコンピュータでは、何も起こっていないときでも明かりがついており、労働者が忙しく働いています。しかし、この新しいシステム（スパイキング・ニューラルネットワーク）では、労働者は「スパイク」（信号）が発生したときのみ目覚めます。

• アナロジー: 明かりが消え、司書たちが眠っている図書館を想像してください。本がリクエストされた瞬間（スパイク）、特定の司書が目覚め、本を手に取り、再び眠りにつきます。システムが非常に静かで、必要なときのみ動作するため、エネルギーはほとんど消費されません。

結果：圧倒的な勝利

チームは、ロボットの視覚タスク（動画からの物体認識）でこれをテストしました。彼らは、Loihi 2 チップ上の新しいシステムを、多くのロボットで使用されている NVIDIA Jetson Orin Nano などの最良の標準コンピュータと比較しました。

• 速度: Loihi 2 システムは113 倍高速でした（0.33 ミリ秒対 37 ミリ秒）。これは、カタツムリとレーシングカーの違いのようです。
• エネルギー: Loihi 2 システムは6,600 倍少ないエネルギーしか使用しませんでした（0.05 ミリジュール対 333 ミリジュール）。これは、1 秒間 LED ライト 1 つを点灯させるのに必要なエネルギーと、1 分間電子レンジを動かすのに必要なエネルギーを比較するようなものです。
• 精度: これほど高速で効率的でありながら、以前に学んだことを忘れることなく、遅く電力を多く消費するシステムと同じくらいよく学習しました。

なぜこれが重要なのか

この論文は、脳のようなアルゴリズム（CLP-SNN）と脳のようなハードウェア（Loihi 2）を組み合わせることで、ついに小型のバッテリー駆動デバイス上でリアルタイムに継続的に学習する AI を構築できることを示しています。それは、「賢い（正確）」ことと「効率的（高速/低電力）」ことのどちらかを選ばなければならないという古いルールを打ち破ります。

著者らはソフトウェアコードを公開し、他の人々がこれに基づいて構築できるようにしていますが、実際のチップハードウェアは現在、Intel と協力している研究者のみが利用可能です。この研究は、「オンライン継続的学習」、つまり忘れずに進みながら学ぶことが、エッジ AI の未来にとって単なる夢ではなく、実践的な現実であることを証明しています。

技術概要

技術概要：共設計スパイクニューラルネットワークによる Intel Loihi 2 上のオンライン継続学習

問題定義

エッジデバイスに展開される人工知能システムは、**オンライン継続学習（OCL）**という決定的な課題に直面しています。サービスロボットや健康モニターなどのエッジシステムは、厳格な電力および遅延制約の下で動作しつつ、破滅的忘却なしにリアルタイムで非定常なデータストリームと未知のクラスに適応する必要があります。

従来のアプローチはこの設定において、以下の理由から失敗します：

• 静的モデル： 事前学習されたニューラルネットワークは、訓練と展開の分布が同一である閉じた世界を前提としており、オープンワールド環境では性能が低下します。
• 再学習の限界： 定期的な再学習は、エッジプラットフォームには遅すぎて電力消費が過多です。
• コンテキスト内学習： 有望ではあるものの、大規模言語モデルや視覚モデルはクラウド規模のリソースとギガバイト単位のメモリを必要とし、エネルギー制約のあるエッジデバイスでは実用的ではありません。
• 現在の OCL の欠点： 既存の OCL アルゴリズムは、しばしば大規模な再生バッファ（メモリ制約の違反）、密な勾配更新（局所性の違反）、またはニューロモルフィックハードウェアと互換性のないグローバル正規化操作に依存しています。

生物学的脳は、メタ可塑性、神経新生、局所学習則、および非同期イベント駆動通信を通じてこれらの問題を解決します。しかし、これらの原則を工学的実践に移すことは困難であり、特に Intel の Loihi 2 といった実際のニューロモルフィックハードウェア上で堅牢な OCL アルゴリズムを展開することにおいて、未解決の課題でした。

手法：CLP-SNN

著者らは、Intel の Loihi 2 ニューロモルフィックプロセッサ上で Continually Learning Prototypes (CLP) アルゴリズムをネイティブに実装するために設計されたスパイクニューラルネットワーク（SNN）アーキテクチャである CLP-SNN を提案します。このシステムは、ハードウェアのイベント駆動、疎、および局所学習の能力を最大限に活用するように共設計されています。

コアアーキテクチャ

CLP-SNN は、カスタムマイクロコードでプログラムされたスパイクモデルとして実装された、4 つの相互作用するニューロン集団で構成されます：

1. 入力ニューロン： 特徴ベクトルを伝達するステートレスな勾配スパイク中継器。
2. プロトタイプニューロン： 突触重みにクラスプロトタイプを格納する。側方抑制を用いた Winner-Take-All (WTA) メカニズムを通じて競合する。
3. 新奇性検出器： 遅延ウィンドウ内でのプロトタイプスパイクの欠如を監視し、新しいニューロンの割り当てをトリガーする。
4. モジュレーター： 神経状態機械として機能し、フィードバック信号（報酬/罰）をルーティングし、神経新生をトリガーする。

主要なアルゴリズム的革新

CLP を Loihi 2 と互換性のあるものにするため、著者らは 2 つの重要な修正を導入しました：

1. 自己正規化 3 因子局所学習則：
   元の CLP アルゴリズムは、すべての更新後に重みベクトルの明示的な $L_2$ 再正規化を必要とし、これはニューロモルフィックチップの局所性の原則に違反するグローバル操作です。著者らは、小学習率の仮定の下でのテイラー展開を用いて 自己正規化則 を導出しました。

   • 更新則は $\Delta w = \alpha r (x - w y)$ です。ここで、$x$ は入力、$w$ は重み、$y$ は postsynaptic 活性化（ドット積）、$\alpha$ は学習率、$r$ は第 3 因子の調節信号です。
   • 項 $-wy$ は、重みの成長を暗黙的に制限する局所的な乗法的減衰として機能し、グローバルなノルム計算の必要性を排除します。これにより、CPU の介入なしに完全にオンチップでの学習が可能になります。

2. イベント駆動神経状態機械：
   システムは、勝者選択、新奇性検出、モジュレーターフィードバック、学習ゲート、メタ可塑性、および神経新生を含む、完全な CLP 制御フローをスパイクベースの状態機械として実装します。

   • Time-to-First-Spike (TTFS) 符号化： コサイン類似度が高いプロトタイプが早期に発火するため、明示的な argmax 操作なしに非同期の勝者選択を可能にします。
   • 神経新生： 新奇な入力が検出された場合（プロトタイプが発火しない場合）、オンデマンドで新しいプロトタイプニューロンが割り当てられます。
   • メタ可塑性： 推論の正誤に基づいてプロトタイプの学習率（$\alpha$）を調整し、成熟した記憶を安定させ、干渉を防ぎます。

主要な貢献

1. 初の Loihi 2 OCL 実装： Loihi 2 上で設計・展開されたオンライン継続学習を実証し、従来のエッジハードウェアと比較評価した最初の研究です。
2. ハードウェアネイティブなアルゴリズムの再設計： 自己正規化学習則の導出により、CLP アルゴリズムとニューロモルフィックハードウェアの制約の間のギャップを埋め、グローバルな $L_2$ 再正規化ステップを除去しました。
3. スパイクベースの制御フロー： 新奇性検出や神経新生を含む完全な CLP ロジックを、Loihi 2 上のカスタムマイクロコードでプログラムされた状態機械として実装し、時空間的に疎な更新を達成しました。
4. クロスプラットフォームベンチマーク： NVIDIA Jetson Orin Nano に対する OpenLORIS ロボットビジョンデータセット上での包括的な評価を行い、精度、遅延、およびエネルギー効率を分析しました。

結果

実験は、厳密なバッチサイズ 1 の OCL 設定における OpenLORIS データセット（40 物体クラス）で行われました。

性能指標

• 精度： CLP-SNN は、少数ショット実験において、再生ベースおよび非再生ベースライン（CLP、NCM、Replay、SLDA など）の精度と同等かそれ以上を達成します。25 ショット学習において、CLP-SNN は 90.0% の精度を達成し、CLP アルゴリズム（93.0%）と同等で、NCM（84.5%）および Replay（91.6%）よりも優れています。
• 遅延： Loihi 2 上の CLP-SNN は、学習更新あたり 0.33 ms を達成し、最強のエッジ GPU ベースライン（Jetson Orin Nano 上の SLDA、37.3 ms）よりも 113 倍 低い値を示します。
• エネルギー： CLP-SNN は更新あたり 0.05 mJ を消費し、SLDA ベースライン（333 mJ）と比較してエネルギーが 6,600 倍 削減されています。

効率性の分解

著者らは、効率性の向上を 2 つの要因に分解しました：

1. アルゴリズム的効率： CLP アルゴリズム自体は、より軽量なプロトタイプ更新計算により、標準的な OCL 手法（SLDA など）よりも効率的です。同じ GPU 上では、CLP は SLDA よりも約 14.5 倍高速で、約 22.6 倍エネルギー効率が高いです。
2. ニューロモルフィック共設計： Loihi 2 実装は、GPU 上で実行される CLP アルゴリズムに対して、さらに約 7.8 倍の遅延改善と約 295 倍のエネルギー改善を提供します。これは、イベント駆動学習と疎な勾配スパイク通信に起因します。

疎性分析

特性評価研究により、学習の 時間的疎性（学習則を断続的に実行すること、例：20 時間ステップごと）が主要な効率化のレバーであることが明らかになりました。これにより、時間ステップごとの学習と比較して、動的電力消費が 3.5 倍、遅延が 20 倍削減されました。入力疎性も、推論遅延の 28% 削減に寄与しました。

意義と主張

本論文は、共設計された脳に着想を得たアルゴリズムとニューロモルフィックハードウェアが、エッジ AI における従来の精度と効率性のトレードオフを 打破できる と主張しています。

• エッジ OCL の実現可能性： この研究は、リハーサルなしのリアルタイムかつエネルギー効率的な継続学習が、リソース制約のあるエッジデバイスで可能であることを実証しており、これは以前は未解決の課題でした。
• パレートフロンティアの超越： CLP-SNN は、従来のハードウェアで観察されるパレートフロンティアを打破し、あらゆるベースラインよりも著しく低い遅延とエネルギーで高い精度を達成しています。
• スケーラビリティと持続可能性： エネルギー効率の大幅な向上（最大 6,600 倍）は、エッジ展開の炭素フットプリントを削減できる持続可能な AI システムへの道筋を示唆しています。
• ハードウェアとアルゴリズムの相乗効果： 結果は、ニューロモルフィックプロセッサが単に高速なアクセラレーターではなく、局所、イベント駆動、疎といった、フォン・ノイマンアーキテクチャでは効率的に再現不可能な根本的に異なる学習パラダイムを可能にすることを浮き彫りにしています。

著者らは、固定された特徴抽出器への現在の依存や、ハードウェア上で 2〜3 倍のプロトタイプを使用する簡略化されたプロトタイプ割り当て戦略といった限界を指摘していますが、完全な適応的実装においても、核心的なエネルギーおよび遅延の優位性は有効であると主張しています。