Convolutional Sparse Coding via the Locally Competitive Algorithm on Loihi 2

技術要約：Loihi 2上における局所競合アルゴリズムを用いた畳み込みスパースコーディング

問題提起
スパースコーディングは、入力を少数の基底関数の線形結合として表現することにより、信号表現のための原理的な枠組みを提供する。局所競合アルゴリズム（LCA）は、局所的な状態、イベント駆動型の更新、およびスパースな通信との整合性から、ニューロモーフィック・コンピューティングに適しているが、これまでのニューロモーフィックに関する研究は、主に非畳み込みの設定に焦点を当ててきた。非畳み込みのLCAは、実用的なスパース推論のワークロードに不可ло欠な空間構造、重みの共有、および重なり合う受容野を欠いている。畳み込みスパースコーディングはこれらの特性を導入し、問題を単なるベクトルのスケーリング問題から、明確に構造化された推論ワークロードへと変化させる。課題は、本質的なダイナミクスと計算の実現可能性を維持しつつ、この畳み込み設定をニューロモーフィック・ハードウェア（具体的にはIntelのLoihi 2）に実装することである。

手法
著者らは、1層の再帰的LCA定式化を用いた、Loihi 2による畳み込みスパースコーディングの実装を提示している。手法には以下が含まれる：

• アルゴリズムの定式化： 問題は、再構成忠実度項と$\ell_1$スパース性ペナルティからなるエネルギー関数の最小化として定義される。LCAのダイナミクスは、ユニットがフィードフォワード駆動を統合し、側方抑制を通じて競合し、閾値付きの活性化を放出するという局所的な相互作用を通じて進化する。更新ルールは、固定小数点膜ダイナミクスを用いた離散時間前方オイラー離散化を利用する。
• ハードウェア・マッピング： 実装では、スパースな係数を単一の再帰的ニューロン層として表現することで、畳み込みLCAをLoihi 2にマッピングしている。
  • フィードフォワード駆動： 入力をディクショナリ（辞書）と畳み込み演算によって事前計算し、固定バイアスとして注入する。
  • 側方抑制： ペアごとのディクショナリ相関（$W = (\Phi * \Phi) - \delta$）から導出される（自己重複は自律的な自己抑制を防ぐために除去される）。これにより、局所的な抑制カーネルが生成される。
  • ダイナミクス： ニューロンは、膜状態に固定小数点演算を用い、ソフト閾値処理のためのカスタム更新ルールを使用する。活性化したユニットは、閾値付きの活性化に対応する勾配出力（graded outputs）を放出し、スパースなイベントトラフィックを生成する。
• 実験設定：
  • データセット： グレースケール入力を用いたSet12画像ベンチマーク。
  • 構成： 3×3および5×5の畳み込みディクショナリを用い、カーネル数を変化させる。2つのストライド・レジーム（Stride-1：ターゲットサイズ 50×50〜200×200、Stride-2：400×400〜800×800）をテストする。
  • 学習： ディクショナリは交互学習（LCAによるスパースコーディングとその後のSGDによるディクショナリ更新）によってオフラインで学習され、推論中は固定される。
  • ベースライン： 同一のディクショナリ、画像、スパース性パラメータ（$\lambda$）、および1000回のLCAイテレーションの固定予算を用いた、一致したGPU実装（NVIDIA RTX A6000, PyTorch）。
  • 指標： 再構成品質（PSNR, SSIM, MSE, スパース性）はハードウェアに依存しないものとして扱う。ハードウェアに依存する指標には、オンチップ・レイテンシ（$time\_chip\_ms$）、ウォールクロック・レイテンシ、動的電力、および推論あたりの動的エネルギーが含まれる。

主な貢献

1. 初の実装： 著者の知る限り、これはLoihi 2における畳み込みLCAの初の実装およびベンチマークである。
2. 構造化されたベンチマーク： 本研究は、アルゴリズムの指標（再構成品質）とハードウェア依存の指標（レイテンシ、電力、エネルギー）を分離する、一致したベンチマーク設定を確立した。
3. レジーム分析： 複数の正則化設定（$\lambda$）、フィルタサイズ、およびストライド構成にわたるトレードオフを分析し、畳み込みスパース推論がニューロモーフィック・ハードウェアにおいて魅力的となる動作領域を特定する。

結果

• Loihi単独の挙動： スパース性パラメータ $\lambda$ を増大させることは、信頼できる制御ノブとして機能する。$\lambda$ が増加するにつれて、再構成品質（PSNR）は緩やかに低下するが、オンチップ・レイテンシおよび動的エネルギーは大幅に減少する。この節約の大きさは、ストライドやフィルタサイズに応じて変化するレジーム依存的である。
• クロスプラットフォーム比較：
  • レイテンシ： GPUベースラインは、特にStride-1のレジームにおいて、Loihi 2よりも一貫して低いレイテンシを示す。レイテンシの差はStride-2のレジームで縮まるが、依然としてGPUに有利である。
  • エネルギー： Loihi 2は、テストされたすべてのレジームにおいて、推論あたりの動的エネルギーにおいて大幅な優位性を示し、GPUベースラインよりも著しく少ないエネルギーを必要とする。
  • 再構成品質： クロスプラットフォームの再構成品質は、一様に順序付けられているのではなく、レジーム依存的である。Loihi 2とGPUの結果の乖離は、より密な動作レジーム（低い $\lambda$）で顕著になり、表現がよりスパースになる（高い $\lambda$）につれて減少する。著者らは、この原因を、Loihi 2の実装における固定小数点量子化効果が再帰的ダイナミクスの中で蓄積されるためであるとしている。

意義と主張
本論文は、畳み込みLCAをLoihi 2上の汎用的なGPU実行の代替物としてではなく、レジーム依存的なスパース推論の基盤として位置付けている。主な意義は、実現可能性を実証し、ニューロモーフィック・ハードウェアが有利となる具体的な動作条件を明らかにすることにある。

• トレードオフの特定： 本研究は、GPUが優れたレイテンシと、一般的に優れた再構成品質（特に密なレジームにおいて）を提供する一方で、Loihi 2は動的エネルギー効率において強力な優位性を持つことを明確にしている。
• アプリケーションの文脈： 結果は、反復的なスパース推論が価値を持つものの、絶対的なレイテンシよりもエネルギー制約が二次的な、エネルギー制約のあるセンシング・パイプラインや常時稼働のフロントエンド処理などのアプリケーションにおいて、Loihi 2が特に魅力的であることを示唆している。
• ベンチマークとしての価値： 畳み込みLCAは、動作レジームとハードウェア基盤の両方に依存する構造化されたトレードオフのファミリー（品質 vs レイテンシ vs エネルギー）を露出させるため、新興のニューロモーフィック・システムにとって有用なベンチマークとして提案されている。

著者らは、オフライン学習されたディクショナリへの制限、固定小数点演算が密なレジームにおける精度に影響を与えること、および1000イテレーションの固定予算の使用がアプリケーション最適化された停止基準を反映していない可能性があることなど、限界についても明示的に述べている。比較は、普遍的なニューロモーフィックの優越性を主張するためではなく、強力な従来の参照モデルに対してLoihi 2を文脈化するための、一致したベンチマークとして構成されている。