Physical Analogue Kolmogorov-Arnold Networks based on Reconfigurable Nonlinear-Processing Units

技術要約：再構成可能な非線形処理ユニットに基づく物理アナログKolmogorov-Arnoldネットワーク

問題提起
現代のディープラーニングは、線形な行列・ベクトル積とその後に続く固定された非線形活性化関数を実行する多層パーセプトロン（MLP）に大きく依存している。これらの線形演算は、現在のデジタルおよび混合信号ハードウェア（GPUやメモリスタ・クロスバーなど）において効率的に加速できる一方で、非線形活性化関数はハードウェアネイティブな実装におけるボトルネックであり続けている。さらに、ディープラーニングの計算コストは持続不可能なほど上昇しており、MLPの「ブラックボックス」的な性質は解釈可能性を制限している。Kolmogorov-Arnoldネットワーク（KAN）は、計算の負担を固定されたノードの活性化から、ネットワークのエッジ上にある学習可能な非線形関数へと転換することで、理論的な代替案を提示している。しかし、ルックアップテーブル（LUT）のようなデジタル近似や複雑な回路レベルのエミュレーションに頼ることなく、これらの学習可能な非線形性をハードウェア上で効率的に実装することは、依然として未解決の課題である。

手法
著者らは、**再構成可能な非線形処理ユニット（RNPU）**を用いて、学習可能なエッジ関数を物質の中に直接実現する物理アナログKANアーキテクチャ（aKAN）を提案している。

• RNPUデバイス： コアとなるプリミティブは、8つの電極を備えたマルチターミナル・ナノスケール・シリコンデバイス（ホウ素ドープ・シリコンスラブ）である。特定の制御電圧をこれらの電極に印加することで、デバイスの定常状態における入出力伝達特性を、様々な非線形関数に近似するように連続的にチューニングできる。
• エッジプロセッサ（EP）： 発現性と精度を高めるため、複数のRNPUを並列に組み合わせたエッジプロセッサ（EP）を用いる。EPは、個々のRNPUのスケールされた出力を合算することで、複雑で学習可能な一変数エッジ関数を形成する。
• アーキテクチャ： aKANは、プログラマブルなスイッチ行列を介して相互接続された、再構成可能なEPのアレイで構成される。入力変数は電圧として線形にエンコードされ、EP（非線形写像として機能）を通じて処理され、次層のために再スケーリングされる。システムには、制御電圧と読み出し電流を管理するための混合信号インターフェース（DAC、ADC、トランスインピーダンス増幅器）が含まれる。
• 学習と検証： 著者らはハイブリッドなワークフローを採用している。まず、ソフトウェア上でサロゲートモデル（実験的なRNPU特性に基づいて較正されたデータ駆動型MLP）を用いてネットワークを学習させ、最適な制御電圧と線形結合係数を特定する。その後、これらのパラメータを物理ハードウェアに転送し、実験的な検証を行う。電流測定の制約（シングルデバイス構成）があるため、マルチRNPUネットワークは、単一の物理デバイスが学習済みの各RNPUを逐次的にエミュレートするタイムマルチプレクシングを用いて評価される。

主な貢献

1. ハードウェアネイティブな非線形性： 本論文は、デジタルエミュレーションではなく、チューニング可能なデバイス物理学によって非線形エッジ関数が本質的に実現される、スケーラブルな物理コンピューティング・プリミティブを実証している。
2. 再構成可能なエッジプロセッサ： 複数のRNPUを集約するEPの導入により、単一のデバイスでは達成できない複雑な関数（ベッセル関数など）の近似が可能になる。
3. システムレベルの分析： 著者らは、周辺の混合信号回路のオーバーヘッドを考慮した上で、エネルギー、シリコン面積、レイテンシの推定値を含め、aKANとデジタル固定小数点MLPとの包括的なシステムレベルの比較を提供している。
4. プルーニングと堅牢性： 本研究は、aKANが（EPのゲインに対するL1正則化を通じて）構造的にプルーニング可能であり、性能を維持しながらハードウェア利用率を下げられることを示している。また、異なる物理的RNPUのヘテロジニアスな組み合わせが近似精度を低下させないことから、このアーキテクチャがデバイス間のばらつきに対して堅牢であることも示している。

結果

• 関数近似： 実験的に較正されたモデルとハードウェア測定を用い、aKANは複雑な関数（正弦波、ベッセル関数 $J_0(20x)$）を、平均二乗誤差（MSE）が $\sim 10^{-2}$ またはそれ以下に達する精度で近似することに成功した。性能は、1つのEPあたりのRNPUの数に応じて向上する。
• 回帰と分類： 回帰タスクにおいて、aKANは（ReLUまたはtanh活性化を用いた）ソフトウェアMLPのベースラインと同等の性能を達成するが、多くの場合、より少ない学習パラメータ数で実現している。二値分類タスク（Moons, Spirals, MAGIC, COD-RNA, Skin Segmentation）において、aKANは競争力のある精度を実現し、時にはReLU-MLPよりも最大 $\sim 5\times$ 少ないパラメータ数で動作する。
• ハードウェア効率： 代表的なワークロード（$e^{\sin(\pi x_1) + x_2^2}$）に関するシステムレベルの推定値は以下の通りである：
  • エネルギー： 推論あたり約 200 pJ であり、同等の誤差レベルにおけるデジタル固定小数点MLPと比較して >100$\times$ の削減 を示している。
  • 面積： デジタルベースラインと比較して、推定シリコン面積で >10$\times$ の削減。
  • レイテンシ： エンドツーエンドの推論レイテンシは約 0.6 $\mu$s。
  • 注記： 著者らは、現在のエネルギー消費はRNPUコア自体ではなく、混合信号周辺回路（DAC、ADC、TIA）によって支配されていることを明記している。

意義
本論文は、RNPUがスケーラブルでハードウェアネイティブな非線形コンピューティング・プリミティブであることを確立している。アナログKANアーキテクチャが、特にエッジ推論において、エネルギー、レイテンシ、およびフットプリント効率の高いニューラルネットワーク・ハードウェアへの現実的な経路であることを示している。線形代数の加速から、表現力豊かな非線形写像を物理基盤に直接埋め込む設計パラダイムへと移行することで、本研究は、非線形計算がネイティブかつプログラマブルであるコンパクトで低電力な推論の道を提示している。著者らは、現在のシステムは周辺回路のオーバーヘッドによって制限されているものの、デバイス、回路、およびアーキテクチャの将来的な協調設計（co-design）によって、ニューラルコンピューティングのための「インテリジェントな物質（intelligent matter）」の潜在能力をさらに引き出せる可能性があると強調している。