Co-Optimization of Analog Kolmogorov-Arnold Networks for Low-Power Function Approximation in Flexible Electronics

技術要約：フレキシブル電子機器における低電力関数近似のためのアナログ・コルモゴロフ・アーノルド・ネットワークの共同最適化

問題提起
ウェアラブルデバイスやIoTセンサは、生体信号や環境データのオンセンサ処理をますます必要としています。これらのタスクには、非線形活性化関数、センサ校正曲線、および信号前処理（例：対数圧縮、冪乗演算）といった計算負荷の高い操作が含まれます。これらの関数をデジタルで実装する場合、アナログ・デジタル変換（ADC）およびその後のデジタル処理に起因する大幅なエネルギーオーバーヘッドが発生します。フレキシブル電子機器（FE）は、その機械的な柔軟性と低コストな製造プロセスにより、ウェアラブル用途において有望なプラットフォームですが、回路密度と消費電力に対して厳しい制約を課します。さらに、アナログ実装はノイズ、プロセス変動、およびデバイスのミスマッチに対して脆弱であり、ハードウェアの非理想性がモデル設計時に明示的に対処されていない場合、近似精度が低下する可能性があります。RRAMベースのコンピューティング・イン・メモリや多項式ベースの手法などの既存のアプローチは、デバイスのばらつき、エネルギー需要、あるいはFEプラットフォームに対する特定の最適化の欠如という点において限界があります。

手法
著者らは、ハードウェアとソフトウェアの共同最適化手法を通じて開発された**アナログ・コルモゴロフ・アーノルド・ネットワーク（AKAN）**を提案しています。このアプローチの核となるのは、回路シミュレーション、誤差モデリング、およびパラメータ・プルーニングを統合した統一的な設計ループです。

1. ハードウェア・アーキテクチャ： AKANは、FEに適した単極性技術であるインジウム・ガリウム・亜鉛酸化物（IGZO）薄膜トランジスタ（TFT）を用いて実装されます。このネットワークは、関数 $B(x) = k_0 + k_1x + k_2x^2$ を表す二次スプラインを構築するために、アナログ・ビルディング・ブロック（ABB）を利用します。これらのスプラインは、重みを割り当てるための抵抗器を用いた積和演算（MAC）を介して相互接続されます。
2. ハードウェアを考慮した誤差モデリング： 理想的な挙動や統計的な誤差分布を仮定する従来の研究とは異なり、本研究では、IGZO回路の過渡SPICEシミュレーションから直接、入力依存の連続的な誤差関数（$\hat{\epsilon}_{hardware}(x)$）を導出します。このモデルは、全係数空間（$k_0, k_1, k_2$）にわたる系統的なハードウェアの非理想性を捉えます。
3. 係数レベルのプルーニング： 本手法は、ニューロンやスプライン全体ではなく、個々の多項式係数のレベルで動作するプルーニング戦略を導入しています。係数（例：$k_1$ をゼロにする）を取り除くことは、特定の回路ブロック（乗算器、二乗器、または加算器）の物理的な除去に対応します。
4. 共同設計トレーニング： プルーニングのプロセスは、KANのトレーニングループに統合されています。各プルーニング構成に対して、対応するハードウェア誤差モデルが、加法的ノイズ（$f_{target}(x) = f_{ideal}(x) + \hat{\epsilon}_{hardware}(x)$）としてトレーニング目的関数に注入されます。これにより、ネットワークは現実的な動作条件下および特定のプルーニング制約下でも堅牢性を維持できるパラメータ構成を学習することが可能になります。

主な貢献
本論文は、主に以下の3つの貢献を特定しています。

1. テクノロジーを考慮したアナログ誤差モデリング： 商用利用可能なFEプロセスにおける単極性IGZO TFT回路の過渡SPICEシミュレーションから直接導出された、入力依存の連続的な誤差関数。これは系統的なハードウェアの非理想性を捉えています。
2. 回路ブロックレベルの係数プルーニング： 各二次スプラインの個別の多項式係数（$k_0, k_1, k_2$）に対して動作するプルーニング手法。このアプローチは、ソフトウェアの決定をハードウェアの面積および電力の節約に直接変換することを可能にします。
3. アプリケーション駆動型の検証： バイオメディカル・モニタリングおよびセンシングのシナリオ（PPG-DaLiA、ECG5000、Individual Household Electric Power Consumption、Iris）に関連する4つのデータセットにわたる包括的な評価。

結果
提案されたフレームワークは、広範なSPICEシミュレーションとトレーニング実験を通じて検証されました。

• ハードウェア効率： 個々の係数をプルーニングすることで、大幅なハードウェア削減を実現しました。最良のケースでは、未プルーニングのベースラインと比較して、最大55%の面積削減と50%の電力削減を示しました。全データセットを通じた平均的な削減率は、両方の指標において約**30%**でした。
• 精度向上： プルーニングが性能を低下させるという予想に反して、結果はプルーニングが近似精度を向上させ得ることを示しました。ゼロに近い係数の除去は、暗黙的な正則化として機能し、モデルの過学習やハードウェアノイズに対する感受性を低減しました。いくつかのケースでは、プルーニングされたAKANは、未プルーニングのベースラインよりも低い正規化平均パーセント誤差（NMPE）を達成しました。
• 堅牢性： 27個の動作コーナーにわたるPVT（プロセス、電圧、温度）解析により、ハードウェアを考慮したトレーニングが系統的なシフトを補償することが確認されました。NMPEはウェアラブルの温度範囲（27–40°C）内で安定しており、公称条件に対する最大偏差はわずか0.74パーセントポイントでした。
• ダウンストリーム性能： ダウンストリームタスク（ECG5000およびIrisの分類、IHEPCおよびPPG-DaLiAの信号再構成）で評価した際、プルーニングされたAKANは、未プルーニングのベースラインおよび理想的なソフトウェアのみのKANと同等の性能を維持しました。信号再構成タスクにおいては、最良のプルーニング構成は未プルーニングのハードウェア・ベースラインを凌駕し、NRMSEを最大33%低減しました。

意義
本論文は、本研究がフレキシブル電子機器における低電力アナログ関数近似のための、堅牢で汎用性の高いフレームワークを確立したと主張しています。回路レベルの制約をトレーニング中に明示的に考慮し、係数レベルのプルーニング戦略を採用することで、提案されたAKANはハードウェア効率と近似精度の間の重要なトレードオフに対処しています。結果は、戦略的なパラメータ削減が単にリソースを節約するだけでなく、アナログニューラルネットワークの汎化能力を高めることができることを示しており、ウェアラブルやIoTにおけるリソース制約のあるリアルタイムセンシングアプリケーションへの適用を可能にします。このアプローチは、FE技術において通常伴う膨大な面積や電力コストをかけることなく、複雑な非線形関数をアナログハードウェアに直接実装するための道筋を提供します。