🤖 machine learning

Event-triggered Implicit Perturbation for Zeroth-Order Fine-Tuning of Spiking Transformers

本論文は、インメモリコンピューティングアクセラレータ上でのSpiking Transformerのゼロ次ファインチューニングに向けた、イベント駆動型暗黙的摂動アーキテクチャ（IPZO）を提案しており、これは、スパイクが活性化した重みに対してのみ摂動を生成することでコストのかかるリード・モディファイ・ライト操作を排除し、かつソフトウェアベースの乱数生成器に匹敵する精度を維持するためにXOR再結合スキームを採用することでハードウェアオーバーヘッドを削減するものである。

原著者： Tengteng Lei, Prabodh Katti, Rashi Dutt, Houssem Sifaou, Tan Peng, Osvaldo Simeone, Kai Xu, Bipin Rajendran

公開日 2026-08-24

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Tengteng Lei, Prabodh Katti, Rashi Dutt, Houssem Sifaou, Tan Peng, Osvaldo Simeone, Kai Xu, Bipin Rajendran

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

急速に進化する人工知能の世界において、「トランスフォーマー」として知られる特定の種類のコンピュータプログラムが、言語翻訳から画像認識に至るまであらゆるものに力を提供する支配的な勢力となっています。これらのシステムは非常に強力ですが、同時にエネルギーとメモリを極めて多く消費し、実行するために大規模なデータセンターを必要とすることも少なくありません。この知能をスマートフォンやセンサーのような、より小さな日常的なデバイスにもたらすため、エンジニアたちは人間の脳にインスパイアされた異なるアプローチ、すなわち「スパイキングニューラルネットワーク」へと目を向けました。従来のプログラムが情報を連続的に処理するのに対し、これらのネットワークはイベントに基づいて動作し、必要な時にのみ発火するため、本質的に効率的です。しかし、これらのネットワークにデバイス上で直接新しいタスクを学習させることは、長年の難問でした。ネットワーク内のあらゆる接続をどのように調整すべきかを計算するという標準的な学習手法は、小型チップにとっては複雑すぎてメモリ消費も激しすぎるのです。より単純な代替案として、接続に対して微小でランダムな「つつき（nudges）」を与え、その結果が改善されるかどうかを確認することでシステムの改善を推定する方法がありますが、この手法には、実用化を阻んできた深刻なハードウェア上の障壁が存在していました。

研究チームは、これらの障壁を取り除き、これらの効率的な脳型ネットワークを、内部メモリを絶えず書き換えることなく専用チップ上で直接学習させることを可能にする、新しいアーキテクチャを設計しました。彼らが直面した核心的な課題は、標準的な「つつき」の手法が、チップに保存された情報を繰り返し読み取り、変更し、そして書き戻すことを要求するという点でした。この「リード・モディファイ・ライト（読み取り・修正・書き込み）」と呼ばれるプロセスは低速であり、バッテリーを消耗させ、専用チップが提供するように設計されたエネルギー節約効果を事実上台無しにしてしまいます。さらに、ネットワークの全接続に対してこれらの「つつき」に必要な膨大な数の乱数を生成しようとすると、乱数生成器がメモリ自体よりも大きなスペースを占めるほど巨大になってしまいます。研究者たちは巧妙な回避策を提案しました。それは、保存された重みを直接変更するのではなく、数値が加算される計算プロセスそのものの中に、ランダムな変化を注入するという方法です。これにより、保存された重みは動かされることなく静止した状態に保たれ、チップの効率性が維持されます。

これを実現するために、チームは、ネットワークの実際に活動している部分に対してのみ、これらのランダムな「つつき」を生成する専用ユニットを構築しました。これらの脳型ネットワークは本質的に「スパース（疎）」、つまりある瞬間においてはほとんどの接続が沈黙しているため、このユニットはフルネットワークのわずかな一部のサイズで済みます。しかし、この小さな乱数のセットを異なる部分のネットワークで単に再利用すると、隠れた問題が生じます。それは、「つつき」が互いに似通ってしまい、学習プロセスが停滞したり精度が低下したりすることです。これを解決するために、研究者たちは、場所に基づいてこれらの再利用される数値を特定の 방식으로組み合わせる「ミキシング・スキーム」を導入し、ネットワークのあらゆる部分がユニークで独立した「つつき」を受け取れるようにしました。彼らが「アドレス駆動型XOR再結合（address-driven XOR recombination）」と呼ぶこのミキシングプロセスは、システムが効果的に学習するために必要な統計的な独立性を回復させます。

チームがこの新しい設計をテストした際、その結果は驚くべきものでした。標準的なチップ製造プロセスを用いたシミュレーションおよびハードウェアテストにおいて、彼らのシステムは、完全で独立した乱数を使用するソフトウェアベースの手法と同等の高い精度を達成しました。対照的に、ミキシングスキームなしで単に乱数を再利用した単純なバージョンは大きく失敗し、画像認識タスクにおいて精度が10パーセント近く低下し、学習に要する時間も大幅に増大しました。また、新しい設計は極めてエネルギー効率が高いことも証明されました。メモリを書き換えるというコストのかかるプロセスを回避しているため、一般的な設定で実行した場合、従来のメソッドよりも消費電力が半分以下に抑えられます。新しいミキシングユニットは少量の追加ハードウェアを必要としますが、システムの学習速度が速いため、学習プロセス全体を通じて使用される総エネルギー量は、単純な再利用法と比較して半分に削減されます。この研究は、ランダムな調整をストレージ領域から計算領域へと移動させ、スマートなミキシング技術を用いることで、エネルギー制約のあるハードウェア上で複雑な脳型AIモデルを直接訓練することが可能であることを示しており、オンザゴー（移動中）で学習できる、よりスマートで適応性の高いデバイスへの扉を開くものです。

技術要約：Spiking Transformerのゼロ次微調整に向けたイベント駆動型暗黙的摂動

問題提起

リソース制約のあるエッジプラットフォームへのSpiking Transformerのデプロイは、オンチップ学習において大きな障壁に直面している。ゼロ次（Zeroth-Order; ZO）最適化は、非微分的なSpiking Neural Network（SNN）に対して、フォワードパスの評価のみに依存することで、バックプロパゲーションに代わるメモリ効率の高い選択肢を提供する。しかし、その実装は、In-Memory Computing（IMC）アクセラレータにおける以下の2つの主要なアーキテクチャ上のミスマッチによって阻害されている。

乱数生成器（RNG）のハードウェア・オーバーヘッド： ZO最適化は、すべての重みパラメータに対して統計的に独立したランダム摂動を必要とする。すべての重みに対して一様乱数生成器（RNG）を用いて摂動を生成することは、膨大な面積を占有する。なぜなら、RNGに必要なロジック（例：線形帰還シフトレジスタ）は、重みを格納するメモリセルの面積を大幅に上回るからである。
重み固定データフローの破壊： 従来の明示的摂動（Explicit Perturbation; EP）を用いたZOは、すべての勾配推定ステップにおいて、重み行列全体を読み出し、摂動を適用し、修正された重みをIMCアレイに書き戻す必要がある。これらの頻繁なリード・モディファイ・ライト（RMW）操作は、大規模なデータ移動を再導入することでIMCのエネルギーメリットを打ち消し、非揮発性メモリ（NVM）の場合には書き込み耐性の悪化を招く。

RNGの出力を再利用する摂動効率的なZO（PeZO）のような既存の解決策は、ハードウェア・オーバーヘッドを削減するものの、摂動間に空間的な相関を導入してしまい、学習精度と収束速度を低下させる。

手法

著者らは、摂動の注入ポイントを、格納された重みドメインから累積ドメインへと移行させる、ハードウェア・アルゴリズム協調設計アーキテクチャである**暗黙的摂動（Implicit-Perturbation; IPZO）**を提案する。

コアとなるアーキテクチャの転換

IMCアレイに格納された重み（ $\theta$ ）を直接変更する代わりに、IPZOは、標準的な行列・ベクトル積（MVM）の結果に摂動の和を加算することで、摂動された出力を計算する。MVMの分配法則を利用することで、摂動された出力 $x \cdot (\theta \pm \epsilon z_i)$ は、以下のように計算される：
$x \cdot \theta \pm x \cdot \epsilon z_i$
ここで、 $x \cdot \theta$ は標準的なIMC出力であり、 $x \cdot \epsilon z_i$ は専用の**摂動生成ユニット（PGU）**によって計算される摂動和である。このアプローチは、IMCアレイの重み固定（weight-stationary）実行を維持し、繰り返しのRMW操作を排除する。

イベント駆動型摂動生成（PGU）

RNGの面積オーバーヘッドに対処するため、PGUはSNN固有のスパース性を活用する：

次元削減： PGUは、全重み行列に対してではなく、特定のタイムステップにおいて入力スパイクによって活性化された重みの行に対してのみ摂動を生成する。これにより、RNGアレイのサイズをIMCアレイの物理的次元から切り離すことができる。
アドレス駆動型XOR再結合（PGU-XOR）： 複数の行に対して減少したRNGセットを再利用することで生じる統計的相関（ベースラインであるPGU-Reuseスキームの問題）を防ぐため、著者らは再結合スキームを導入している。
- スパイクアドレスは、商（ $q_i$ ）と余り（ $r_i$ ）に分解される。
- 2つの独立したLFSRセットが、商に関連付けられたLFSR（Q-LFSR）と余りに関連付けられたLFSR（R-LFSR）を生成する。
- 特定の行に対する最終的な摂動ベクトルは、選択されたQ-LFSRの出力と対応するR-LFSRの行をビット単位でXOR演算することによって生成される。これにより、減少したRNGハードウェアを使用しているにもかかわらず、全重み行列にわたって統計的に独立した摂動が保証される。
累積ネットワーク： 複数のスパイクアドレスが同じRNG行にマッピングされた際の計算リソースの競合を処理するため、累積ネットワークはアクセスを複数サイクルにわたってシリアル化し、限定的なレイテンシと引き換えにコンパクトなハードウェア・フットプリントを実現する。

主な貢献

IPZOアーキテクチャ： 摂動を累積ドメインに注入することで、繰り返しのRMW操作を排除し、重量固定型のIMC実行を維持する新しいフレームワーク。
PGU-XORスキーム： スパース性に基づいてRNGの次元を削減し、アドレス駆動型のXOR再結合を用いて統計的独立性を確保するイベント駆動型摂動生成器。これは、単純なRNG再利用による精度低下を克服するものである。
ハードウェア検証： TSMC 16-nm CMOSテクノロジーを用いたポストレイアウト実装により、面積、スループット、およびエネルギー分析を含む設計の実現可能性を実証した。

実験結果

提案されたフレームワークは、アルゴリズム・シミュレーションおよびハードウェア実装を通じて評価された：

精度と収束：
- Spikingformer (CIFAR-10) において、PGU-XORは**76.41%の精度を達成し、ソフトウェアRNGのベースライン（Randintで76.53%）に匹敵した。一方、PGU-Reuseは66.85%**に低下した（9.56パーセントポイントの低下）。
- SpikeGPT (WikiText-2) において、PGU-XORは54.20のパープレキシティ（PPL）を達成し、ソフトウェアベースライン（~53.23）と同等であった。これに対し、PGU-ReuseはPPLが66.01となった。
- PGU-XORは収束が著しく速く、同等の性能に達するために、CIFAR-10ではPGU-Reuseより2.9倍、WikiText-2では5.7倍少ないエポック（またはステップ）を必要とした。
統計的特性： 重み更新行列の分析により、PGU-XORはソフトウェアRNGと同様のニアフルランク探索（有効ランク ~120）を達成していることが示された。対照的に、PGU-Reuseは低次元の部分空間に崩壊しており（有効ランク ~61.5）、摂動の多様性が失われたことが確認された。
ハードウェア効率 (TSMC 16-nm)：
- 面積： PGU-XORは、追加のQ-LFSRにより、PGU-Reuseに対して**40.3%～46.0%**の面積オーバーヘッドが発生する。
- エネルギー： PGU-XORは、行列・ベクトル積（MVM）あたりのエネルギーコストはわずかに高い（15.2%～48.9%のオーバーヘッド）ものの、収束が速いため、等価な精度タスクにおける総摂動エネルギーはPGU-Reuseの0.51倍に抑えられる。
- EPZOとの比較： 従来の明示的摂動（EPZO）と比較すると、バッチサイズ $B=64$ 、タイムステップ $T=4$ の場合、IPZO（PGU-XOR）は摂動エネルギーを0.46倍～0.83倍に削減する。この優位性は $BT$ の積が小さくなるほど大きくなり、エッジデバイスに特に適している。

意義

本論文は、IPZOがIMCベースのSpiking Transformerにおける効率的なオンチップ学習への実行可能な道筋を提供すると主張している。摂動を累積ドメインに再配置することで、このアーキテクチャは、独立したランダムノイズというアルゴリズム上の要求と、IMCのハードウェア制約（特にRMW操作のコストとRNG面積）との間の根本的な矛盾を解決する。PGU-XORスキームの導入は、スパース性を利用してRNGハードウェアのオーバーヘッドを削減しながら、効果的な勾配推定に必要な統計的独立性を維持できることを示している。これらの結果は、ZOベースの微調整をエネルギー効率が高く、ハードウェアとして実現可能なものにすることで、適応的でプライバシー保護に優れたエッジインテリジェンスを可能にすることを示唆している。