技術要約：リザーバ・プルーニングの再考：エコー・ステート・ネットワークのための動的な視点

問題提起

エコー・ステート・ネットワーク（ESN）は、線形出力層のみを学習させるランダムに初期化された再帰的リザーバを利用することで、時間予測のための効率的なフレームワークを提供する。しかし、標準的なESNはしばしば過剰にパラメータ化されており、汎化性能を必ずしも向上させることなく、メモリや推論コストを増大させる実質的な動的冗長性を包含している。

既存のリザーバ・プルーニング手法は、主に以下の静的な基準に依存している：

• 活性化統計量： 重みの大きさ、活性化の分散、またはノードのドロップアウトレベル。
• 構造的グラフ指標： 固定された結合に基づく中心性指標（例：媒介中心性、近接中心性）。

著者らは、これらの静的なアプローチは、ESNの振る舞いを定義する入力駆動型の動的構造を捉えきれていないと主張している。静的な意味では不活性であったり、結合が弱かったりするニューロンが、時間の経過に伴う状態遷移を形成する上で極めて重要である場合がある。逆に、高い静的活性を持つニューロンが、システムの進化における支配的なモードにはほとんど寄与しないこともある。したがって、特定のニューロンが軌道依存的なリザーバのダイナミクスにどのように寄与するかを考慮したプルーニング基準が必要である。

手法：動的モード・プルーニング（DMP）

本論文では、リザーバの局所的なダイナミクスから導出された支配的な遷移モードに基づいてニューロンをランク付けする、ワンショットの構造化プルーニング手法である**動的モード・プルーニング（DMP）**を提案している。

コア・メカニズム

1. ヤコビ行列の構築： 与えられた入力駆動型の軌道に対して、状態遷移の局所的な感度は遷移ヤコビ行列 $J(t)$ によって特徴付けられる。リーク率 $a$ を持つリーキーESNの場合、これは以下のように定義される：
   $$J(t) = (1 - a)I + aD(t)W$$
   ここで、$W$ は再帰的重み行列、$I$ は単位行列、$D(t)$ はニューロンの事前活性化において評価された活性化関数の導関数を含む対角行列である。

2. 軌道平均ヤコビ行列グラム行列： 局所的なスナップショットではなく、グローバルな動的挙動を捉えるために、DMPはこれらのヤコビ行列を訓練軌道（ウォッシュアウト後）にわたって集計し、グラム行列 $G$ を形成する：
   $$G = \frac{1}{T} \sum_{t=1}^{T} J(t)^\top J(t)$$
   この行列は、局所的に伝播された摂動の、時間平均された二乗の大きさを表している。その固有方向は、軌道全体を通じて摂動が最も強く現れる状態空間内の方向に対応する。

3. モード選択とスコアリング：

   • グラム行列は、固有値 ($\Lambda$) と固有ベクトル ($V$) に分解される。
   • 累積正規化エネルギーが閾値 $\tau$ （例：$\tau = 0.9$）を超える最小のモード数 $r$ を保持することにより、支配的な部分空間が定義される。
   • 各ニューロン $i$ の重要度スコア $\eta_i$ は、保持された固有ベクトルの重み付き二乗成分の和によって計算される：
     $$\eta_i = \sum_{k=1}^{r} \tilde{\lambda}_k V_{ik}^2$$
     ここで、$\tilde{\lambda}_k$ は正規化された固有値（エネルギー比率）、$V_{ik}$ は第 $k$ 番目の固有ベクトルの第 $i$ 成分である。

4. プルーニングと再学習：

   • ニューロンは $\eta_i$ によってランク付けされる。上位 $N'$ 個のニューロンが保持され、残りは単一の「ワンショット」操作によって除去される。
   • 再帰行列 $W$、入力行列 $W_{in}$、およびフィードバック行列 $W_{fb}$ は、保持されたインデックスに対応する主部分行列へと縮小される。
   • 線形出力層の重みのみがリッジ回帰を用いて再学習される。
   • オプションのバリアントとして、縮小された再帰行列を目標とするスペクトル半径に再スケーリングする DMP+$\rho$ があるが、実験の結果、これは必ずしも有益ではないことが示唆されている。

主な貢献

• 動的基準： 統計的な構造的重要度のみではなく、軌道平均ヤコビ行列グラムに基づいたプルーニング指標を導入し、焦点を生理的な結合から、入力駆動型の状態遷移におけるニューロンの役割へと転換させた。
• ワンショット構造化プルーニング： 再帰的重みを再学習することなく、過剰にパラメータ化されたリザーバを削減するための、原理に基づいたオフラインの手順を提供し、保持されたサブネットワークの内部構造を維持することでエコー・ステート特性（ESP）を保存する。
• 実証的検証： DMPが、カオス的および実世界の時系列ベンチマークにおいて、モデルサイズと推論レイテンシを大幅に削減しながら、予測精度を向上または維持できることを実証した。ただし、その改善の程度は、データセットやランダムな初期化によって大きく変動する。

実験結果

著者らは、5つのデータセット（合成システムである Mackey–Glass、および実世界の単変量時系列である Electricity, Temperature, Wind, Solar）でDMPを評価した。

• 予測精度：
  • DMPは、主要な評価構成において、すべてのデータセットで未プルーニングのESNよりも低い平均MSEを達成したが、その改善の大きさはデータセット間で大きく異なった。例えば、Wind データセットでは、D入りのベースESNと比較して平均MSEが 89.8% 減少したが、Electricity では 18.8% の減少であった。Mackey–Glass では、総計で約 7.7% の改善が見られた。
  • 論文では、代表的なシングルランの結果と集計結果の差は、カオス的予測における初期化の高さに起因する変動性を反映しており、WindやSolarのような高分散なデータセットでは信頼区間が広いことが指摘されている。
  • 制御されたマッチング比較（$N=1000 \to 800$ へのプルーニング）において、DMPはすべてのデータセットでランダム・プルーニングおよび新規に初期化された小型ESNを上回り、最も低い正規ルート平均二乗誤差（NRMSE）を達成した。
• 効率性：
  • リザーバを1,000から800ニューロンに削減することで、再帰パラメータが 36% 減少し、モデルストレージが 35.7% 減少した。
  • 推論レイテンシは約 1.9倍から1.97倍 減少した（例：1ステップあたり約123 $\mu$s から約64 $\mu$s へ）。
• 感度：
  • プルーニング比率： 中程度のプルーニング（20%）が最良の結果をもたらした。積極的なプルーニング（30%）は、特にTemperatureとWindのデータセットにおいて性能を低下させることが多く、信号の安定的な伝搬にはある程度の冗長性が必要であることを示している。
  • リザーバサイズ： DMPは、冗長性がより豊富で分離可能な、より大きなリザーバにおいて恩恵を受ける。非常に小さなリザーバでは、ベースラインのESNが競争力を持つ。
  • スペクトル再スケーリング： プルーニング後のスペクトル再スケーリングを伴うバリアント（DMP+$\rho$）は、標準的なDMP構成よりも結果を改善しなかった。これは、グラム行列によって捉えられた動的構造が、再スケーリングなしでも十分であることを示唆している。

意義と主張

本論文は、動的な影響力が、静的な構造的重要度のみと比較して、リザーバの精緻化のための有用な基準であることを主張している。入力駆動型の支配的な遷移モードにほとんど寄与しないニューロンを特定して除去することで、DMPは予測力を維持しながらリザーバを簡素化できる。

著者らは、DMPを、あらゆるプルーニング手法に代わる普遍的な置き換えとしてではなく、過剰にパラメータ化されたESNを削減するための原理に基づいたメカニズムとして位置づけている。また、以下の制限事項も認めている：

• オフラインコスト： この手法は、ヤコビ行列の集計と固有値分解のために $O(TN^3)$ の時間を必要とするため、オンラインのプルーニングではなく、オフラインの精緻化に適している。
• 近似： ワンショットのスコアは、プルーニング後のダイナミクスの近似である。積極的なプルーニング比率は、元のグラム行列と縮小されたシステムとの間にミスマッチを引き起こす可能性がある。
• 範囲： 本研究は単変量予測に焦点を当てている。多変量タスクや分類への拡張については、今後の課題として述べられている。

最終的に、本研究は、ヤコビ行列・グラム行列の視点がリザーバ・システムの理解に有用なフレームワークを提供し、適応的なリザーバ構築やスケーラブルな動的モデル削減へと拡張できる可能性を示唆している。