技術要約：周波数領域リザーバコンピューティング (FRESCO)

問題提起

シーケンスモデリングは現在、Transformerアーキテクチャによって支配されていますが、これらはシーケンス長 $L$ に対して二次的な計算上のボトルネック ($O(L^2)$) を抱えています。これにより、ステップあたりのコストが限定的な再帰型ニューラルモデルへの関心が再び高まっています。しかし、従来の密な再帰モデル、特にエコーステートネットワーク (ESN) は、異なるスケーラビリティの問題に直面しています。具体的には、密な行列・ベクトル積のために、ステップあたりの計算コストがリザーバサイズ $N$ に対して二次的 ($O(N^2)$) にスケールしてしまいます。ESNはリッジ回帰による効率的な閉形式の学習を提供し（バックプロパゲーション・スルー・タイムを回避できる）、一方で、$O(N^2)$ の更新ボトルネックが、複雑で現代的なシーケンスモデリング・タスクに必要なリザーバサイズへのスケーリングを妨げています。

FFT（高速フーリエ変換）を用いた周波数領域による既存のESN加速の試みは、ドメインシフトのオーバーヘッドによって制限されてきました。素朴な周波数領域のESNは、入力を変換するための $O(N \log N)$ のFFTと、各リードアウトのための逆FFTを必要とします。リザーバサイズ $N$ が入力サイズ $N_x$ よりも大幅に大きい領域では、これらの変換が計算コストを支配してしまい、潜在的な効率性の利点を打ち消してしまいます。

手法：FRESCO

著者らは、標準的なドメイン遷移に伴うオーバーヘッドを体系的に排除しながら、周波数領域でネイティブに動作するように設計されたESNアーキテクチャである Frequency Domain Reservoir Computing (FRESCO) を提案します。FRESCOは、以下の3つの革新により、密な非線形再帰更新に対して厳密な線形 $O(N)$ 複雑性を達成します。

1. 次元のゼロパディングによる入力埋め込み

標準的な周波数領域のアプローチでは、元の入力ベクトル $x_t \in \mathbb{R}^{N_x}$ を $N$ 点のFFTを適用する前に、フルリザーバサイズ $N$ までパディングする必要があり、$O(N \log N)$ のコストが発生します。FRESCOは、1Dの巡回畳み込み定式化を 2D畳み込み定式化 へと一般化します。

• メカニズム: 入力を既存の軸に沿ってパディングする代わりに、新しい第2の次元にゼロを付加することで、入力を2D行列へと埋め込みます。
• 結果: このパディングされた行列の2D離散フーリエ変換 (DFT) は、元の入力の $N_x$ 点DFTのみを使用して計算できます。これにより、入力変換の複雑さが $O(N \log N)$ から $O(N_x \log N_x)$ へと軽減され、入力変換のボトルネックを事実上回避します。

2. ネイティブな周波数領域の再帰

FRESCOは、再帰重み行列が 巡回的 (circulant) であることを制約します。巡回畳み込み定理により、空間領域における密な行列・ベクトル積は、周波数領域における要素ごとのアダマール積へと崩壊します。

• 更新規則: 更新式は $\hat{R}_t = (1-\tau)\hat{R}_{t-1} + \tau \hat{\Phi}(\hat{W}_x \odot \hat{X}_t + \hat{W}_r \odot \hat{R}_{t-1} + \hat{B})$ となります（ここで $\odot$ は要素ごとの積を表します）。
• 複雑性: これにより、再帰的な更新コストが $O(N^2)$ から $O(N)$ に減少します。
• 安定性制御: 空間的な再帰行列のスペクトル半径は、周波数領域の重み行列 $\hat{W}_r$ の要素の最大絶対値に直接対応します。これにより、標準的なESNで必要とされる高価な $O(N^3)$ の固有値分解を回避し、固有値スペクトルを明示的に成形（例：特定の環状領域に制約）することが、追加コストなしで行えます。

3. パックされた周波数領域のリードアウト

リードアウト時の逆FFTのボトルネックを避けるため、FRESCOは パックされた周波数領域リードアウト (packed frequency-domain readout) を導入しています。

• メカニズム: 複素数である周波数領域のリザーバ状態 $\hat{R}_t$ には、エルミート対称性（冗長な情報）が含まれています。FRESCOは、非冗長な自由度を連続的な実数ベクトル $p_t$ へと抽出する「パッキング」演算 $P\{\cdot\}$ を採用しています。
• 効率性: このパッキングは、カスタムの軸再配置された2D RFFTフォーマットを利用して、一意な周波数成分を単一のメモリブロックに集約し、オーバーヘッドのないポインタ再解釈を可能にします。
• 等価性: 著者らは、このパックされた表現に対してリッジ回帰を行うことが、空間領域の状態に対して学習を行うことと（正規化によって吸収されるスケーリング係数を除いて）数学的に等価であることを証明しており、これにより学習および推論の両方において逆FFTを完全に排除しています。

2つのバリアントが提案されています：

• FRESCO (plain): 複素非線形関数 ($invabs$) を要素ごとに適用します。
• FRESCO (mix): 周波数間の結合を強化して表現力を高めるために、非線形関数の前に決定論的な循環シフト（ミキシング）を導入します。

主な貢献

1. FRESCO アーキテクチャ: 周波数領域でネイティブに $O(N)$ の複雑さで実行される、密な非線形ESNアーキテクチャ。
2. 次元ゼロパディング: 標準的な変換ボトルネックなしに入力を低次元から周波数領域へマッピングする、新しい入力埋め込み戦略。
3. パックされたリードアウト: 空間領域の学習と数学的に等価であり、冗長性がなく、メモリが連続しており、FFTを必要としない状態リードアウト。
4. 高い効率性: 予測性能を維持しつつ、計算量とエネルギー消費量を劇的に削減できることを実証。

実験結果

著者らは、以下の3つの軸でFRESCOを評価しました。

1. 古典的なRC回帰ベンチマーク (NARMA10, Mackey-Glass):

   • FRESCO (mix) は、Mackey-Glassにおいて最低誤差を達成し、NARMA10では標準的なESNと同等の性能を示しました。
   • FRESCOの各バリアントは優れたスケーリングを示し、大規模なリザーバにおいて標準的な密なESNよりも最大 2桁高速 に動作しました。

2. 時系列分類 (UCR Archive):

   • FRESCOは、10個のデータセットにおいて標準的なESNに対して競争力のある精度を達成しました。
   • 推論速度の向上は、データセットに応じて $2.3\times$ から $26\times$ に及びました。
   • 統計的分析（Critical Difference図）により、速度向上の恩恵が予測精度の犠牲によって得られたものではないことが確認されました。

3. 長期ホライゾン多変量予測 (ETT, Solar, Weather):

   • FRESCOは、深層シーケンスモデルのベースライン（LSTM, Mamba, Transformer）と比較されました。
   • FRESCOは、すべてのデータセットおよび予測ホライゾンにおいて、これらの深層モデルと同等またはそれを上回る予測精度を実現しました。
   • エネルギー効率: FRESCOは、同等の精度を維持しながら、深層ベースラインと比較して最大 3桁少ないエネルギー (kWhで測定) を消費しました。

意義と主張

本論文は、FRESCOが、計算を周波数領域に移すことで、密な再帰層の計算上のボトルネックをエレガントに回避できることを示していると主張しています。著者らは以下のように述べています。

• 巡回的な結合という構造的事前知識は、複雑なベンチマークでの競争力のある結果が示す通り、表現力を系統的に損なうことはありません。
• FRESCOは、現代的な状態空間モデル (SSM) の特徴である劣二次のスケーリングを実現しつつ、従来のESNの超高速な閉形式学習を保持する、密な再帰アーキテクチャへのスケーラブルな道を提供します。
• 周波数領域の数学的な優雅さは、特にエネルギー効率が重要となる長期予測タスクにおいて、リソース集約的なシーケンスモデリング手法に対する強力かつ持続可能な代替手段を提供します。

著者らは、FRESCOが固定されたランダム初期化重みに依存していること（エンドツーエンドで訓練された深層モデルと比較して絶対的なタスク性能が低下する場合があること）や、極めて長いコンテキストウィンドウにおける周波数領域の再帰の安定性についてさらなる経験的検証が必要であることなど、限界についても謙虚に言及しています。