技術的概要：FRACTAL – 分数再帰アーキテクチャを備えた状態空間モデル

1. 問題定義

連続時間におけるシーケンスモデリングは、無制限の歴史的コンテキストを保持する必要性と、高解像度の急激な短期変動を検出する必要性との間に根本的な緊張関係が存在します。既存の状態空間モデル（SSM）、特に高次多項式射影演算子（HiPPO）フレームワークに依存するモデルは、メモリ測度の「トリレンマ」によって制約されています：

• スケールド・ルジャンドル（LegS）： 履歴に一様重みを割り当て、時間スケール不変性を保証しますが、最近の入力の影響を漸進的に希薄化させます。
• 翻訳ラグuerre（LagT）： 指数関数的減衰を通じて最近性を優先しますが、固定された特徴的時間スケールを課すため、時間歪み信号やグローバルコンテキストに対する頑健性を犠牲にします。
• 翻訳ルジャンドル（LegT）： スライディングウィンドウを通じて高い局所解像度を提供しますが、その固定された地平を超えたコンテキストを壊滅的に破棄します。

既存のどの測度も、完全な履歴保持、最近性への感度、およびスケール不変性を同時に満たすものではありません。この制限は、金融ボラティリティ、生理学的な $1/f$ ノイズ、ネットワークトラフィックなど、多スケールダイナミクスを特徴とする物理的および生物学的分野における SSM の応用を妨げています。これらの分野では、指数分布や一様分布ではなく、べき乗則減衰カーネルを示します。

2. 手法：分数 HiPPO フレームワーク

本論文は、メモリ・トリレンマを解決するために分数微積分を HiPPO フレームワークに統合する FRACTAL（Long シーケンスの計算的時間分析のための分数再帰アーキテクチャ）を提案します。

2.1 分数オーダー測度

核心的な理論的革新は、調整可能な特異性指数 $\alpha \in [0, 1)$ によって定義される 分数オーダー測度 $\mu(t)(x)$ の導入です：
$$\mu(t)(x) = \frac{1-\alpha}{t^{1-\alpha}} (t-x)^{-\alpha} \mathbb{I}_{[0,t]}(x)$$
この測度は、一様分布（LegS、ここで $\alpha=0$）と現在点に集中した質量の間を補間します。これは べき乗則重み付け $(t-\tau)^{-\alpha}$ を誘起し、長期的保持のための重い尾部を作成すると同時に、局所的な感度を増幅するために現在のタイムステップに特異性を課します。重要なのは、このべき乗則構造が、指数測度とは異なり、時間的拡大に対して スケール不変性 を保持することです。

2.2 理論的導出

• 直交基底： この測度に対する最適射影は、標準的な HiPPO-LegS で使用されるルジャンドル多項式を一般化する ヤコビ多項式 $P_n^{(-\alpha, 0)}$ を用いて導出されます。
• 状態空間ダイナミクス： 射影係数に無次元変換と部分積分を適用することで、著者らは線形時間変動（LTV）システムを導出します：
  $$\frac{d}{dt}x(t) = -\frac{1}{t} A(\alpha) x(t) + \frac{1}{t} B(\alpha) u(t)$$
  $1/t$ という因子は、スケール不変性の数学的シグネチャです。
• システム行列：
  • 入力射影（$B$）： 二項係数が LegS よりも緩やかに減衰する閉形式解が導出され、高周波入力成分を実質的に増幅します。
  • 状態遷移（$A$）： 行列 $A(\alpha)$ は下三角行列です。重要な理論的結果として、その 対角要素は $\alpha$ に対して不変 であること（$A_{nn} = n+1$）が示されており、これにより固有値は $\{1, 2, \dots, N\}$ に固定され、メモリ集中プロファイルに関係なくスペクトル安定性が保証されます。

2.3 FRACTAL アーキテクチャ

効率的な並列トレーニングを可能にするため、LTV システムは $1/t$ 因子を学習可能な時間スケールパラメータ $\Delta$ に置き換えることで、線形時間不変（LTI） システムに緩和されます。

• スペクトル初期化： 行列構造を近似する先行研究とは異なり、FRACTAL は $A(\alpha)$ の直接数値的固有値分解（厳密に対角化可能）を実行し、対角スペクトル $\Lambda$ を取得します。
• 物理情報に基づく初期化： 入力射影ベクトル $\tilde{B}$ は、分数測度から導出された解析的閉形式解を用いて初期化され、初期ダイナミクスをべき乗則メモリ構造に整合させるプリコンディショナーとして機能します。
• マルチスケールフィルタバンク： 状態空間はチャネルに分割され、各チャネルには異なる特異性指数 $\alpha_k$ が割り当てられます。これにより「分数フィルタバンク」が作成され、以下のようになります：
  • 低 $\alpha$ チャネルはローパスフィルタとして機能し（グローバルコンテキストを保持）、
  • 高 $\alpha$ チャネルはハイパスフィルタとして機能し（局所的過渡現象を増幅します）。
• 計算： 対角化されたシステムは、並列プレフィックス和（結合スキャン）アルゴリズムによって解かれ、$O(N \log L)$ の複雑さを維持します。

3. 主要な貢献

1. 理論的： HiPPO フレームワークへの分数オーダーべき乗則測度の導入。これは、完全な履歴保持、最近性への感度、およびスケール不変性という「不可能な三位一体」を理論的に満たす最初の測度です。著者らは、ヤコビ多項式が自然な基底を形成し、状態遷移行列の固有値が特異性指数に対して不変であることを示す厳密な導出を提供しています。
2. アーキテクチャ的： この理論を FRACTAL アーキテクチャに具体化し、異質なメモリパラメータを持つマルチチャネル構成（スペクトルフィルタバンク）と、入力射影の閉形式解を活用する解析的初期化戦略を備えています。
3. 実証的： 長距離アリーナ（LRA）ベンチマークにおける包括的な検証により、分数測度がマルチスケール推論タスクにおいて実証的な向上をもたらすことを示しています。

4. 実験結果

長距離アリーナ（LRA） ベンチマークで評価された FRACTAL は、厳密に同一のシングル GPU 条件下で、S5 モデル（87.04%）および S4（86.09%）を上回る平均スコア 87.11% を達成しました。

• ListOps： FRACTAL は 61.85% を達成し、S5（61.10%）および S4（59.60%）を上回りました。このタスクは入れ子になった数式のパースを必要とし、モデルがグローバルな括弧構造（低 $\alpha$）と局所的なオペランド値（高 $\alpha$）を同時に追跡する能力を検証します。
• Path-X： 長さ 16K のシーケンスにおいて、FRACTAL は 98.39% を達成し、S5（98.62%）と実質的に同等の性能を示しました。これは、分数特異性が極端な地平にわたる勾配伝播を損なわないことを確認しました。
• 数値的検証： 実験は、メモリ密度が $\alpha$ の増加に伴って一様から重い尾部へとシフトすること、および状態遷移行列の対角要素が理論予測通り不変であることを確認しました。

5. 意義と主張

本論文は、FRACTAL が HiPPO の最適射影理論と分数微積分のメモリ特性の間のギャップを埋めると主張しています。SSM の測度論的基盤を一般化することで、この研究は、スケール不変性を犠牲にすることなく、純粋な履歴と純粋な最近性の間でメモリカーネルを調整するための厳密なメカニズムを提供します。

著者らは、FRACTAL を 線形時間不変（LTI） SSM パラダイム内の基盤的革新として位置づけています。彼らは明示的に、Mamba などの「セレクトive（時間変動型）」SSM と自らの研究を区別し、ゼロから訓練される基盤的な LTI 革新と、大規模に最適化された事前学習済みセレクトive アーキテクチャを比較することは、異なる研究パラダイムを混同することになると論じています。その結果、本論文は、分数測度が べき乗則領域において特に構造的優位性 を提供すると主張しており、金融時系列や生理学的信号分析など、多スケールダイナミクスと重い尾部を持つ時間的依存性を特徴とする分野に特に適していると結論付けています。