技術要約: FreKoo++: 連続的なスペクトル力学の学習による時間領域汎化

1. 問題提起

時間領域汎化（Temporal Domain Generalization: TDG）は、コンセプトドリフトが発生する中で、過去のソースドメインから学習し、未知の将来の分布へと汎化することを目指している。近年の進展によりTDGへの取り組みが進んでいるが、既存の手法は複雑な実世界のストリーミングシナリオにおいて、以下のような重大な限界に直面している：

• マルチスケールのドリフトパターン: 実世界のコンセプトドリフトは、長期的な周期性（例：季節性、経済サイクル）と、短期的な漸進的変化が絡み合ったものであることが多い。滑らかな漸進的変化や局所的な平滑性を仮定することが多い既存の手法は、長いタイムホライゾンにわたって繰り返される非単調なパターンを捉えることに苦慮している。
• 局所的な不確実性と過学習: 現在のアプローチは通常、連続的なデータストリームを離散的な時間ドメインに分割する。しかし、ドメイン内のデータには非IID（独立同一分布ではない）特性や局所的なノイズが含まれることが多い。これらのノイズを含むシーケンスをクリーンな動的信号として扱う手法は、持続的な潜在的ダイナミクスを追跡するのではなく、ドメイン固有のアーティファクトに過学習してしまうリスクがある。
• 不規則なサンプリング: 実世界の観測（ヘルスケアやソーシャルメディアなど）は、非同期かつ不規則な間隔で到着する。離散的TDG（DTDG）手法は、硬直的で一様に配置された時間グリッドに依存しており、観測が不規則に分布する連続時間データストリームとの互換性がない。

2. 手法: FreKoo++

著者らは、スペクトル解析と動的オペレータモデリングを橋渡しする統一的な連続時間フレームワークである FreKoo++ を提案している。離散フーリエ変換（DFT）と手動の周波数閾値に依存していた前身（FreKoo）とは異なり、FreKoo++はネイティブに連続時間で動作する。

コアアーキテクチャ

本フレームワークは、モデルパラメータ $\theta(t)$ の進化を、それらをコンパクトな潜在空間へとマッピングし、学習可能な連続モードのダイナミクスによってその軌跡を記述することでモデル化する。

1. 潜在軌跡の構築:
   不規則なタイムスタンプからのモデルパラメータは、共有エンコーダ $\phi$ を用いて、潜在的な動的状態 $z(t)$ へとエンコードされる。

2. 連続スペクトル・ダイナミカルモデリング:
   クープマン（Koopman）オペレータ理論に基づき、潜在軌跡は学習可能な連続モードの重ね合わせとしてモデル化される。その進化は、複素固有値 $\lambda_k = \sigma_k + j\omega_k$ によってパラメータ化される：
   $$\tilde{z}(t) = \text{Re} \left( \sum_{k=1}^{K} a_k e^{\lambda_k t} \right)$$

• 虚部 $\omega_k$ は振動周波数をエンコードする。
• 実部 $\sigma_k$ は、時間の経過に伴う成長率または減衰率をエンコードする。
• この定式化により、離散的なタイムステップを経ることなく、任意の将来のタイムスタンプにおける解析的な予測が可能となる。

3. 適応型スペクトル分離:
   ハードな周波数カットオフの代わりに、FreKoo++は学習可能なソフトスペクトル重み付けメカニクスを採用している。各モード $k$ に対して、モードの周波数と減衰スコアに基づき、ソフトな支配重み ($w_k^{dom}$) と過渡重み ($w_k^{trans}$) が計算される。

• 支配的成分 (Dominant Component): 低周波で持続的なモード（$\sigma_k \approx 0$）は、前方へ外挿される。
• 過渡的成分 (Transient Component): 高周波または急速に減衰するモードは、ノイズとして分離される。推論時には、これらはノイズ増幅を防ぐために、外挿されるのではなく、最後の観測タイムスタンプ $t_T$ で「凍結」される。

4. 結合最適化:
   モデルは、以下の要素からなる統一された目的関数を用いてエンドツーエンドで訓練される：

• タスク損失 (Task Loss): ソースドメインにおける予測精度を確保する。
• 再構成損失 (Reconstruction Loss): 連続的なモード軌跡をエンコードされた潜在状態と整合させる。
• 安定性正則化 ($R_{stab}$): 指数関数的な発散を防ぐため、正の成長率 ($\sigma_k > 0$) を持つ支配的モードにペナルティを課す。
• スペクトル正則化 ($R_{spec}$): 過渡的モードのエネルギーを抑制し、決定的なスペクトル分離を促進する（ゲート崩壊を防ぐ）。

5. 推論プロトコル:
   任意の将来のタイムスタンプ $t_s > t_T$ に対して、予測される潜在状態は、外挿された支配的成分と凍結された過渡的成分の重ね合わせとなる：
   $$\hat{z}(t_s) = \hat{z}_{dom}(t_s) + \hat{z}_{trans}(t_T)$$
   これにより、共有デコーダを介してターゲットパラメータ $\hat{\theta}(t_s)$ が得られる。

3. 主な貢献

• 連続時間パラダイム: FreKoo++は、パラメータの進化のパラダイムを、離散的なステップ遷移から、学習可能なクープマンに着想を得たモードダイナミクスへと転換させる。周波数と成長/減衰を連続的な固有値にエンコードすることで、不規則にサンプリングされたソースドメインや、任意のホライゾン予測を自然に受け入れる。
• 適応型スペクトル分離: 学習可能なソフトゲートとスペクトル正則化を用いることで、持続的な支配的ダイナミクスを過渡的なノイズから自動的に分離するメカニズムを導入し、手動の周波数閾値の必要性を排除した。
• 理論的保証: 著者らは、モード近似境界と連続時間汎化境界を導出している。これらの証明は、振幅および固有値の推定誤差が予測ホライゾンとともにどのように伝播するかを特徴づけ、安定性正則化が長期ホライゾンのリスクを制御することを実証している。

4. 実験結果

著者らは、連続TDG（CTDG）および離散TDG（DTDG）の両方のベンチマークにおいてFreKoo++を評価した。

• CTDGの性能: 6つの不規則にサンプリングされたデータセット（2-Moons-C, Rot-MNIST-C, Twitter, Yearbook, Cyclone, Houseを含む）において、FreKoo++は分類および回帰タスクの両方で最先端（SOTA）の性能を達成した。これは、時間非依存のベースライン、離散的時系列モデル、および他の連続時間アプローチ（DeepODE, Koodosなど）を大幅に上回る結果であった。
• DTDGの性能: 連続ストリーム向けに設計されているにもかかわらず、FreKoo++は7つの一様にサンプリングされたDTDGデータセットにおいても非常に競争力のある性能を示し、7つのデータセットのうち5つで前身の離散専用手法（FreKoo）を上回った。
• アブレーション研究: 各コンポーネントの必要性が実験によって確認された：
  • 成長/減衰をモデル化する能力（$\sigma_k \equiv 0$）を削除すると、壊滅的な性能低下を招いた。
  • ソフトゲートをハードゲートや凍結閾値に置き換えると、汎化性能が著しく低下した。
  • スペクトルまたは安定性正則化を削除するとエラー率が増加し、ノイズのフィルタリングと発散防止におけるそれらの役割が検証された。
• 定性的分析: 2-Moons-Cにおける決定境界の可視化により、FreKニズム（FreKoo++）は、基礎となるデータのダイナミクスと共に回転する、滑らかでグローバルに一貫した境界を生成する一方で、Koodosのようなベースラインは、長い外挿ホライゾンにおいて劣化する複雑な境界を生み出すことが示された。

5. 意義と主張

本論文は、スペクトル解析と連続力学系を統合することにより、進化する環境において堅牢なモデルを学習するための原則的な方向性を提供すると主張している。

• 不規則性の処理: 一様なグリッドや離散フーリエ変換の必要性を回避することで、本フレームワークは、非同期な実世界のデータストリームを扱う上での重要なギャップに対処している。
• 堅牢な外挿: 非対称な推論プロトコル（安定したモードのみを外挿し、過渡的なノイズを凍結する）は、構造的に、長期予測における一般的な失敗モードであるホライゾン依存のノイズ増幅から将来の予測を保護している。
• 理論的根拠: 汎化境界の導出は、なぜスペクトル特性（$\sigma_k$ およびモード振幅を通じて）を制御することが、未知の将来ドメインにおける超過リスクを最小化するために不可ントであるのかについて、厳密な正当性を与えている。

著者らは、連続的なスペクトル・ダイナカル・モデリングが、特に複雑なマルチスケールのドリフトや不規則なサンプリングに直面する場合において、離散的または純粋な時間領域アプローチに対する優れた代替案を提供すると結論付けている。