技術要約：FADTI – 多変量時系列補完のためのフーリエおよびアテンション駆動型拡散モデル

1. 問題定義

多変量時系列補完（MTSI）は、ヘルスケア、交通予測、生物学的モデリングなどの領域において蔓延している欠損値の問題に対処するものである。これらの欠損は、センサーの故障、通信損失、および不規則なサンプリングによって発生する。既存の手法、特にTransformerベースのモデル（例：SAITS）や拡散ベースのモデル（例：CSDI）は、時間依存性と不確実性の推定を改善してきたが、決定的な限界に直面している。それは**周波数歪み（frequency distortion）**である。

現在のアプローチは、多くの場合、時間領域のモデリングに大きく依存している。マスク処理された入力やゼロ埋めされた入力に対して直接周波数領域の手法を適用すると、欠損位置が実際の信号値として扱われてしまう。この素朴な投影は推定スペクトルを歪ませ、周波数特徴が基礎となる時間的ダイナミクスではなく、欠損によるアーティファクトに支配される原因となる。その結果、深刻なスパース性（疎性）の下で、長期的な周期パターンや構造化された時間的ギャップを回復することは依然として困難である。

2. メソドロジー：FADTIフレームワーク

著者らは、欠損した入力から直接スペクトルを推定することなく、デノイジング過程に周波数領域の帰納バイアスを統合するように設計された条件付き拡散フレームワークであるFADTI（Fourier and Attention Driven Diffusion）を提案している。

コアアーキテクチャ

FADTIは、逆過程が観測値（$x^{co}_0$）と観測マスク（$m$）に条件付けられる条件付き拡散パイプラインに従う。デノイジングネットワークは、3つの主要なコンポーネントを組み合わせたスタックされた残差ブロックで構成されている：

1. 時間-周波数モデリング： コアとなる革新技術である、**フーリエ・バイアス投影（Fourier Bias Projection: FBP）**モジュール。
2. 特徴アテンション： 変数間の相互依存性を捉える。
3. ゲート付きフィルタリング： 残差表現を効率的に更新する。

フーリエ・バイアス投影（FBP）モジュール

マスクされた入力に対する直接的なフーリエ投影とは異なり、FBPはデノイジングネットワークの中間隠れ状態に学習可能な周波数認識バイアスを注入する。プロセスは以下のように動作する：

• 分解： 中間隠れ状態（$H$）は、1D平均プーリングを使用して、滑らかなトレンド（$H_{trend}$）と高周波残差（$H_{res}$）に分離される。
• スペクトル変換： これらのコンポーネントに対して、チャネルごとにスペクトル演算子 $F_\nu(\cdot)$ が適用される。論文では、これらを以下の3つの変換としてインスタンス化している：
  • DFT（離散フーリエ変換）： 全域的な周期性と安定したトレンドを捉える。
  • STFT（短時間フーリエ変換）： 局所的で時間変化する周波数パターンを捉える。
  • FrSST（シンクロスクイージングに基づく短時間分数フーリエ変換）： 非定常な時間-周波数構造をシャープにする。
• バイアス注入： 複素スペクトル係数は、振幅-位相情報を保持するために固定された余弦（cosine）および正弦（sine）基底上に投影される。これらは時間特徴空間へとマップされ、学習可能なバイアス（$H_{freq}$）を形成する。
• 統合： この周波数認識バイアスは、元の特徴量と融合され、時間的自己アテンションまたはゲート付き拡張畳み込みへと送られ、ネットワークが滑らかなトレンドと周期構造を維持するように導く。

学習と推論

• 学習： モデルは、マスクされたデノイジング・スコアマッチング目的関数を用いて学習される。条件付きマスク（$M^{co}$）は、モデルに値を提示するために観測マスクからサンプリングされ、ターゲットマスク（$M^{ta}$）は、教師あり学習を提供するために元々観測されていた値を隠す。損失は、教師ありのターゲットエントリに対してのみ計算される。
• 推論： 欠損エントリはガウスノイズで初期化される。モデルは、固定された観測値に条件付けられた状態で、逆拡散過程を反復的に適用し、確率的な補完を生成する。

3. 主な貢献

本論文は、主に4つの貢献を述べている：

1. FADTIフレームワーク： 構造化された欠損パターンに対処するため、デノイジング過程に直接フーリエ領域の帰納バイアスを統合する、周波数認識型の条件付き拡散フレームワーク。
2. 柔軟なFBPモジュール： DFT、STFT、およびFrSSTのインスタンス化をサポートする新しいモジュール。これにより、マスクされた入力からの破損したスペクトルに依存することなく、定常および非定常の時間構造を適応的にモデリングすることが可能になる。
3. 効率的な時間モデリング： グローバルなアテンション依存性を補完するために、軽量なローカルモデリングモジュール（ゲート付き畳み込み）を組み込み、計算オーバーヘッドを削減する。
4. 包括的な評価： 新たに導入された生物学的時系列データセット（Yeast）を含む複数のベンチマークにおける広範な実験により、精度、不確定性推定、およびサンプリング効率における一貫した改善を示している。

4. 実験結果

著者らは、ETT（エネルギー）、Weather（気象学）、Yeast（生物学）の3つの実世界のデータセットを用い、10%および50%の欠損率におけるポイント単位およびタイム単位の欠損パターンに対してFADTIを評価した。

• 精度（MAE）： FADTIはほとんどの設定で最も低い平均絶対誤差（MAE）を達成した。特に、CSDI、MTSCI、SAITSといったベースラインと比較して、高い欠損率（50%）およびYeastデータセットにおいて顕著な利点を示した。
• 不確実性（CRPS）： FADTIは優れた較正（calibration）とシャープネスを示し、ほとんどの場合で最も低い連続ランク確率スコア（CRPS）を達成しており、良好な確率的品質を示している。
• 堅牢性： 多くのベースラインが大幅に性能を低下させるタイム単位の欠損パターン（連続したギャップ）においても、FADTIは強いパフォーマンスを維持した。
• サンプリング効率： FADTIは、CSDIやMTSCIと比較して、より少ない生成サンプル数（$K$）で優れた精度とCRPSを達成した。例えば、ETTデータセットにおいて、FADTIの$K=2$は、CSDIおよびMTSCIの$K=28$を上回った。
• アブレーション研究：
  • FBPを除去した場合（単純なバックプロジェクションを使用）、性能の低下が見られ、バイアスを周波数投影と結合させることが極めて重要であることが確認された。
  • DFTベースのバリアントは規則的なパターン（ETT、Weather）で最も優れた性能を示したが、局所的なスペクトル解析を必要とするタイム単位の欠損ギャップに対しては、STFTおよびFrSSTのバリアントがより競争力を持っていた。
• ゼロショット予測： Yeastにおけるゼロショットの「補完から予測へ」の実験において、FADTIは決定論的なベースラインおよび拡散ベースのMTSCIを上回り、強力な外挿能力を示した。

5. 意義と主張

本論文は、FADTIが周波数領域の信号処理と生成拡散モデルの間の溝を埋めることで、重要な進歩を遂げたと主張している。その意義は以下の点にある：

• 周波数歪みの解決： マスクされた生の入力ではなく中間隠れ状態を投影することで、FADTIは素朴な周波数ベースのアプローチを悩ませるスペクトルのアーティファクトを回避する。
• 非定常性の処理： FrSSTの導入により、モデルは非定常な振動パターンを捉えることができ、これはMTSIの文献では滅多に見られない能力である。
• スパースな領域での堅牢性： 本フレームワークは、実世界のセンサーデータで一般的な、高い欠損率や不規則な欠損パターンにおいて特に効果的である。
• 汎用性： Yeastデータセットの導入と、成功したゼロショット予測の結果は、モデルの適用範囲が標準的な補完タスクを超えて、複雑で非定常な生物学的環境にまで及んでいることを示唆している。

著者らは、FADTIが最先端の性能を達成している一方で、今後の課題として、不規則な時間グリッドや適応的なスペクトル変換へのフレームワークの拡張に焦点を当てる予定であると結論づけている。