Heavy-Tailed Flow Matching via Random Clocks

技術要約：ランダムクロックによるヘビーテイル・フローマッチング

問題提起
金融崩壊、天候の極端現象、不均衡な画像クラスなど、稀なイベントが不釣り合いに大きな影響を与える特性を持つヘビーテイル（重い裾）データは、現代の生成モデリングにおいて重大な課題となっています。標準的な拡散モデルやフローマッチングモデルは、通常、ガウス型ソース分布またはノイズプロセスに依存しています。ガウス型ソースは学習ターゲットとして扱いやすい一方で、ヘビーテイルなデータに対しては誘導的な適合性が低くなります。データ分布がソースよりも著しく重い裾を持つ場合、モデルは輸送マップを完全に学習によって獲得しなければならず、その結果、稀なイベントの再現性が低下することがあります。

これに対処するために、ガウス型ノイズをヘビーテイルな代替物（例：$\alpha$-安定レヴィ過程、Student-$t$カーネル）に置き換える既存の試みには限界があります。これらのアプローチは、非局所的な分数スコア（fractional-score）のメカニズムを必要としたり、特定の裾のファミリー（例：Student-$t$における有限分散レジーム）に限定されたり、あるいは効率的な学習に不可欠な$L^2$射影構造を破壊するロバストな集計損失に依存したりすることがあります。フローマッチングの低NFE（Number of Function Evaluations）サンプリング効率を維持しつつ、多様なヘビーテイル・ソース法則を受け入れる統一されたフレームワークが不足しています。

手法：ランダムクロックによるヘビーテイル・フローマッチング (HTFM)
著者らは、ヘビーテイル・ソースを「クロック条件付きガウス・ソースの混合」としてモデル化するHTFMを提案します。核心となる革新は、ソース分布の条件付き共分散を制御する、非減少かつパス値を持つ潜在変数 $T = (T_t)_{t \in [0,1]}$ であるランダムクロックの導入です。

1. クロック条件付きダイナミクス:

   • 実現されたクロックパス $T_{[0,1]}$ で条件付けられた場合、ソース分布 $X_0$ とソースとデータの間のフローはガウス分布となります。
   • 具体的には、$X_0 | T_{[0,1]} \sim \mathcal{N}(0, \Sigma(T_{[0,1]}))$ です。
   • フローはアフィンパスに従います：$X_t^T = \alpha_t^T X_1 + \beta_t^T X_0^T$。
   • 条件付き問題がガウス型であるため、エンドポイント条件付き速度ターゲット $v_t^T(x | x_1)$ は、標準的なガウス型フローマッチングと同じ扱いやすい代数形式を保持します。これにより、パスごとの標準的な$L^2$回帰目的関数を使用できます。

2. 周辺化とヘビーテイル:

   • ヘビーテイルな性質は、ランダムクロック $T$ について積分（周辺化）した後の、周辺ソース分布として現れます。
   • クロックの法則を適切に選択することで、本フレームワークは様々なヘビーテイル・ファミリーを復元できます：
     • 決定論的クロック ($T_t = t$): 標準的なガウス型フローマッチングを復元します。
     • $\alpha$-安定サブディネーター・クロック: $\alpha$-安定ソースの周辺分布をもたらします。
     • 逆ガンマ・クロック: 自由度 $\nu > 0$ の任意のStudent-$t$周辺分布をもたらします。これには、他の手法では排除されがちな無限分散レジーム（$\nu \le 2$）も含まれます。

3. シグネチャに基づく条件付け:

   • クロックパス $T_{[0,1]}$ は無限次元であるため、それをニューラルネットワークに直接渡すことは実用的ではありません。
   • 著者らは、実現されたクロックパスを、ラフパス理論から導出された切断ログシグネチャ特徴量 ($\ell_m(T)$) を用いてエンコードします。これらの特徴量は、パスの有限次元かつ普遍的な表現を提供します。
   • ニューラル速度場 $u_\theta$ は、時間 $t$ および状態 $X_t$ と共に、これらの特徴量によって条件付けられます。これにより、ネットワークは、計算オーバーヘッドをほとんど増やすことなく、実現されたクロックによって定義される特定の条件付きガウス空間に適応することができます。

主な貢献

1. 統一されたランダムクロック・フレームワーク: HTFMは、クロック法則を変更するだけで、ガウス型、$\alpha$-安定、またはStudent-$t$ソースを生成できる単一のフローマッチング目的関数を提供します。これは、特定のファミリー専用のスコア公式や利用不可能な密度関数を回避し、条件付きガウス空間内で動作するためです。
2. シグネチャに基づく条件付け: 著者らは、切断ログシグネチャを用いたクロック条件付きベクトル場の実用的なインターフェースを導入しました。これにより、オペレータ学習のコストを負うことなく、速度場が実現された条件付き空間に適応することが可能になります。
3. 理論的保証: 本フレームワークは、パスごとの条件付き・周辺等価性（命題3.1）を確立しており、可積分条件が満たされる限り、クロック条件付き目的関数の最小化が周辺のヘビーテイル目的関数の最小化になることを保証しています。

実験結果
著者らは、2D不均衡$\alpha$-安定混合分布、CIFAR10-LT（ロングテール画像データセット）、およびHRRR気象場（垂直積分液体量）の3つのベンチマークでHTFMを評価しています。

• 性能: HTFMは、モード被覆率、サンプル品質（FID）、および裾の統計量（尖度比、歪度比、KS統計量）において、ガウス型フローマッチング（HTFM-G）および競争力のあるヘビーテイル・ベースライン（LIM, DLPM, t-Flow）を一貫して上回っています。
• 低NFE効率: 主要な利点は、フローマッチングの低NFEサンプリング効率を保持していることです。HTFMは、拡散モデルが収束に苦戦することが多い低NFE（例：20〜100ステップ）において、$\alpha$-安定拡散ベースライン（DLPMなど）を大幅に凌駕しています。
• 裾のキャリブレーション: 実験は、「生成される裾の重さ」が、ネットワークアーキテクチャを変更することなく、クロック法則またはそのパラメータを変更するだけで調整可能であることを示しています。
• アブレーション研究:
  • クロック・ファミリー: 異なるクロック・ファミリー（例：$\alpha$-安定 vs Student-$t$）は、多項式の裾の減衰率が一致していても異なる挙動を示しました。これは、クロック・ファミリーが単なる裾の重さ以上の意味を持つ設計要素であることを示唆しています。
  • シグネチャ条件付け: 速度場をクロックのシグネチャで明示的に条件付けること（$m \ge 1$）は、ヘビーテイルなソースのみを使用する場合（クロック条件付けなし、$m=0$）よりも優れた結果をもたらしました。これは、条件付き空間に適応することの価値を裏付けています。

意義と主張
本論文は、HTFMがガウス型フローマッチングの扱いやすさと、現実世界の極端事象におけるヘビーテイル・モデリングの必要性の間の溝を埋めるものであると主張しています。裾の挙動（ランダムクロックによって制御）を条件付き回帰問題（依然としてガウス型）から切り離すことで、HTFMは従来のヘビーテイル拡散アプローチにおける計算上および理論上の落とし穴を回避しています。

著者らは、HTFMが実用的な裾制御インターフェースを提供することを強調しています。ユーザーは、異なる分布ファミリーにわたって生成されるサンプルの「重さ」を、単にクロック法則を調整するだけでキャリブレーションできます。さらに、ログシグネチャ特徴量を使用することで、モデルは高コストな無限次元オペレータ学習を伴うことなく、クロックの完全なパス情報を活用でき、高次元のヘビーテイル生成モデリングのためのスケーラブルなソリューションとなります。