技術要約：Flow Matchingモデルにおける漸進的ファインチューニング（Gradual Fine-Tuning）

問題提起

事前学習済みフローマッチングモデルのファインチューニングは、データが限定的な場合、分布が変化する場合、あるいは計算資源の制約があるシナリオにおいて、重大な課題を伴います。報酬ベースのファインチューニング（例：Adjoint Matchingや強化学習アプローチ）における最近の進展は有望ではあるものの、それらはしばしば理論的な限界や実用上の不安定性に直面します。具体的には、既存の手法は、理論的な正当性、学習の安定性、推論の効率性、および多様性の維持を同時に保証することに失敗することが頻繁にあります。

極めて重要でありながら、未だ十分に探索されていない設定は、ターゲット分布からの直接的なサンプルが利用可能な場合（例：ドメイン適応やデータセットのドリフト）のファインチューニングです。この場合、外部の報酬関数を用いる必要はありません。このような文脈における標準的なファインチューニングは、事前学習済みモデルを単なる初期値として扱うことが多く、その学習されたダイナミクス（短い確率パスなど）を無視するため、高い不安定性と潜在的なモード崩壊を招きます。したがって、事前学習済みモデルの有益な特性を保持しながら、新しいターゲット分布に適応させることをバランスよく実現する、原理に基づいたフレームワークが必要です。

手法：漸進的ファインチューニング（GFT）

著者らは、アニーリングされた正則化を用いて、温度制御された中間的な目的関数を生成するフレームワークである**漸進的ファインチューニング（Gradual Fine-Tuning: GFT）**を提案しています。このアプローチは、事前学習済みのダイナミクスとターゲットのダイナミクスの間を滑らかに補間します。

理論的定式化

GFTは、確率フローによって誘導されるパス空間上の最適化問題から導出されます。この目的関数は、ファインチューニングされたプロセス $P_\theta$ とターゲットプロセス $P_q$ の間のカルバック・ライブラー（KL）ダイバージェンスを、事前学習済みプロセス $P_{\theta_0}$ との間のKLダイバージェンスによって正則化しながら最小化します。

$$\min_{\theta} \text{KL}(P_\theta \| P_q) + \beta \text{KL}(P_\theta \| P_{\theta_0})$$

ここで、$\beta \in \mathbb{R}^+$ は温度パラメータです。

定理 4.1 は、この目的関数を最小化することで、ターゲットのベクトル場 $v_q$ と事前学習済みのベクトル場 $v_{\theta_0}$ の凸結合となる閉形式の最適ドリフト $v^*_\theta$ が得られることを確立しています。

$$v^*_\theta(X_t, t) = \left( \frac{1}{1 + \beta} \right) v_q(X_t, t) + \left( \frac{\beta}{1 + \beta} \right) v_{\theta_0}(X_t, t)$$

アニーリングされた正則化： 収束を実現するために、GFTは $\beta$ を高い初期値から $0^+$ へと徐々に減少させる時間依存のクーリングスケジュールの採用しています。

• 高い $\beta$： 事前学習済みモデルからの逸脱を強く抑制し、早期の崩壊を防ぎ、安定性を確保します。
• 低い $\beta$ ($\to 0^+$)： 制約を緩和し、モデルが漸近的にターゲットのベクトル場 $v_q$ を回復することを可能にします。

扱いやすい再定式化

ターゲットのベクトル場 $v_q$ は未知であり、目的関数はパス測度上で定義されているため、著者らは**ギルサノフの定理（Girsanov's Theorem）**を適用して、目的関数をドリフト項に関する形式へと再定式化します。これにより、ドリフト間の二乗 $L_2$ 距離を含む、扱いやすい損失関数が得られます。

さらに、効率的な学習と推論を可能にするために、GFTは**条件付きフローマッチング（Conditional Flow Matching: CFM）**の原理を利用します。任意のソース・ターゲット結合（例：最適輸送（OT）プラン）に条件付けることで、損失関数は以下のようになります。

$$\mathcal{L}_\pi(\theta) = \mathbb{E}_{Z \sim \pi, X_t \sim P(\cdot|Z), t \sim U[0,1]} \left[ \frac{1}{2} \left( \|v_\theta - v_q(\cdot|Z)\|^2 + \beta \|v_\theta - v_{\theta_0}\|^2 \right) \right]$$

この定式化は、無条件の目的関数が持つ理論的保証を維持しつつ、推論を加速させるための効率的な結合（OTなど）の使用を可能にします。

数ステップ推論への拡張

このフレームワークは、数ステップの推論を可能にする**平均フロー（Mean Flow: MF）**モデルにも自然に拡張できます。著者らは、MFモデルにおける平均速度場も凸結合の形式に従うことを証明しており、これにより、理論的な正当性を損なうことなく、GFTを1ステップまたは数ステップの生成に適用できることを示しています。

主な貢献

本論文は、主に4つの貢献を挙げています。

1. 理論的収束性： GFTが標準的な仮定の下でターゲット分布に収束すること、および温度 $\beta$ に依存する明示的な収束率を持つことを証明しました。
2. 結合の等価性： GFTが任意のソース・ターゲット結合に対して同等の結果をもたらすことを確立し、推論効率を高めるための学習技術（OTなど）の使用を可能にしました。
3. 数ステップへの拡張： GFTが、理論的保証を損なうことなく、数ステップの推論手法（例：Mean Flow）のファインチューニングへ自然に拡張できることを示しました。
4. 実験的優位性： GFTが、学習の安定性、生成の多様性、および一貫して短い確率パスを提供しながら、他の手法と同等またはそれ以上の生成品質を達成することを、包括的な実験検証によって示しました。

実験結果

著者らは、WILDSベンチマークデータセット（Camelyon17, RxRx1, FMoW）におけるクロスドメインおよびインドメイン適応、ならびに2Dシミュレーションデータを含む複数の設定でGFTを評価しました。

• 安定性と収束性： GFTは、標準的なCFMファインチューニングや報酬ベースの手法（例：Adjoint Matching）と比較して、著しく高い安定性を示しました。指標としての瞬間的な分散、およびエポック数とFIDの間のスペアマン相関は、単調かつ安定した収束を示しました。
• 生成品質： クロスドメイン適応において、GFTは標準的なファインチューニングと同等のFIDスコアを達成しましたが、平均パス長はより短く、これはより効率的な推論を示唆しています。インドメイン適応においては、GFTはフルファインチューニングの精度に匹達しながら、より短いパス長を維持しました。
• 多様性： 2Dの二峰性ガウス分布ターゲットにおいて、GFTと標準的なCFMは高い多様性を持って両方のモードをカバーすることに成功しました。対照的に、Adjoint Matchingのような報酬ベースの手法はモード崩壊を起こし、単一のモード内にサンプルが密集してしまいました。
• 効率性： GFTは、CFMのシミュレーションフリーな学習効率を維持しました。Adjoint Matchingは各ステップで高価なODEシミュレーションを必要とし（結果として学習時間が1桁以上長くなる）、GFTは効率的なままでした。
• 数ステップ推論： Mean Flowモデルに適用した場合、GFTは反復モデルと同等のFIDを達成しつつ、推論時のモデル評価回数（NFE）を50〜100倍削減しました。
• 正則化の制御： 最小温度 $\beta$ を変化させた実験により、最終的なFIDと平均パス長との間の制御可能なトレードオフが明らかになり、ユーザーが生成精度と推論速度のバランスを明示的に調整できることが示されました。

意義と主張

本論文は、GFTを、分布シフト下におけるフローマッチングモデルのスケーラブルな適応のための、シンプルでありながら理論に基づき、かつ実用的に効果的な代替案として位置付けています。

著者らは、GFTが以下の主要な要件を満たすことで、既存の文献における決定的なギャップを埋めると主張しています。

• 理論的に正しい： 制御可能な速度で、正しいターゲット分布に収束することが証明されています。
• 安定している： 非常に単調な収束性を示し、標準的なファインチューニングで一般的な振動や不安定性を回避します。
• 効率的である： CFMのシミュレーションフリーな学習を維持し、OT結合や数ステップ手法による効率的な推論をサポートします。
• 多様である： 報酬ベースのアプローチで見られるモード崩壊を避け、事前学習済みモデルの多様性を保持します。

事前学習の高い品質とファインチューニングの間の溝を埋めることで、GFTは、生成の出力結果に対して微細な制御が求められる複雑なデータ駆動型ドメインへの、堅牢なソリューションを提供します。本研究は、フローベースの生成モデルのスケーラブルな適応のための基礎を築くものです。