技術的サマリー：フローマッチングのための関数射影（FP-FM）

問題定義

拡散モデルやフローマッチングによる生成モデルは、高忠実度の合成データ作成において成功を収めています。しかし、多ショット適応（many-shot adaptation）において重大な課題が残されています。これは、追加の学習や微調整を必要とせず、対象分布からのサンプル点のセットのみを用いて、生成モデルを新しい未見のターゲット分布に効率的に適応させる能力です。

従来の条件付き生成は、明示的な条件変数（自然言語プロンプトやクラスラベルなど）に依存することが多いです。既知のクラスに対しては有効ですが、特定の視覚的例（特定の人物の画像生成など）や固定された語彙では容易に記述できない複雑な混合分布によってターゲット分布が定義される場合には、これらの変数は不十分です。さらに、標準的な微調整アプローチは計算コストが高く、新しい分布ごとに勾配ステップを必要とするため、低遅延アプリケーションを阻害します。

著者らは、モデルが訓練中に分布の族 $\{p^\iota_X\}_{\iota \in \mathcal{I}}$ を学習し、訓練中に未見であった $\iota$ に対応する新しい分布 $p^\iota_X$ からサンプルを受け取った際に、効率的にその分布からサンプルを生成しなければならないという設定を提案します。

手法：フローマッチングのための関数射影（FP-FM）

FP-FM の核心となる洞察は、関数エンコーダの視点を用いて、フローマッチングの枠組み内で適応問題を再構成することです。単一の速度場を学習するか、離散変数に条件付ける代わりに、FP-FM は訓練分布によって誘発される速度場の空間を張る基底関数のセットを学習します。

理論的基盤

1. フローマッチング: モデルは、ノイズ分布 $X_0 \sim \mathcal{N}(0, I)$ をターゲット分布 $X_1 \sim p_X$ に輸送する速度場 $v(x, t) = \mathbb{E}[X_1 - X_0 | X_t = x]$ を学習します。
2. 関数空間: 速度場の集合 $\mathcal{V}$ はヒルベルト空間として扱われます。フローマッチングにおける損失関数（平均二乗誤差）は、この空間におけるノルムの二乗に対応します。
3. 基底学習: FP-FM は、訓練分布の速度場を張る $k$ 個の基底関数 $\{g_i\}_{i=1}^k$（ニューラルネットワークとしてパラメータ化）を学習します。
4. 射影による適応: サンプルを与えられた新しいターゲット分布に適応するために、アルゴリズムはターゲット速度場を学習された基底 onto への最小二乗射影を通じて係数 $c_\iota$ を計算します。この射影に必要な内積は、ターゲット分布から提供されたサンプルを用いて近似され、真の速度場を解析的に知る必要を回避します。

3 つの変種

本論文は、表現力と計算コストの間のトレードオフを提供する FP-FM の 3 つの変種を導入します。

1. 静的 FP-FM（Static FP-FM）:

   • 機構: 係数 $c_\iota$ は、ある分布に対して一定です。速度場は $v_\iota(x, t) \approx \sum c_{\iota,i} g_i(x, t)$ として近似されます。
   • 限界: 分布とその速度場の間に線形関係があると仮定します。連続の方程式は非線形であるため、この変種は、訓練速度場の線形結合の外にある未見の分布（混合分布や新しいサポート）に対して困難を抱えます。

2. 時間的 FP-FM（Temporal FP-FM）:

   • 機構: 係数は時間依存となり、$c_\iota(t)$ となります。近似は $v_\iota(x, t) \approx \sum c_{\iota,i}(t) g_i(x, t)$ です。
   • 改善: 係数が時間とともに変化するのを許容することで、モデルは連続の方程式の非線形ダイナミクスをよりよく捉えることができ、未見の分布への汎化性能が大幅に向上します。

3. 動的 FP-FM（Dynamic FP-FM）:

   • 機構: 係数は状態と時間の両方に依存し、$c_\iota(x, t)$ となります。近似は $v_\iota(x, t) \approx \sum c_{\iota,i}(x, t) g_i(x, t)$ です。
   • 実装: これは、すべての状態 $x$ と時間 $t$ において局所的な最小二乗問題を解くことを必要とします。著者らは、真の速度場への直接アクセスを必要とせずに、重要度サンプリングを用いて条件付き期待値 $\mathbb{E}[X_1 - X_0 | X_t = x]$ を効率的に計算するための定理（定理 1）を導出します。
   • 性能: 最も高い表現力を提供し、複雑で未見のサポートや混合分布を高い忠実度でモデル化できます。

主要な貢献

• アルゴリズム的革新: 明示的な条件変数ではなく、ターゲット分布のサンプルそのものに基づいて生成を条件付ける FP-FM を提案し、微調整なしで未見の分布へのゼロショット適応を可能にします。
• 理論的統合: 関数エンコーダとフローマッチングを成功裡に統合し、分布重み付き内積を利用して速度場を学習された基底 onto へ射影します。
• 表現力 - 計算スペクトラム: 静的、時間的、動的な変種を導入し、実務家にモデルの表現力と推論遅延の間の調整可能なトレードオフを提供します。
• 効率的な推定: 動的変種に必要な条件付き期待値のためのモンテカルロベースの推定量（定理 1）を導出し、状態依存の係数計算を実用的なものにします。

実験結果

著者らは、FP-FM を 3 つのデータセットで評価しました。2D アーク（低次元可視化）、MNIST（構造化された画像）、ImageNet（大規模・高次元）です。無条件フローマッチング、条件付きフローマッチング、分類器ガイド、分布ガイド、および標準的な微調整と比較しました。

• 汎化性能: FP-FM の変種は、未見分布（UD）（訓練クラスの混合）および未見サポート（US）（完全に新しいクラスや形状）において、一貫してベースラインを上回ります。
  • 2D アークにおいて、動的 FP-FM は最高精度を達成しました（UD で 0.976、US で 0.734）。混合分布や新しいサポートへの汎化に失敗する微調整や条件付きベースラインを大幅に上回ります。
  • MNIST において、動的 FP-FM は、未見の数字「9」を含むすべての分割において、最高の精度、再現率、FID を達成しました。
  • ImageNet において、動的 FP-FM は未見のクラスに対して最高品質の画像を生成しましたが、メモリ制約と低い表現力により、静的および時間的変種は限界を示しました。
• 効率性:
  • FP-FM は、新しい分布ごとに勾配降下を必要とする微調整よりも大幅に高速です。
  • 動的 FP-FM は、サンプルごとの係数計算により、静的/時間的変種や条件付きモデルよりも計算コストがかかりますが、完全な微調整よりは高速です。
• 指標: 結果は明確な傾向を示しています。係数計算の表現力が増加するにつれて（静的 $\to$ 時間的 $\to$ 動的）、未見分布を捉える能力が向上し、特に精度（データ多様体の過剰近似を回避する点）において顕著です。

意義と主張

本論文は、FP-FM が条件付き生成のための既存のアプローチに対する実用的かつ効果的な代替手段であると主張しています。その主な意義は以下の点にあります。

1. 条件変数の必要性の排除: サンプルのみで定義される分布への適応を可能にし、主題駆動型生成などのタスクにおいてより直感的です。
2. 計算効率: 微調整に必要な高コストな勾配ステップなしに、新しい分布への迅速な適応を可能にします。
3. 未見サポートの処理: 固定された語彙やクラスラベルに依存する標準的な条件付きモデルとは異なり、FP-FM は関数空間の構造を活用することで、スパイラル分布や新しい数字クラスなど、完全に新しいサポートに汎化できます。

著者らは、関数空間の視点を用いてサンプルを明示的に条件付けることが、生成モデルを未見の分布に適応させるための実行可能な第一歩であり、忠実度と計算コストのバランスを取る一連の解決策を提供すると結論付けています。また、性能は提供されるサンプルの数と品質に依存し、単純な条件付きモデルよりもわずかにコストがかかるという限界を認めています。