技術的概要：フローマッチングのためのシャープネス感知サンプリング

問題定義

フローマッチングモデルは、学習された速度場を数値的に積分することで、ノイズ分布からデータ分布へサンプルを輸送し、サンプルを生成する。実用的な設定、特に高次元の画像および動画生成においては、サンプリングのコストはニューラルネットワークの評価回数（NFE）によって支配される。したがって、主要なボトルネックは漸近的なソルバの精度ではなく、固定された少量の評価予算内で生成されるサンプルの品質である。

古典的な数値解析では、精度を向上させるために高次ソルバまたは適応型ソルバの使用が示唆されるが、これらのアプローチはしばしば大きなオーバーヘッドを伴うか、ステップごとに追加のモデル評価を必要とする。実用的なサンプリャは、通常、Forward Euler ソルバのような単純な固定予算方式に依存する。本研究が扱う中心的な問いは、固定予算 $B$ の Euler ステップが与えられたとき、サンプリャはこれらのステップをどこに割り当てることでサンプル品質を最大化できるかという点である。

既存の戦略、例えば均一なスケジュールや情報理論的な再パラメータ化（例：エントロピック時間スケジューラ）は、学習された速度場の特定のダイナミクスを明示的に考慮していない。本論文は、最適な割り当ては学習されたベクトル場が最も急激に変化する場所（つまり、軌跡が「シャープ」な場所）に依存すると仮定する。

手法：SharpEuler

著者は、事前学習済みフローマッチングモデルのための時間ステップスケジュールを構築する、トレーニング不要かつソルバ感知型の手法 SharpEuler を提案する。この手法は 2 つの段階で動作する。

1. オフライン較正段階

サンプリング中にオンラインでステップサイズを適応させる（これによりコストが増加する）のではなく、SharpEuler は少数の代表的な較正軌跡を用いてモデルをオフラインでプロファイリングする。

• シグナル推定: 手法は較正セット上で微細な Euler 軌跡を実行し、連続する速度評価の有限差分を計算する。これは Euler 積分の局所打切り誤差を制御する軌跡の加速度 $\ddot{x}(t)$ の代理となる。
• プロファイル構築: 加速度推定値は較正セット全体で平均化され、ノイズを低減するためにガウスカーネルで平滑化され、その後、シャープネスプロファイル $I_\gamma(t)$ を形成するためにべき乗 $\gamma$ に昇格される。
• グリッド生成: このプロファイルは正規化され、量子化変換（逆 CDF）を介して単調な時間グリッドに変換される。このグリッドは推論開始前に固定される。

2. オンラインサンプリング段階

推論時、サンプリャは較正済みのグリッド上で標準的な Forward Euler 積分を実行する。

• コスト: モデル評価の回数は均一な Euler サンプリャと全く同じ $B$ である。
• メカニズム: 唯一の違いは時間ステップの配置である。「シャープ」な領域（高い加速度）はより高密度な時間ステップを受け取り、滑らかな領域はより少ないステップを受け取る。
• ソルバ感知: この手法は Euler ソルバのために特別に設計されており、Euler の局所打切り誤差がステップサイズの 2 乗と軌跡加速度に比例するという事実を利用する。

理論的正当性

本論文は SharpEuler を 3 つの異なる原理を通じて正当化する。

1. 数値的原理（局所打切りと後方誤差）:

   • Euler 法の局所打切り誤差の分析により、主要な誤差項が $h^2 \|\ddot{x}(t)\|$ に比例することが明らかになる。
   • 後方誤差解析により、Euler によって解かれる修正方程式における主要なバイアスもまた軌跡加速度 $\ddot{x}(t)$ によって駆動されることが確認される。
   • したがって、より多くのステップを高加速度領域に割り当てることで、主要な離散化誤差を最小化できる。

2. 変分原理（最適割り当て）:

   • 著者は時間ステップの割り当てを変分問題として定式化する。Euler 誤差の代理に基づくリスク目的関数を最小化すると、時間ステップスケジュールに対してべき乗則密度が導かれる。
   • 具体的には、蓄積された Euler リスクを最小化することで、密度 $\rho(t) \propto \|\ddot{x}(t)\|^{1/2}$ が得られる。これは SharpEuler の定式化における平方根の場合（$\gamma = 0.5$）に対応する。

3. 統計的原理（安定性）:

   • 本論文は、経験的に較正されたスケジュールが、較正軌跡の数が増加するにつれて、最適な「オラクル」スケジュール（母集団の加速度プロファイルに基づく）に収束することを示す統計的安定性の保証を提供する。
   • 誤差 bound は、数値的サンプリング誤差（$O(1/B)$ としてスケーリング）と有限較正誤差を分離しており、限られた較正セットであっても手法が安定して機能することを示している。

主要な貢献

• SharpEuler アルゴリズム: 速度場のシャープネスのオフライン推定に基づいてステップを再割り当てすることで、固定予算 Euler サンプリングを改善する、トレーニング不要かつソルバ感知型のスケジューリング手法。
• 理論的枠組み: 数値解析（Euler 誤差）、変分計算（最適密度導出）、統計的学習理論（収束保証）を統合した統一された正当化。
• 実証的検証: 合成分布および大規模なテキストから画像へのモデル（FLUX.1-dev）における実証により、計算コストを増加させることなくサンプル品質が向上することを示す。

実験結果

著者は SharpEuler を 2 つの側面で評価する。

1. 合成分布（2 次元）:

   • データセット: 分岐多様体（細く曲がった構造の解像度をテスト）および回転グリッド（モード間リークなしでのモードカバレッジをテスト）。
   • 発見: 低予算（例：$B=8$）において、均一およびエントロピック時間スケジューラ（ETS）のベースラインは、解像度不足とモードリークに苦しむ。SharpEuler はカバレッジ（サポートカバレッジ）と密度（サンプル忠実度）を大幅に改善する。
   • 指数の調整: 指数 $\gamma$ はトレードオフを制御する。Euler リスク最小化から導出された $\gamma=0.5$ は、最良の全体的な分布一致（最低のワッサーシュタイン距離）を提供する。より高い値（例：$\gamma=1.0$）はステップをより攻撃的に集中させ、局所的忠実度を向上させるが、カバレッジを低下させる可能性がある。

2. テキストから画像への生成（FLUX.1-dev）:

   • 設定: 1024x1024 解像度の 120 億パラメータの整流フロー変換器。SharpEuler は 64 プロンプトで較正され、80 個の保持済みプロンプトでテストされた。
   • 指標: デフォルトの FLUX パイプラインおよび RMSE、FID、CLIP スコア、GPT-5.5 視覚ジャッジを使用したシフト済みスケジュールと比較。
   • 発見: SharpEuler（$\gamma=0.5$）は、すべての予算（$B \in \{8, 12, 16, 20\}$）においてベースラインを一貫して上回る。
     • RMSE/FID: 50 ステップの基準と比較して、ピクセルレベルの偏差と分布の不一致が大幅に減少した。例えば、$B=12$ において、FID は均一（104.77）から SharpEuler（48.65）へ低下した。
     • 知覚的品質: 視覚ジャッジは、$B=16$ におけるペアワイズ比較の 100% で、デフォルトパイプラインよりも SharpEuler の画像を好んだ。これは、シーンの構成、物体の構造、および微細な詳細のより良い保持を理由とした。

意義と主張

本論文は、効率的なフローサンプリングはソルバの選択だけでなく、評価がどのように配置されるかに決定的に依存すると主張する。SharpEuler は、学習されたダイナミクスに適応してステップ配置を調整することで、固定コストの Euler サンプリャがモデルの再トレーニング、追加のソルバ段階、推論中の計算コストの増加を必要とせずに、ほぼ最適な性能を達成し得ることを示している。

著者は SharpEuler を、ソルバ次数やトレーニング時のパス正則化に焦点を当てた既存の手法を補完するアプローチとして位置づけている。適応性を安価なオフライン較正段階へ移行させることで、SharpEuler は、標準的な均一スケジュールが複雑な軌跡ダイナミクスを解像できない低予算領域において、高次元生成タスクに対する実用的なプラグアンドプレイ型改善を提供する。

著者が指摘する限界:

• この手法は、事前学習済みモデルがトレーニング時またはデフォルトの展開グリッドとは異なるグリッド上で正確にサンプリング可能であると仮定している（過度に蒸留されたモデルには適用されない可能性がある）。
• これはソルバ固有であり、Forward Euler 更新のために最適化されている。高次ソルバには異なる誤差指標が必要となる可能性がある。