💻 computer science

Divergence-Suppressing Couplings for Rectified Flow

本論文は、学習された速度場の発散成分を抑制して歪んだ軌道を直線化することにより、推論コストを増加させることなく合成データおよび画像ベンチマークの両方において生成品質を向上させる、Rectified Flow に対するオフライン補正手法を提案する。

原著者： Yimeng Min, Carla P. Gomes

公開日 2026-05-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yimeng Min, Carla P. Gomes

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたが、無作為なノイズという空白のキャンバスから、チェッカーボードや顔のような完璧な絵を描くようにロボットを教えようとしている状況を想像してください。

問題：「ぐらつく」経路
この論文は、**整流流（Rectified Flow）**と呼ばれる技術について論じています。これは、ロボットのための GPS 航法システムと考えることができます。目標は、「ノイズ（出発点）」から「絵（到着点）」への、最もまっすぐで直接的な道を見つけることです。

この技術の標準的なバージョンでは、ロボットは地図を学習します。しかし、ときどきその地図は少し乱雑です。地図上の道は、絡み合ったヘッドフォンのようにねじれたり、曲がったり、互いに交差したりします。ロボットがこれらのねじれた道に従おうとすると、混乱します。迂回したり、目的地を過ぎ去ったり、間違った地区（黒いマス目に描くべき場所に白いマス目を描くなど）に到達したりするかもしれません。

著者たちは、これらの「ねじれ」が**発散（divergence）**と呼ばれる何らかの原因で起こることを発見しました。簡単に言えば、ロボットの経路が川だと想像してください。

発散とは、川が突然広がる（拡大する）または狭まる（収縮する）区間のようです。
川が広がると、水は広がり、ロボットは余分な空間で迷子になります。
川が狭まると、水は押しつぶされ、ロボットがいてはいけない場所に押し込まれます。
これらの拡大と収縮がロボットの経路を曲げ、歪ませ、最終的な絵をぼやけさせたり、不正確にしたりします。

解決策：「発散抑制」フィルター
この論文は、DS-RectFlowと呼ばれる新しい手法を紹介しています。

ロボットの学習プロセスを、絵を描くことを学ぶ生徒だと考えてください。

古い方法： 生徒は、地図上の乱雑でねじれた道に従って練習します。描くことは学びますが、地図自体に欠陥があるため、同じ間違いを繰り返してしまいます。
新しい方法（DS-RectFlow）： 生徒が練習する前に、教師（新しいアルゴリズム）が地図を確認します。教師は、川が広がりすぎたり狭まりすぎたりする部分を見つけます。そして、教師は生徒の出発点を優しく横に少しずらし、川のもっと滑らかでまっすぐな部分へ導きます。

重要なのは、教師が地図そのものを変更しないことです。地図（AI モデル）は全く同じままです。教師が変えるのは、各練習セッションにおいて生徒がどこから旅を始めるかだけです。よりまっすぐな経路から出発することで、生徒ははるかにクリーンで直接的なルートを学習します。

魔法のトリック：「無料の」速度
通常、ロボットをより速く、またはより正確に動かそうとすれば、より強力なエンジン（より多くの計算能力）を与えたり、各ステップでより深く考えさせたりする必要があります。

しかし、この論文は「魔法のトリック」を主張します。

「押しやり」（ねじれをチェックし、出発点を調整すること）は、ロボットが学習しているトレーニング段階で一度だけ行われます。
一度ロボットが学習を終えると、その押しやりは忘れられます。
実際にロボットに絵を描くよう頼むとき（推論時）、それは古い乱雑なバージョンと全く同じ速度で動作します。追加の計算を行う必要も、追加のステップを踏む必要もありません。

結果
著者たちは、この手法を単純な 2 次元の形状（チェッカーボードなど）や、CelebA の顔や CIFAR-10 の車などの実画像でテストしました。

画質の向上： 生成された絵は、はるかに鮮明で正確になりました。
ステップ数の削減： ロボットは、20 回の小さなステップを必要とする代わりに、たった1 ステップ（単一のジャンプのようなもの）で高品質な画像を生成できました。
追加コストなし： 「修正」はトレーニング中のみ適用されるため、最終製品は元のものと同じ速さで使える一方、はるかに優れています。

要約
この論文はこう述べています。「現在の AI 画像生成器が時として遅かったり、ぼやけたりする理由は、内部の『道』があまりにも曲がりくねっているからです。私たちは、AI が学習している間にその道々を滑らかにする方法を見つけました。そうすることで、学習が終わった時点で、追加の燃料を必要とせずに、まっすぐかつ高速に走行できるようになります。」

技術的サマリー：整流流のための発散抑制結合

問題定義

整流流（RectFlow）は、直線的な軌道を持つ速度場を学習することで生成モデルの加速を目指し、少数、あるいは単一の数値積分ステップ（NFE）で高品質なサンプル生成を可能にします。この手法は、独立した結合で訓練されたベースモデルが新しいソース - ターゲット対を生成し、それらがより直線的な速度場を持つモデルの再訓練に使用されるという、反復的な「リフロー」プロセスに依存しています。

しかし、本論文は根本的なボトルネックである結合歪みを特定しています。実際には、ベースモデルによって生成された軌道はしばしば曲がり、絡み合います。この歪みは、学習された速度場における非ゼロ発散の領域と頻繁に関連しています。これらの領域では、局所的な膨張または収縮が軌道を広げたり圧縮したりし、粒子を理想的な終点から遠ざけます。その結果、再訓練されたモデルはこれらの誤差を継承し、追加のリフローラウンドは効果が逓減します。なぜなら、モデルは実質的にすでに曲がった輸送を「リフロー」しているからです。RectFlow の有効性を制限しているのは、訓練損失やモデル容量ではなく、結合対を生成するために使用される前方積分器の品質です。

手法：DS-RectFlow

著者は、DS-RectFlow（発散抑制整流流）を提案します。これは、訓練目的、モデルアーキテクチャ、または推論手順を変更することなく、リフロープロセス中にクリーンな結合対を生成するように設計されたオフライン補正手法です。

中核メカニズム

この手法は、軌道の曲がり（結合歪み）が速度場の圧縮性成分によって駆動されているという観察に基づいています。ヘルムホルツ分解を用いて、速度場 $v$ は、発散のない輸送部分 $u$ と、場のすべての圧縮性を担う双極子部分 $\nabla \phi$ に分割されます。論文は、発散の大きさ $|\nabla \cdot v|$ を抑制することが軌道を直線的に保つと主張しています。

発散抑制積分器

結合対のオフライン生成（「リフロー」ステップ）の間、DS-RectFlow は標準的なオイラー積分器を発散抑制オイラー積分器に置き換えます：

状態補正: 各積分ステップにおいて、現在の状態 $x_t$ から直接進行する代わりに、推定された発散 $|\hat{\nabla} \cdot v_\theta(x^*_t, t)|$ が最小化される近傍の状態 $x^*_t$ を検索します。
ハッチンソン推定: 高次元における正確な発散計算の高コストを回避するため、この手法はハッチンソンのトレース推定器を用いて $\nabla \cdot v$ を近似します。現在の状態の周りに $m$ 個のガウス摂動を生成し、推定された発散の大きさを最小化する候補を選択します。
積分: オイラーステップは、元の修正されていない速度場を用いて、この補正された状態 $x^*_t$ から計算されます： $x_{t+\Delta t} = x^*_t + v_\theta(x^*_t, t) \cdot \Delta t$ 。

実装詳細

オフラインのみ: 補正は、再訓練用の結合データセットの生成中にのみ適用されます。
推論: 最終的に訓練されたモデルは、追加の計算オーバーヘッドなしに単純なオイラー積分を使用して展開されます。発散抑制ロジックは推論時には存在しません。
予算制御: 補正は時間 $t_{stop}$ （通常は 0.5）までのみ適用され、探索半径パラメータ $\delta$ によって制御されます。

主要な貢献

RectFlow の限界の診断: 本論文は、ベースモデルによって生成された結合の品質、特に非ゼロ発散による軌道の圧縮/膨張の存在が、RectFlow が単一ステップ生成という理論的潜在能力を達成することを妨げる主要なボトルネックであると特定しました。
オフライン補正戦略: 結合生成中に速度場の発散成分を減衰させる新しいオフライン補正を導入しました。推論時の改良（高次ソルバーやガイダンスなど）とは異なり、この手法は補正コストを完全に訓練データ生成フェーズへ移行させます。
ゼロ推論オーバーヘッド: この手法は、展開中に標準的な RectFlow と同一のウォールクロックコストで実行されるモデルをもたらします。なぜなら、推論パスは単純なオイラーステップのままだからです。
複合効果の回復: クリーンな結合対を提供することで、DS-RectFlow は整流が約束する「複合」効果を回復させます。これは、各リフローラウンドが場の直線性を著しく改善する現象であり、標準的な RectFlow では蓄積された歪みのためにしばしば失われていました。

実験結果

著者は、DS-RectFlow を 2 次元合成ベンチマークおよび画像生成タスク（CIFAR-10、CelebA-64）で評価しました。

2 次元ベンチマーク（チェッカーボードおよび GMM）:
- チェッカーボードベンチマークにおいて、DS-RectFlow はバニラ RectFlow に比べてスライスド・ワッサーシュタイン距離（SWD）を大幅に削減しました。$NFE=1$ で SWD は 0.102（バニラでは 0.165）を達成し、実質的に 20 ステップのフローマッチングベースラインの性能を単一ステップで達成しました。
- GMM 交差ベンチマークにおいて、DS-RectFlow は最初は低 NFE でより高い誤差を示しますが（複雑なモード割り当ての決定をより忠実に捉えるため）、急速に優れた性能に収束します。2 回目のリフローラウンド（ $k=2$ ）までに、$NFE=1$ における SWD はバニラ RectFlow に比べて 3 倍改善されました。
- 可視化は、DS-RectFlow がより鮮明で分離されたモードを生成し、禁止領域への「漏れ」サンプルが減少することを確認させます。
画像生成（CIFAR-10 および CelebA-64）:
- CIFAR-10: DS-RectFlow はすべての NFE 予算で一貫して低いフレレッチ・インセプション距離（FID）を達成しました。オイラー -20 オフラインソルバーを使用すると、$NFE=1$ で FID は 17.41 から 12.03 に低下し（相対的に 31% の改善）、特に $NFE=1$ の DS-RectFlow モデルは、スイープ内のすべての NFE ステップにおけるバニラモデルを上回りました。
- CelebA-64: 同様の傾向が観察されました。$NFE=2$ で、DS-RectFlow は FID 4.90 を達成し、すべての NFE におけるバニラモデルの最高性能（$NFE=20$ で 5.64）を上回りました。
- 結果は、オフライン補正が直接、高品質な単一ステップ生成が可能なモデルへと転移することを示しています。

意義と主張

本論文は、結合の品質が、訓練容量や推論予算ではなく、RectFlow の主要なボトルネックであると主張しています。発散誘起歪みをオフラインで処理することで、DS-RectFlow は整流が約束するが実際にはめったに提供されない複合的な改善を可能にします。

著者は、このアプローチが実用的な利点を提供することを強調しています。発散修正された積分器の利点（より直線的な軌道、より良いモードアライメント）を提供しながら、標準的な RectFlow のゼロ遅延推論プロファイルを維持します。補正はデータ生成中に支払われる一回のコストであり、訓練実行全体で償却されます。論文は、このメカニズムが、発散するドリフト成分がサンプル品質を劣化させるあらゆる場所において、確率的補間や最適輸送フローマッチングなどの他のフローベース手法にも適用可能であると示唆しています。