技術的サマリー：FREPix

問題定義

潜在空間拡散モデルは、その効率性から画像生成における支配的なパラダイムとなっていますが、構造的なボトルネックをもたらします。すなわち、生成品質は、データを圧縮するために使用される変分オートエンコーダ（VAE）の再構成忠実度によって厳密に制限されるという点です。これにより、表現アーティファクトを回避するために生データを直接操作するピクセル空間生成への関心が再燃しています。しかし、既存のピクセル空間手法の多くは、画像生成を周波数均一なプロセスとして扱っています。これらは単一の状態と共有された補間経路を用いて画像全体をモデル化し、ネットワークに大域構造（低周波数）と微細な詳細（高周波数）の分離を発見させることに暗黙的に依存しています。このアプローチは、これらの周波数成分の固有の統計的性質、エネルギー分布、学習ダイナミクスを見落とし、生成プロセスに不必要に制限的な帰納的バイアスを課しています。

手法：FREPix

著者は、ピクセル空間における画像生成を低周波数成分と高周波数成分に明示的に分解するフレームワークFREPix（FREquency-heterogeneous flow matching、周波数異種フローマッチング）を提案します。この手法は以下の 4 つの主要な革新から構成されます。

1. 周波数分解された状態空間と異種補間

FREPix は、画像 $x_t$ を単一の均一な状態として扱うのではなく、直交離散ウェーブレット変換（DWT）$W$ を用いて状態を再パラメータ化します。これにより、画像は低周波数部分状態 $l_t$（構造）と高周波数部分状態 $h_t$（詳細）に分解されます。
重要なのは、このフレームワークがこれらの部分状態に異種補間経路を割り当てる点です。すべての周波数に単一の共有スケジュールを適用するのではなく、FREPix は低周波数成分と高周波数成分に対して、それぞれ独立した単調増加スケジュール $g_l(t)$ と $g_h(t)$ を定義します。
$$l_t = g_l(t) l + (1 - g_l(t)) \epsilon_l$$
$$h_t = g_h(t) h + (1 - g_h(t)) \epsilon_h$$
これにより、輸送ダイナミクスが、大域構造が微細な詳細が洗練される前に確立されるという画像形成の自然な非対称性を反映できるようになります。著者は、この異種補間が標準的なフローマッチングの原理的な拡張であり、連続性の方程式と学習可能性の妥当性を維持することを証明しています。

2. 明示的なアーキテクチャのデカップリングによる因数分解された生成モデル

分解された輸送が統合された予測問題へと再収束するのを防ぐため、FREPix は明示的にデカップリングされたアーキテクチャを採用します。生成ターゲットは、2 つの専門化されたモジュールに因数分解されます。

• 構造予測器（$f_\phi$）： 雑音混じりの低周波数部分状態 $l_t$ を入力とし、クリーンな低周波数成分 $\hat{l}$ を予測する拡散トランスフォーマ（DiT）です。このモジュールは長距離依存関係と大域セマンティクスを捉えます。
• 詳細リファイナー（$g_\phi$）： 雑音混じりの高周波数部分状態 $h_t$ と、予測された低周波数構造 $\hat{l}$ を条件として入力し、クリーンな高周波数成分 $\hat{h}$ を予測する、軽量でアテンションを含まないデコーダ（DeCo から適応）です。

この設計により、「粗から細」への生成が、暗黙的なアーキテクチャ的傾向から明示的な設計原則へと転換され、高周波数の詳細が確立された低周波数構造に基づいて生成されるという条件付き依存関係が強制されます。

3. 周波数整合フローマッチング目的関数

訓練目的関数は、分解された構造と整合するように調整されます。このフレームワークは、ネットワークのクリーン画像予測（$\hat{x}$）を、異種補間経路に基づいて誘導された速度場に変換します。次に、周波数認識型損失を定義し、低周波数および高周波数の速度誤差に対してそれぞれ時間依存の重み $\lambda_l(t)$ と $\lambda_h(t)$ を適用します。
$$\mathcal{L}_{FA} = \mathbb{E}_{t,x,\epsilon} \left[ \lambda_l(t) \| W_l(v_\theta - v_t) \|^2 + \lambda_h(t) \| W_h(v_\theta - v_t) \|^2 \right]$$
これにより、モデルはターゲットとなる周辺速度場を変更することなく、軌道上の時間経過に応じて最適化の難易度を再調整できます（例えば、軌道の初期段階では低周波数構造を優先し、後段階では高周波数の洗練を優先するなど）。

4. 補助損失

最終的な訓練目的関数は、周波数整合フローマッチング損失に、特徴の一貫性と局所パターンの回復を確保するための表現整合（REPA）損失および LPIPS 知覚損失を組み合わせたものです。

主要な結果

FREPix は、256×256 および 512×512 解像度における ImageNet クラスから画像への生成タスクで評価されました。

• 性能： 256×256 において、FREPix-XL（674M パラメータ）は 320 エポック後にFID 1.91および IS 295.6 を達成します。512×512 においては、FID 2.38および IS 334.7 に達します。これらの結果は、最先端のピクセル空間モデル（DeCo、PixelDiT など）と競合し、ピクセル上で直接動作しているにもかかわらず、潜在空間モデルの性能に迫るものです。
• 訓練効率： このモデルは訓練の初期段階で強力な性能を発揮します。わずか 80 エポック後には FID 2.29 を達成し、同様の段階にある他のピクセル空間ベースラインを上回ります。
• サンプリング効率： FREPix は低 NFE（関数評価回数）領域で優れています。25 ステップのオイラーサンプリング下では FID 2.59 を達成し、DeCo（3.30）や PixNerd（3.28）を大幅に上回ります。
• 計算コスト： FREPix-XL はフォワードパスあたり230 GFLOPsで動作し、最近のピクセル空間手法の多く（例：PixelFlow は 5818 GFLOPs）よりも低く、潜在空間モデル（例：DiT は 238 GFLOPs）と競合するレベルです。これは、品質と計算量のトレードオフが改善されていることを示しています。

意義と主張

本論文は、周波数異種性を明示的にモデル化することが、エンドツーエンドのピクセル空間生成に対してより強力な帰納的バイアスを提供すると主張しています。低周波数成分と高周波数成分の役割を、状態空間、輸送経路、アーキテクチャ、および目的関数において明示的にすることで、FREPix は「粗から細」への生成プロセスを、創発的な行動からハードな設計原則へと変換します。

著者は、このアプローチが以下の点で優れていると述べています。

1. 周波数絡み合いの緩和： 予測ターゲットをデカップリングすることで、モデルは各ブランチが学習しなければならない実効次元と統計的複雑さを低減します。これは、彼らの一般化境界によって支持されています。
2. サンプリング効率の向上： 異種輸送設計は、少ないステップでのサンプリング時に特に有益であり、補間経路を画像周波数の自然な回復順序に整合させることが収束を加速することを示唆しています。
3. 潜在空間に対する実用的な代替案の提供： FREPix は、VAE の表現的ボトルネックを伴うことなく、ピクセル空間生成が競合する品質を達成できることを示しており、かつ潜在空間手法と同等の計算効率を維持しています。

論文は結論として、周波数異種性は将来のピクセル空間生成モデルを設計するための有用な視点であると述べていますが、検討された補間スケジュールの特定のファミリーおよび使用されたウェーブレット分解の固定性に関する限界も認めています。