💻 computer science

CrossFlow: One-Step Generation Across Latent and Pixel Spaces

CrossFlowは、ノイズを含む潜在表現の入力をピクセル空間の出力へと直接マッピングすることで、推論時に個別のデコーダーを必要とすることなく、潜在表現の効率性とピクセル空間での直接的な教師あり学習を組み合わせ、1ステップでの画像生成を可能にする新しいクロス空間フロー定式化を導入する。

原著者： Xiyuan Wang, Xiao Zhang, Yang Li, Ruoxi Jiang, Zhao Zhong, Liefeng Bo, Muhan Zhang

公開日 2026-06-19

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Xiyuan Wang, Xiao Zhang, Yang Li, Ruoxi Jiang, Zhao Zhong, Liefeng Bo, Muhan Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは傑作を描こうとしている画家だと想像してください。しかし、あなたは非常に特殊で、一筋縄ではいかないワークフローを持っています。

旧来の手法：「翻訳者」の問題

現在のほとんどのAI画像生成器は、2段階の翻訳プロセスのように機能しています。

スケッチ（潜在空間）: まず、AIは「潜在空間」と呼ばれる秘密の抽象的な言語を用いて、画像の粗い、圧縮されたスケッチを描きます。これは、一つ一つのピクセルを描くのではなく、太くて単純なストロークで描くようなものなので、効率的です。
翻訳（デコーダー）: 次に、別のツール（「デコーダー」と呼ばれます）が、その粗いスケッチを、高精細な写真へと翻訳しなければなりません。

問題点: スケッチを描くAIは「スケッチ語」を話すように訓練されていますが、そのスケッチを翻訳するツールは「綺麗なスケッチ」を読み取るように訓練されています。しかし、AIが描くスケッチはしばしば雑であったり、不完全であったりします。すると、翻訳ツールは混乱してしまい、最終的な画像がぼやけたり歪んだりしてしまうのです。これは、完璧なフランス語しか話せない通訳者が、話し手がスラングを使ったりタイポ（打ち間違い）をしたりしただけで、つまずいてしまうようなものです。

新しい手法：CrossFlow（「直接描く芸術家」）

この論文は、翻訳プロセスを完全にスキップする新しい手法、CrossFlowを紹介しています。

スケッチを描いてから翻訳するという手順を踏む代わりに、CrossFlowは単一の芸術家であり、乱雑で抽象的なアイデア（ノイズの混じったスケッチ）を受け取り、それを一度の工程で直接、最終的な写真として描き出します。

その仕組みを、簡単な比喩を用いて説明します。

1. 「翻訳なし」の架け橋
通常、AIモデルは一つの言語しか話せない人々のようです。言語A（スケッチ）から言語B（写真）へ移行するには、辞書が必要です。CrossFlowは、言語Aの聞き取りにくい文章を聞いた瞬間に、辞書を介することなく、即座に完璧な言語Bの文章を話すことができる天才的なマルチリンガル（多言語話者）のようなものです。

2. 「ワンステップ」のマジック
ほとんどの画像生成器は、ぼやけた写真を徐々に鮮明にしていくように、画像を洗練させるために多くの小さなステップを踏みます。CrossFlowは「ワンステップ」の生成器です。乱雑な入力を受け取ると、即座に最終的な、鮮明な画像を出力します。これは、暗室でゆっくりと写真を現像していくのと、現代のスマートフォンで瞬時に完璧な写真を撮るのととの違いのようなものです。

3. 「現実的な」ミスを用いた学習
旧来の手法では、「翻訳者」ツールは完璧で綺麗なスケッチを用いて訓練されていました。しかし、現実の世界で受け取るスケッチは雑なものです。CrossFlowは、アーティストが乱雑なスケッチを見ている状態で学習させることで、この問題を解決します。これにより、ノイズを無視し、最終的な写真に集中することを学習します。学習中に最終的な写真を見ることができるため、従来の2段階の手法では容易にできなかった「知覚（これはリアルに見えるか？）」や「敵対的（これは批評家を欺けるか？）」によるチェックからも学ぶことができるのです。

結果

研究者たちは、大規模な画像データセット（ImageNet）を用いてこのテストを行いました。

スピード: わずか1ステップ（1回の関数評価）で画像を生成します。
品質: 優れたマルチステップの手法と同等の鮮明さとリアリティを持つ画像を、より高速に生成します。
汎用性: メインの芸術家として（ゼロから画像を生成する）、あるいはスーパーチャージされた翻訳者として（他のAIシステムが生成した乱雑なスケッチを修正する）機能することができます。

結論

CrossFlowは、傑作を生み出すために必ずしも同じ言語を話す必要はないという事実を突きつけることで、「ミスマッチ」の問題を解決します。粗く圧縮されたアイデアから出発して、直接、見事な高精細画像を出力できるのです。これにより、エラーの原因となる中間プロセスをスキップできます。これは、単純なスケッチで作業するスピードと、最終的な写真で直接作業する品質を両立させているのです。

技術要約：CrossFlow：潜在空間とピクセル空間を跨ぐワンステップ生成

1. 問題提起

現在の最先端の画像生成システム、特に潜在拡散モデル（LDM）やフローマッチング手法は、事前分布、確率パス、および予測対象を単一の表現空間内に定義することで動作しています。LDMは、圧縮オートエンコーダの潜在空間内で生成軌道を計算することで計算効率を向上させていますが、これらは「潜在空間における反復的なデノイジング」と、その後に続く「潜在変数をピクセルへと写像するための個別のデコーディングステップ」という二段階のパイプラインに依存しています。

このアーキテクチャは、根本的なミスマッチをもたらします：

最適化のミスマッチ： 生成器は潜在変数の変位（displacement）を予測するように最適化されますが、最終的な画像の品質は、別途学習されたデコーダーに依存します。
分布のシフト： 推論時、デコーダーは学習時のクリーンな潜在変数とは分布が異なる可能性のある、生成された潜在変数を受け取ります。このシフトは誤差を増幅させる可能性があります。
監督（Supervision）の制限： 生成器の出力が個別のデコーダーを経由しない限り、画像レベルの知覚的損失や敵対的損失を用いて直接学習することができないため、ピクセル空間における直接的な監督が弱められます。

本論文は、「ノイズ空間と出力空間は同一である必要があるのか？」という問いを立て、潜在表現の効率性を維持しつつ、画像そのものを直接予測するフレームワークを提案しています。

2. 手法：CrossFlow

CrossFlowは、ノイズを含んだ潜在入力を、単一の関数評価によってピクセル空間の画像へと直接写像する、クロス空間フロー定式化です。これは、潜在空間の速度（velocity）を目的関数から排除することで、空間のミスマッチを解決します。

核となる技術的定式化：

統一フレームワーク： 著者らは、シングルステップの生成パラダイムのための統一されたターゲット関数 $Z$ を定義します。標準的な手法は潜在空間の速度場に依存していますが、これはクロス空間生成を妨げます。
設計基準： クロス空間での監督を可能にするために、著者らは以下の2つの基準を確立しています。
1. 潜在速度への依存の排除： 目的関数は潜在空間の速度から構造的にデカップルされていなければなりません。ネットワークの出力は、潜在変数の変位ベクトルであってはなりません。
2. 終端境界条件： フレームワークは、目的地となる境界（ $r=0$ ）において有効な画像を出力しなければなりません。
CrossFlowの目的関数： これらの基準を満たすことで、著者らは、ネットワーク $F_\theta$ $F_{θ}$ が潜在速度ではなくピクセル空間の画像 $x_0$ $x_{0}$ を予測する一般的な損失関数（式10）を導出しました。
- 潜在軌道（ $\alpha(t)$ および $\beta(t)$ によって定義される）は、入力となるクリーンな潜在変数がどのように汚染されるかを依然として規定します。
- 監督対象は、クリーンなピクセル画像です。
- 実験で使用される特定の目的関数（式11）は、潜在軌道に沿ったヤコビアン・ベクトル積（JVP）を介して計算される時間微分項を含んでおり、これによりモデルは潜在速度を予測することなく、正しいフローのダイナミクスを学習します。

実装の詳細：

アーキテクチャ： モデルは、画像を潜在変数に写像するための固定された学習済み画像エンコーダ（VA-VAE）と、ノイズを含んだ潜在からピクセルへ直接写像するVision Transformer（ViT）生成器（ $F_\theta$ ）を使用します。
学習パイプライン： 安定性を確保するために、二段階のアプローチを使用します。
1. 標準的なオートエンコーダの目的関数（再構成＋敵対的損失）を用いてエンコーダ $E$ を学習する。
2. $E$ を凍結し、CrossFlowの目的関数を用いて生成器 $F_\theta$ をゼロから学習する。
損失関数： 全体の目的関数は、解析的なCrossFlow損失と、ピクセル空間の補助損失を組み合わせたものです。
- L1 再構成損失： ピクセル単位の整合性。
- 知覚的損失（Perceptual Loss）： 構造的な類似性。
- 敵対的（GAN）損失： 高周波成分の忠実度。
- 注：学習の不安定性を防ぐため、知覚的損失の計算時には、フロー目的関数からの解析的な重み付け係数は除外されます。

3. 主な貢献

クロス空間フレームワーク： 入力事前分布（潜在変数）と出力画像（ピクセル）が異なる表現空間に存在する、ワンステップ生成フレームワークであるCrossFlowの導入。
速度フリーのワンステップ目的関数： モデルが、ワンステップの潜在・ピクセル生成器およびデコーダーの代替として機能することを可能にする新しい導出。これにより、推論時の個別のデコーダーの必要性を排除します。
直接的なピクセル空間の監督： 中間デコーダーの段階を経ることなく、生成された画像に対して知覚的および敵対的な損失を用いて生成器を直接学習できる能力。
実証的検証： 単一の関数評価（1-NFE）でImageNet-1k (256×256) において競争力のあるFIDスコアを達成し、標準的なワンステップ潜在手法を凌駕し、マルチステップ潜在拡散のベースラインに匹敵することを実証。

4. 実験結果

実験は、クラス条件付き生成を用いて、ImageNet-1k (256×256 解像度) で行われました。

主要なパフォーマンス：
- CrossFlow-XL (461M パラメータ) は、1-NFE で FID 1.62 を達成しました。
- これは、DiT-XL/2 (250ステップで 2.27 FID) や SiT-XL/2 (250ステップで 2.06 FID) といったマルチステップ潜在拡散のベースラインに匹敵します。
- 他のワンステップ潜在手法（例：iMF-XL/2 の 1.72 FID）を大幅に上回り、個別のデコーダーを必要としません。
- CrossFlow-B (95M) および CrossFlow-L (315M) は、それぞれ 2.54 および 1.69 の FID を達成しており、スケーラビリティを示しています。
アブレーション研究：
- エンコーダの選択： VA-VAE エンコーダ（32チャンネル）が最高の性能（2.54 FID）を示し、SD-VAE (4.08 FID) や FLUX.2 (3.81 FID) を上回りました。これは、潜在表現の構造が極めて重要であることを示唆しています。
- 損失の構成要素： 知覚的損失を除去すると FID が 30.21 まで悪化し、敵対的損失を除去すると 8.86 まで低下しました。CrossFlow のフロー目的関数が構造的な信号を提供する一方で、知覚的および敵対的損失が高周波の忠実度には不可欠です。
- デコーダーの代替： LightningDiT-B/1 から生成された潜在変数のデコーダーとして使用した場合、CrossFlow は学習を通じて標準的な VA-VAE デコーダーよりも一貫して FID を改善しました。

5. 意義と主張

本論文は、CrossFlow が潜在表現の効率性と、直接的なピクセル空間の監督による忠実度の間のギャップをうまく埋めたと主張しています。生成器とデコーダーを、ノイズを含む潜在入力とピクセル空間のターゲットに対して学習される単一のモデルへと統合することで、CrossFlow は以下を実現しました：

推論時における明示的なデコーダーステージの除去。
生成中に発生する、クリーンなエンコーダ出力ではなく、ノイズを含んだ不完全な潜在変数に対して、モデルを学習中にさらすこと。
クロス空間フロー目的関数が、潜在拡散の計算上の利点と、直接的なピクセルレベルの敵対的・知覚的学習による品質向上を組み合わせられることを実証。

著者らは、潜在表現と補助損失が重要であるとしつつも、核心的な貢献は、個別のデコーダーモジュールを必要とせずにワンステップのクロス空間生成を可能にする、アーキテクチャおよび目的関数の転換にあるとして、控えめなトーンを維持しています。