技術要約: SEFI-Image

問題提起

基礎的なテキスト・トゥ・イメージ（T2I）モデルの学習は、最先端のモデルが数十万GPU時間を必要とするなど、ますますリソース集約的になっています。これまでの手法は、セマンティックなガイダンスを活用して学習を加速させようと試みてきましたが、それらは主に単純な低解像度のデータセット（例：ImageNet 256×256）や小規模なモデル（1Bパラメータ未満）でのみ検証されてきました。重要な未解決の問いは、セマンティックなガイダンス・メカニズムが、より大規模なモデル、高解像度、そして複雑で実用的なT2Iの設定においても有効であり続けるのかという点です。さらに、既存の手法は潜在拡散モデルにおける根本的なトレードオフに苦慮することがよくあります。すなわち、高い再構成忠実度には複雑な潜在分布が必要ですが、それはモデリングが困難であり、一方で簡略化された潜在空間は画像品質を犠牲にする傾向があります。

手法: Semantic-First Diffusion (SFD)

本論文では、新しい潜在拡散パラダイムである**Semantic-First Diffusion (SFD)**に基づいたT2I基礎モデル、SEFI-Imageを提案しています。核心となる革新は、デノイジング（除去）プロセスを非同期のセマンティック・ストリームとテクスチャ・ストリームへと分離することにあります。

1. コア・メカニズム

すべての情報を単一のタイムステップ・スケジュール下でデノイズする従来の潜在拡散モデルとは異なり、SFDはセマンティックな要因（グローバルな構造、オブジェクトのレイアウト）とテクスチャの要因（高周波の詳細）を分離します。

• 非同期タイムステップ: モデルは、個別のタイムステップ $t_s$（セマンティック）と $t_z$（テクスチャ）を割り当てます。セマンティック潜在変数は、テクスチャ潜在変数よりもわずかに早く（$t_s \ge t_z$）デノイズされるように設計されており、これによりテクスチャ生成が常に「よりクリーンな」構造的アンカーに基づいていることを保証します。
• 3フェーズ推論:
  1. セマンティック初期化: セマンティック潜在変数のみをデノイズし、グローバルな構造を確立します。
  2. 非同期生成: 両方のストリームがデノイズを行いますが、セマンティクスが先行してテクスチャの洗練をガイドします。
  3. テクスチャ補完: セマンティクスが完全にデノイズされた後、テクスチャ潜在変数が微細な詳細を洗練させます。
• デュアル・タイムステップ・コンディショニング: Diffusion Transformer (DiT) バックボーンは、両方のストリームに対して個別のタイムステップ埋め込みを受け入れ、モデルが各ステップにおける非同期なノイズレベルを認識できるようにします。

2. アーキテクチャ構成要素

• 複合潜在構造 (Composite Latent Construction):
  • セマンティック潜在変数 ($s_1$): 凍結されたビジュアル基礎モデル（DINOv2-Large）を介して抽出され、Semantic VAE (SemVAE) によって圧縮されます。これは、オブジェクトのアイデンティティとシーンの構造を捉えます。
  • テクスチャ潜在変数 ($z_1$): Texture VAE（ファインチューニングされたFLUX.2 VAE）によって画像から直接エンコードされます。これは、低レベルの再構成詳細を捉えます。
• テキストエンコーダー: 複雑で長い、およびバイリンガル（中国語/英語）のプロンプトを処理するために、Qwen3-VL（生成モデルのサイズに応じて2Bまたは4Bバリアント）のLLMバックボーンを利用します。
• DiT バックボーン: 複合潜在変数とデュアル・タイムステップを受け入れるように適応された、ダブルストリームMMDiTブロックとシングルストリームブロックを含むFLUX.2スタイルのアーキテクチャを採用しています。

3. 学習パイプライン

学習プロセスは以下の3つのステージで構成されます。

1. 事前学習: 4億5千万の内部画像・テキストペアと、2,800万の合成テキストレンダリング・データを使用します。カリキュラムは256pxから1024pxへと進行します。合成データは、テキストレンダリングにおける厳密な文字レベルの整合性に焦点を当てています。
2. 継続学習: 指示への追従性を高めるため、1024pxにおいて精選された900万の高品質な混合データ（自然景観、UI、アニメなど）を用いて学習します。
3. 教師あり微調整 (SFT): 美学、技術的品質、およびキャプション可能性に基づく厳格なフィルタリングを適用した、約65万枚の高品質画像を使用します。この段階では、ハードなプロンプトと正確なテキストレンダリングを重視します。
4. 蒸留および強化学習 (RL):
   • 数ステップ蒸留: DMD2を使用して、セマンティック・ファーストのオフセットを維持しながら、SFTモデルを4ステップの「Turbo」バリアントへと蒸留します。
   • RLポストトレーニング: プロンプトへの追従性、視覚的品質、およびアーティファクトの抑制を鋭敏にするために、DiffusionNFTが適用されます。

主な貢献

1. スケーラブルなSemantic-First Diffusion: 本論文は、SFDが小規模モデルや玩具のようなデータセットに限定されないことを証明しています。SFDは1B、2B、5Bパラメータのモデルへと正常にスケールし、高解像度のT2I生成においてその有効性を維持しています。
2. リソース効率: 最大の5Bモデルは、わずか125K A800 GPU時間で学習されました。これはZ-Imageに使用された計算量の約10〜20%に相当しますが、同等または優れた性能を達成しています。
3. 再構成と生成のトレードオフの解決: セマンティクスとテクスチャを分離することで、SFDは、複雑な潜在空間に伴う収束速度の低下を招くことなく、Texture VAEを再構成忠実度のために積極的にファインチューニングすることを可能にします（KodakにおけるPSNRを33.18から36.40に向上）。
4. 包括的なモデルファミリー: 3つのモデルスケール（1B、2B、5B）とその対応するTurboバリアントのリリースにより、多様なハードウェア予算に応じた柔軟なデプロイメント・オプションを提供します。

パフォーマンス結果

SEFI-Imageは、強力なベースライン（Qwen-Image, Z-Image, FLUX.2-Klein-9B, JoyAI-Image）に対して複数のベンチマークで評価されました。

• GenEval & DPG: 5Bモデルは、GenEvalの総合スコアで0.88を達成し、Qwen-Imageに並び、FLUX.2-Klein-9B (0.85) および Z-Image (0.84) を上回りました。特筆すべきは、1Bバリアントも0.87を達成しており、小規模なスケールでも強力な構成的推論能力を示していることです。
• 長文テキストレンダリング (LongTextBench): 5Bモデルは、最高平均スコア（0.978）を記録し、Qwen-ImageおよびJoyAI-Imageを凌駕しました。
• 視覚的テキスト生成 (CVTG-2K): 5Bモデルは、0.8947の単語精度（Word Accuracy）と0.9434のNEDを達成し、最強のベースラインを上回りました。
• バイリンガル指示 (OneIG): 5Bモデルは、英語（0.5606）と中国語（0.5379）の両方のベンチマークにおいて最高の総合スコアを達成しました。
• スケーリング挙動: 実験により、2BのSFDモデルが4Bの非SFDモデルを凌駕できることが示されており、これはパラメータ効率の向上を示唆しています。

意義と主張

著者らは、SEFI-Imageが、T2I基礎モデルを構築するための、原理に基づいたリソース効率の高いパラダイムを提供すると主張しています。本研究は、セマンティックなガイダンスが小規模なモデルやクラス条件付きのタスクにのみ有効であるという概念に異を唱えるものです。セマンティックなレイアウトとテクスチャ合成を分離することにより、モデルは優れた再構成・生成のトレードオフを実現し、計算コストを大幅に削減しながら、迅速な収束と高品質な生成を可能にしています。

本論文は、SEFI-Imageを、実用的で即座に展開可能なソリューションとして位置付けています。また、現在のモデルは強力ではあるものの、（ハードウェアの制約による）5Bパラメータの制限および学習データの規模によって制限されており、モデルサイズ、データの多様性、およびビデオ生成や画像編集への応用における将来のスケーリングの余地があることを明記しています。