DIAMOND: Directed Inference for Artifact Mitigation in Flow Matching Models

テクニカル・サマリー：DIAMOND – フロー・マッチング・モデルにおけるアーティファクト軽減のための指向的推論

問題提起
最新のテキスト・トゥ・イメージ（text-to-image）モデル、特に直列化フロー（Rectified Flow）アーキテクチャ（例：FLUX.2）や拡散モデル（例：SDXL）に基づくモデルは高い忠実度を誇る一方で、生成された画像には構造的および解剖学的なアーティファクト（不自然な造形）が頻繁に発生します。これらには、歪んだ手、余分な手足、崩れた顔、誤ったテキストなどが含まれます。既存の軽減戦略には、以下のような重大な限界があります：

• 事後的な精緻化（Post-hoc refinement）: 生成後に画像を修正する手法は、コアとなる生成プロセス中の介入に失敗することが多い。
• 侵襲的な修正（Invasive modifications）: モデルの微調整（fine-tuning）やLoRAウェイトを必要とする技術は、計算コストが高く、スケーラビリティに欠け、現代的なアーキテクチャに対して公開されているウェイトが不足していることが多い。
• ヒューリスティックの限界: リアルタイムの検出手法は、多くの場合、ヒューリスティックな閾値やランダムな潜在変数の置換に依存しており、正確な位置特定や最適ではない修正につながる。

手法
著者らは、DIAMOND（Directed Inference for Artifact Mitigation in Flow Matching Models）を提案する。これは、モデルの重みを変更することなく、推論の軌跡の中でアーティファクトを修正する、トレーニングフリーかつゼロショットのフレームワークである。本手法は、各タイムステップにおいてクリーンなサンプルの推定値を再構成するという原理に基づいて動作する。

1. クリーンな潜在変数の推定:
   標準的なアプローチがノイズの混じった潜在変数（$x_t$）上で直接操作するのに対し、DIAMONDは各ステップでクリーンなデータ潜在変数（$\hat{x}_{0,t}$）を推定する。

   • Rectified Flow モデル（速度 $v_\theta$ を予測する場合）: $\hat{x}_{0,t} = x_t - t \cdot v_\theta(x_t, t)$
   • 拡散（Diffusion） モデル（ノイズ $\epsilon_\theta$ を予測する場合）: $\hat{x}_{0,t} = x_t - \sigma_t \cdot \epsilon_\theta(x_t, t)$
     この推定された潜在変数は、アーティファクト検出器が中間的なノイズ状態ではなく、最適なドメイン（クリーンなデータ）で動作することを保証するために、ピクセル空間へとデコードされる（$\hat{I}_t = D(\hat{x}_{0,t})$）。

2. アーティファクト検出と損失:
   微分可能な事前学習済みアーティファクト検出器（AD）（例：DiffDoctorによるもの）が、$\hat{I}_t$ を分析してアーティファクト確率マスク $M_t$ を生成する。アーティファクト損失（$L_a$）は、このマスクとゼロマスク（アーティファクトのない画像を表現するもの）との間の平均二乗誤差として計算される：
   $$L_a = \frac{1}{HW} \sum_{i,j} (M_{i,j}^t)^2$$

3. 勾配ベースの軌跡修正:
   本手法は、現在の潜在変数 $x_t$ に対する損失の勾配（$\nabla_{x_t} L_a$）を計算する。修正の大きさがアーティファクト領域のサイズに支配されて安定性を損なうのを防ぐため、勾配は正規化される：
   $$\delta_t = \lambda_t \frac{\nabla_{x_t} L_a}{\|\nabla_{x_t} L_a\|^2 + \epsilon}$$
   この変位ベクトル $\delta_t$ は、標準的なソルバーの更新ステップから減算され、実質的に軌跡をアーティファクトから遠ざけるように誘導する。

4. 動的スケジューリング ($\lambda_t$):
   べき乗則に従うスケジュールが、修正の強度（$\lambda_t$）を制御する。構造的なアーティファクトは初期のノイズ優位な段階で現れ、高周波の詳細は後半に精緻化されるという観察に基づき、このスケジュールは生成プロセスの初期に強力な修正を適用し、終盤に向けて減衰させる。

5. アイデンティティ保持（オプション）:
   修正が画像のグローバルな構造やプロンプトへの適合性を変えてしまうのを防ぐために、オプションの正則化項（$L_{rec}$）を適用できる。この項は、非アーティファクト領域における修正後の画像とベースライン画像の間の平均絶対誤差（MAE）を最小化する。

主な貢献

• トレーニングフリーのフレームワーク: DIAMONDは、追加のトレーニングや重みの変更を必要とせずに、Rectified Flow および Diffusion モデルの推論プロセスに幾何学的軌跡ガイダンスを直接統合する、初のゼロショット手法である。
• オンザフライ推定: 本手法は、推論中にクリーンな潜在変数（$\hat{x}_{0,t}$）を推定する新しいメカニズムを導入しており、標準的な検出器が通常失敗する中間ステップにおいても信頼性の高いアーティファクト検出を可能にする。
• 汎用性: このアプローチは、Rectified Flow モデル（FLUX.1, FLUX.2）と標準的な Diffusion モデル（SDXL）の両方において効果的に機能することが示されている。
• 勾配正規化: 本論文は、更新の強さをアーティファクトの空間的なサイズから切り離すための勾配正規化を特定し、実装している。これにより、アーティファクトの範囲に関わらず一貫した修正が可能となる。

実験結果
定量的な評価は、FLUX.1 [dev]、FLUX.1 [schnell]、FLUX.2 [dev]、および SDXL といったモデルを用い、3つのデータセット（動物、単語、人物）に対して行われた。

• アーティファクトの減少: FLUX.1 [dev] を用いた「単語（words）」データセットにおいて、DIAMOND は平均アーティファクト頻度をベースラインの 100% から 9.85% に減少させ、DiffDoctor (46.97%) や HPSv2 (56.82%) といったベースラインを大幅に上回った。
• ピクセル比: アーティファクト・ピクセル比（APR）は、ベースラインと比較してほぼゼロレベル（例：単語データセットで 0.009%）まで減少した。
• 品質の保持: 高い CLIP-T スコア（テキスト・画像間の整合性）および ImageReward スコア（人間の好好）を維持しており、これはアーティファクトの除去が意味的な一貫性や視覚的品質を低下させていないことを示している。
• アイデンティティ保持: アブレーション研究により、正則化なしの DIAMOND は効果的にアーティファクトを除去する一方で、$L_{rec}$ 項（$\alpha=0.1$）を追加することで、アーティファクト抑制とベースモデルのアイデンティティ保持の最適なバランスが得られることが示された。

意義と主張
著者らは、DIAMOND が高忠実度でアーティファクトのない画像合成への、堅牢かつゼロショットの道筋を提供すると主張している。サンプリングプロセス中に直接介入して軌跡を修正することにより、本手法は微調整の計算コストや事後的なヒューリスティックの不正確さを克服する。本論文は、このアプローチが、生成される画像のグローバルな構造やプロンプトへの適合性を維持しながら、細粒度な空間的監督と局所的なアーティファクト（手やテキストなど）の精密な修正を可能にすることを強調している。この手法は、eコマースやマーケティング用のビジュアルなど、解剖学的な正確性が極めて重要となるプロフェッショナルな用途における実用的なソリューションとして提示されている。