技術要約: PixelControl

1. 問題提起

制御可能なテキスト画像生成拡散モデルは、グローバルな空間レイアウト（深度、セグメンテーション、エッジなど）に従うことにおいて大きな進歩を遂げてきました。しかし、これらは頻繁に**きめ細かな条件忠実度（fine-grained condition fidelity）**の維持に失敗します。既存の手法は、支配的なシーン構造は保持できるものの、オブジェクトの境界でドリフトしたり、細い輪郭をぼかしたり、中規模または小規模な条件領域を省略したりすることがよくあります。

著者らは、この制限の主な要因として以下の2点を特定しています：

1. VAE潜在ボトルネック（VAE Latent Bottleneck）: 最先端の多くのモデルは、VAEベースの潜在拡散（latent diffusion）に依存しています。このプロセスに固有の空間圧縮とその後のデコードは、鋭い境界、局所的な不連続性、低面積の構造といった高周波の条件キューを減衰させます。
2. 一様な制御注入（Uniform Control Injection）: 既存の制御メカニメントは、通常、空間的に一様な方法で制御信号を注入し、最適化します。これは、大きなレイアウト、境界領域、およびコンパクトなコンポーネントを同様の監督下に置くため、モデルがグローバルな構造を優先する一方で、精密な境界の整合性や細部がデノイジング過程中にドリフトしたり消失したりすることを許してしまいます。

2. 手法

本論文では、これらの忠実度の問題を解決するために設計された、ピクセル空間における制御可能な拡散フレームワークであるPixelControlを提案しています。PixelDiTスタイルのバックボーンに基づいて構築されたPixelControlは、VAEデコードのボトルネックを回避するためにピクセル空間で直接動作し、それによって局所的な構造と高周波の詳細をより良く保持します。

本フレームワークは、2つの補完的な戦略を導入しています。

A. 構造認識型制御注入 (SACI: Structure-Aware Control Injection)

SACIは、制御注入プロセスを、一様ではなく空間的に選択的なものへと変更します。

• メカニズム: 入力条件から条件構造マップ $S(c)$ を導出します（深度やセグメンテーションに対してはSobel勾配強度を使用）。
• 変調: レイヤー $\ell$ における注入される制御残差 $R_\ell$ は、このマップによって変調されます：
  $$\tilde{R}_\ell = R_\ell \odot (1 + \alpha S(c))$$
• 効果: これにより、空間的に敏感な領域（境界、不連続性、コンパクトなコンポーネント）の周囲で制御信号が増幅される一方で、滑らかな内部は変更されません。
• 範囲: SACIは深度およびセグメンテーションの制御に適用されます。エッジ制御については、エッジ条件自体がすでに高周波の境界をエンコードしており、さらなる増幅が冗長かつノイズを生む可能性があるため、無効化されます。

B. マルチスケール・ピラミッド・サイクル損失 (MPCL: Multi-Scale Pyramid Cycle Loss)

MPCLは、複数の解像度において生成された画像を条件由来の構造に対して検証することで、最適化目的関数に対処します。

• メカニズム: モデルは画像 $\hat{x}$ を生成し、それは凍結された構造検証器 $\Phi_m$（例：Depth Anything 3、SAM2、または微分可能なSoft-Cannyオペレータ）を通過して、予測された構造マップ $\hat{s}_m$ を生成します。これは参照画像から導出されたターゲット構造 $s_m$ と比較されます。
• ピラミッド設計: 比較は解像度ピラミッド $P = \{512, 256, 128, 64\}$ にわたって行われます。
  • 粗いスケール (64, 128): グローバルなレイアウトの一貫性を正則化します。
  • 細かいスケール (256, 512): 境界の整合性、局所的な不連続性、および小さな構造に対して厳格な監督を課します。
• 損失関数: 全体の損失は、標準的なフローマッチング損失（$L_{FM}$）とピラミッド・サイクル損失（$L_{pyr}$）を組み合わせたものです：
  $$L = L_{FM} + \lambda_{pyr} L_{pyr}$$
  ここで、$L_{pyr}$ は各スケールにおけるSmoothL1距離の加重和です。

C. マルチ条件サポート

PixelControlは、モダリティ固有の制御ブランチを介して、深度、セグメンテーション、エッジ、およびそれらの組み合わせをサポートしています。軽量なレイヤーごとのゲーティングネットワークが、単一条件入力に対してはアクティブなブランチを選択し、マルチ条件入力に対しては複数のブランチのバランスを調整します。

3. 主な貢献

1. PixelControlフレームワーク: 潜在空間の圧縮を回避することで微細な忠実度を実現する、PixelDiTバックボーンに基づく制御可能生成フレームワーク。
2. 構造認識型制御注入 (SACI): 空間的に敏感な領域の周囲で制御残差を強化するための、条件認識型構造マップを導出する手法。これにより、境界の整合性と局所的な詳細の保持が向上します。
3. マルチスケール・ピラミッド・サイクル損失 (MPCL): 生成された画像を複数の解像度で条件由来の構造に対して検証する最適化目的関数。これにより、グローバルなレイアウトから微細な局所的整合性に至る、スケール認識型の監督を提供します。

4. 実験結果

著者らは、200万組の画像・キャプションペアのデータセットを用い、深度、セグメンテーション、およびエッジ制御のタスクにおいてPixelControlを評価しました。彼らは、条件を作成するために使用した構造抽出器と同じものを用いて生成画像を再処理するという、クローズドループ検証プロトコルを採用しました。

• 構造的忠実度: PixelControlは、すべての指標において既存の手法（ControlNet、AnyControl、OminiControl、PixelPonderを含む）を一貫して上回りました。
  • 深度: AbsRelを最良のベースラインの0.1949から0.1434に減少させ、Pearson相関係数を0.9432に向上させました。
  • セグメンテーション: Boundary-F1において、0.5061から0.6973への大幅な上昇を達成し、優れた輪郭追従性を示しました。
  • エッジ: Chamfer距離を大幅に減少させ、生成されたエッジが単に高密度であるだけでなく、空間的に整列していることを証明しました。
• 非大規模領域の精度: PixelControlは、「非大規模（smallおよびmedium）」なオブジェクトにおいて特に強力な改善を示しました。例えば、非大規模オブジェクトの深度AbsRelは、0.2727から0.1419に低下しました。
• 視覚的品質: PixelControlは、すべてのタスクにおいて最高のFIDスコアを達成しました。これは、構造的な追従性の向上が、視覚的なリアリズムや自然な画像事前分布を犠牲にしていないことを示しています。
• マルチ条件: 深度＋エッジの結合タスクにおいて、PixelControlはグローバルな幾何学構造と細い輪郭の両方を正常に保持し、一方の条件を優先してしまう傾向のあるベースラインを上回りました。

5. 意義と主張

本論文は、PixelControlがグローバルなレイアウトへの追従と、きめ細かな構造的忠実度の間のギャップを効果的に埋めるものであると主張しています。ピクセル空間で動作し、構造認識型の注入とマルチスケール監督を採用することで、本手法は以下を保証します：

• 境界と局所的な不連続性が空間的に整列していること。
• コンパクトな領域や細い構造が弱まったり、省略されたりしないこと。
• 厳格な条件追従と並行して、高い視覚的品質が維持されること。

著者らは、本フレームワークが構成的な制御をサポートしている一方で、その主要な貢献は、単一および組み合わせた条件の忠実度にあり、特に現在の潜在ベースの拡散モデルに蔓延しているドリフトやぼけの問題に対処している点にあると強調しています。本研究は、ピクセル空間での生成が、標的を絞った構造的監督と組み合わされることで、高忠実度な制御可能画像合成のための堅牢な代替案を提供することを実証しています。