技術要約: PoseAdapter

問題提起

Text-to-Image (T2I) 拡散モデルは、現実的な画像を生成する上で目覚ましい成功を収めてきたが、複雑なマルチオブジェクト・シーンにおける精密な空間的および方向的な制御には苦慮している。既存のソリューションは、根本的なトレードオフに直面している：

1. 条件付けの効率性と精度の対立: 密な3Dマップ（例：デプスやCNOCSマップ）に依存する手法は幾何学的なガイダンスを提供するが、計算コストが高く、インタラクティブな編集には不向きである。逆に、軽量な手法は微細な角度精度に欠けることが多く、合成データへの依存度が高いため、実世界の汎用性が制限される。
2. インスタンスの分離とグローバルな一貫性の対立: 「属性の漏洩（attribute leakage）」（オブジェクト間で色やテクスチャが混ざり合う現象）を防ぐため、現在のアプローチの多くは厳格な空間マスクを強制する。しかし、このハード境界による分離は、オブジェクト間の関係性を損ない、目に見える「切り貼り」のようなアーティファクト、不自然な照明、および遮蔽関係の欠如を引き起こす。

核心となる課題は、高密度な3D入力を用いることなく、複数のオブジェクトの精密な3D方向および空間配置を可能にする、高忠実度な2.5D制御可能生成を実現することである。

手法

PoseAdapterは、Dual-Stream 2.5D Controllable アーキテクチャを通じてこれらの制限に対処するために設計された軽量フレームワークである。本手法は、最新のマルチモーダル拡散トランスフォーマー（MM-DiT）バックボーン上で動作する。

1. 2.5D ハイブリッド・コンディション・レイアウト

密な空間マップの代わりに、PoseAdapterは各オブジェクト $o_i$ に対して定義されるタプル $(c_i, b_i, a_i)$ による効率的な条件レイアウトを使用する：

• オブジェクト・キャプション ($c_i$): 微細な属性（色、素材）を特定のエンティティに結びつけるために、凍結されたCLIPテキストエンコーダーによって処理されるセマンティックな記述。
• 2D バウンディングボックス ($b_i$): 空間的な位置とサイズを規定するために、フーリエ位置エンコーディングとMLPを介してエンコードされた正規化座標。
• 3D 角度 ($a_i$): 連続的な三角関数空間（$\sin, \cos$）にマッピングされ、MLPを介してエンコードされた3つのオイラー角（方位角、天頂角、回転角）。
  これらのコンポーネントは統合されたオブジェクト・トークン ($T_o$) へと融合され、各エンティティの空間・角度的なアンカーを確立する。

2. 文脈適応型デュアルストリーム表現

厳格な分離とグローバルな一貫性の間のトレードオフを解決するため、本フレームワークは2つの並行するパスを導入する：

• ローカル・ストリーム (Masked): バウンディングボックスから派生した動的な空間マスクを用いた初期のオブジェクト・トークン ($T_o$) を使用する。このストリームは、マスク付きクロスアテンションを通じて厳格なインスタンス境界を強制し、属性の漏洩を防ぐ。
• グローバル・ストリーム (Unmasked): $T_o$ をシーン・トランスフォーマーに入力し、シーン・トークン ($T_s$) を生成する。これらのトークンは、自己アテンションを通じてオブジェクト間の関係性とグローバルなレイアウトの文脈を捉え、自然な物理的ブレンドと一貫した照明を可能にする。

3. モダリティ分離型デュアルストリーム注入

本フレームワークは、テキスト経路を維持したまま、これらの表現を学習済みMM-DiTバックボーンのビジュアル・ストリームにのみ注入する。

• 両ストリームは、パラメータ効率のためにKey/Value投影行列を共有する。
• ローカル・ストリームは、境界を強制するためにレイアウトマスクとのクロスアテンションを計算する。
• グローバル・ストリームは、シーンの一貫性を捉えるためにアンマスクされたクロスアテンションを計算する。
  出力は、学習可能なゼロ初期化されたゲーティング・パラメータ ($\gamma$) とスケール因子 ($\lambda$) を介して集約され、精密な制御とグローバルな調和のバランスをとる。

4. 学習戦略

PoseAdapterは、以下の特定のアダプテーションを伴うRectified Flow Matchingを用いて学習される：

• Logit-Normal サンプリング: 高周波の詳細よりもマクロな空間構成の学習を優先するため、タイムステップ分布を高いノイズレベル ($t \to 1$) にシフトさせる。
• Box Mask Loss: 空間的な制約への厳格な遵守を保証するため、指定されたバウンディングボックス領域内のペナルティを重み付けする空間重み付き損失関数。
• Decoupled Modality Dropout: 無条件のベースラインを確立し、セマンティックな絡まりを防ぐために、学習中に条件モダリティ（グローバル・キャプション、オブジェクト・キャプション、またはすべての条件）をランダムにドロップする。

主な貢献

1. PoseAdapter フレームワーク: 2.5Dレイアウト（キャプション、2Dボックス、3D角度）を条件とする、精密なマルチオブジェクトT2I生成のための軽量かつ効果的なフレームワークであり、密な3Dマップを必要としない。
2. 文脈適応型デュアルストリーム表現: 並行するマスク付きおよびアンマスク付きのパスを利用する新しいアーキテクチャ。この設計は、属性の漏洩を排除すると同時に、自然なオブジェクト間の関係性、照明の調和、およびシーンレベルの一貫性を維持することに成功しており、現代のMM-DiTアーキテクチャにネイティブに適応している。
3. OrientLayout データセット: 微細な空間、方向、およびインスタンスレベルのキャプション注釈を備えた大規模データセット（11万サンプル）。生成された画像に対する自動的な方向予測器の不安定さに対処するため、堅牢なバイナリ方向検証 (Binary Orientation Verification) プロトコルを含んでいる。

実験結果

実験は OrientLayout データセットを用いて行われ、PoseAdapterを LOOSECONTROL や SceneDesigner といった最先端のベースラインと比較した。

• 視覚的忠実度とセマンティック整合性: PoseAdapterは、最も低いFréchet Inception Distance (FID) と優れたObject-Level CLIP (O-CLIP) スコアを達成した。これは、個々のセマンティックなアイデンティティの保持と属性漏洩の防止が優れていることを示している。
• 空間および方向の精度: PoseAdapterは、空間精度 (mIoU, $Acc_{ls}$) および方向精度 ($Acc_{22.5^\circ}$ および人間による検証済み $Acc_{BOV}$) において、ベースラインを大幅に上回った。マルチオブジェクト設定において、ベースラインは深刻な属性漏洩と幾何学的歪みに苦しんだが、PoseAdapterは高い忠実度を維持した。
• 効率性: PoseAdapterは、SceneDesignerの15.3% の学習可能パラメータ（228M 対 1.48B）しか必要としない。また、他の手法で必要とされる3Dエンジン（Blenderなど）による $O(N)$ の前処理ボトルネックを回避しており、遅延のない条件エンコーディングを可能にしている。
• ユーザー調査: ブラインド評価において、PoseAdapterはテキスト、空間、および方向の整合性の基準において90%以上の承認を獲得し、複雑なシーンでの属性漏洩に苦しんだベースラインを大きく上回った。

意義と主張

本論文は、PoseAdapterが、セマンティックな意図と微細な視覚的出力の間のギャップを埋めるための重要な一歩であることを主張している。厳格なインスタンス境界とグローバルな文脈理解を分離することで、計算コストの高い高密度3D表現に頼ることなく、マルチオブジェクト生成における永続的な問題である属性の漏れを解決する。

著者らは、本研究を、ユーザーがエンティティの正確な配置、サイズ、および向きを必要とする複雑なマルチメディア・アプリケーションのための実用的なソリューションとして位置づけている。現在のモデルは現実世界の事前知識に依存しており、極端なレイアウトには苦戦する可能性があるものの、本フレームワークは、効率的で高忠実度な制御可能な画像生成のための新しいパラダイムを確立している。著者らは、今後の課題として、極端なシナリオにおける堅牢性を高めるための合成データの拡張に焦点を当てるとしている。