技術概要：RevealLayer

問題定義

最近の拡散ベースモデルは画像生成を進展させたが、主に単一レイヤーの RGB 出力向けに設計されており、多レイヤー画像モデリングは未だほとんど探求されていない。複雑な自然画像を背景と複数の透明な RGBA 前景レイヤーに分解することは、複雑な遮蔽への対応、オブジェクト階層の捉え方、可視領域全体の一貫性を保ちながら欠落コンテンツの補完が必要となるため、困難を伴う。

既存のアプローチは重大な限界に直面している：

• カスケード型パイプライン: セグメンテーション、アルファマット、インペインティングを順次実行する手法は、誤差蓄積に悩まされ、特に重度の遮蔽領域において、アーティファクトの蓄積とレイヤー一貫性の低下を招く。
• エンドツーエンド拡散モデル: LayerD や OmniPSD などのフレームワークは、レイヤーを共同予測することで誤差蓄積を軽減するが、明示的なユーザーガイダンスが欠如しており、レイヤーの意味や順序に対する制御性が限られている。他の手法（例：Qwen-Image-Layered、CLD）は、曖昧なレイヤー意味、残留アーティファクトに苦慮するか、複雑な自然シーンではなく様式化された画像に限定される。
• データ不足: 高品質で大規模な多レイヤー自然画像データセットの欠如が分野を阻害しており、堅牢な分解モデルの訓練と評価を制限している。

手法

著者は、ユーザー指定のバウンディングボックスガイダンスの下で入力 RGB 画像を複数の RGBA レイヤーに分解する、拡散ベースのフレームワーク「RevealLayer」を提案する。本フレームワークは FLUX.1 [dev] アーキテクチャ（バックボーンとして MM-DiT を利用）を基盤とし、3 つの主要な技術的コンポーネントを組み込んでいる：

1. 領域認識アテンション（RAA）

標準的なセルフアテンション機構におけるレイヤー間の特徴干渉の問題に対処するため、RevealLayer は領域認識アテンションモジュールを導入する。このモジュールは、アテンションマスクを介してクロス領域トークン相互作用に構造的制約を課す。

• メカニズム: マスク $M$ は、クエリトークン $q$ とキートークン $k$ 間の相互作用を制御し、テキストプロンプトおよびグローバル画像からのトークンはすべてのレイヤーと相互作用できることを保証するが、特定のレイヤー $L_i$ からのトークンは、主に自身のレイヤーおよびグローバル画像の空間的に対応する領域 $R_i$ にアテンションを向けるようにする。
• 目的: 領域一貫性のあるアテンションを促進し、レイヤー間の特徴混合を抑制し、堅牢なレイヤーごとの解離を実現する。

2. 遮蔽ガイダンスアダプター（OGA）

RAA がレイヤーを分離する一方で、重なり合う領域内で視覚的に整合性の取れたコンテンツを生成することは依然として困難である。OGA モジュールは、元の画像からの局所的情報を組み込むことで、意味的整合性を強化する。

• メカニズム: DoubleAttnBlock の後、OGA は条件付き画像特徴 ($z_c$) をレイヤーごとの潜在表現 ($z_t^i$) とチャネル次元に沿って連結する。その後、レイヤー固有のマスク $M_i$ を用いてセルフアテンションを適用し、意味的整合性を強化して更新された潜在表現を生成する。
• 目的: 遮蔽および重なり領域のより良い再構成のために、文脈情報を活用する。

3. 複合損失関数

鮮明な境界を強制し、残留アーティファクトを抑制するため、訓練目的関数は 3 つの損失項を組み合わせる：

• フローマッチング損失 ($L_{FM}$): 拡散プロセスの標準的な目的関数。
• ハード制約アルファ損失 ($L_{\alpha}$): アルファチャネルに適用される焦点型ペナルティであり、前景生成を精緻化し、ピクセルレベルの境界精度を確保する。これは、より鮮明なエッジを促すためにハード境界ピクセルに焦点を当てる。
• ソフト制約直交性損失 ($L_{orth}$): ピクセル空間におけるコサインベースの損失であり、低周波で構造的に相関する前景残留を抑制することで、背景再構成における望ましくないレイヤー間相互作用およびターゲット関連アーティファクトを抑制するように設計されている。

4. データセット構築（RevealLayer-100K および RevealLayerBench）

訓練および評価を支援するため、著者は以下のものを構築した：

• RevealLayer-100K: 高品質な RGBA レイヤー注釈を備えた自然景観画像の大規模データセット。これは、Qwen3-VL、Florence-2、SAM-H、Qwen-Image-Edit、ViTMatte などの自動化アルゴリズムと、背景の一貫性と遮蔽回復の忠実度を確保するための厳格な人手注釈・手動レビューを含むパイプラインを通じて作成された。
• RevealLayerBench: 複雑な多レイヤーレイアウトに対する体系的な評価のためのベンチマーク。

主要な貢献

1. RevealLayer フレームワーク: 自然画像を RGBA レイヤーに分解するための制御可能でバウンディングボックスガイダンス付きの拡散フレームワークであり、複雑な遮蔽への対応とレイヤー一貫性の維持が可能。
2. 遮蔽認識パラダイム: 領域認識アテンション、遮蔽ガイダンスアダプター、複合損失関数の統合により、可視および隠れたコンテンツを解離し、遮蔽領域を効果的に回復する。
3. データセットおよびベンチマーク: RevealLayer-100K および RevealLayerBench の導入により、高品質な多レイヤー自然画像データの不足に対処し、体系的な評価の基準を提供する。

実験結果

広範な実験により、RevealLayer が複数のタスクにおいて既存のアプローチを上回る性能を示すことが実証された：

• オブジェクト除去: OBER-Test および RevealLayerBench において、RevealLayer は PowerPaint、SmartEraser、OmniPaint などの手法と比較して、最高レベルの背景再構成指標（最高 PSNR および SSIM、競争力のある LPIPS および FID）を達成する。残留アーティファクトおよび幻覚領域を効果的に排除する。
• 画像マット: AIM-500 および RefMatte-RW100 において、本手法は汎用セグメンテーションモデル（SAM 変種）および専門マットモデル（MAM）と比較して、アルファチャネル精度（最低 MSE、MAD、SAD）で優れた性能を達成し、忠実度、エッジの鮮明さ、コンテンツの一貫性のバランスが取れている。
• 多レイヤー分解: RevealLayerBench において、RevealLayer は背景および前景の解離、生成品質、アルファ精度において Qwen-Image-Layered および CLD を大幅に上回る。より高い Soft IoU と Q-Insight メトリクス（一貫性、忠実度、編集性）における優れたスコアを達成する。
• 堅牢性: 本モデルはバウンディングボックスの摂動（例：わずかなオフセットまたはサイズ変化）に対して合理的な堅牢性を示すが、重度の不正確さでは性能が低下する。

意義

本論文は、RevealLayer が現実世界の自然シーンにおける制御可能で遮蔽を認識したレイヤー分解において重要な前進を遂げたと主張している。カスケード型パイプラインおよびガイダンスのないエンドツーエンドモデルを超えて、本手法は正確なレイヤー分離と遮蔽コンテンツの信頼性の高い回復を可能にする柔軟かつ堅牢なソリューションを提供する。この研究は新たなベンチマークとデータセットを確立し、多レイヤー画像モデリングおよびオブジェクト除去、マット、インペインティング、レイヤーベースの画像編集などのダウンストリームアプリケーションにおける将来の研究を促進する。著者は、重度に不正確なバウンディングボックス、重度の遮蔽、透明領域、および高密度の反復テクスチャのケースでは課題が残っており、これらを今後の研究課題として特定している。