Résumé Technique : RevealLayer

Énoncé du Problème

Les modèles récents basés sur la diffusion ont fait progresser la génération d'images, mais restent principalement conçus pour une sortie RVB monocouche, laissant la modélisation d'images multicouches largement inexplorée. Décomposer une image naturelle complexe en un arrière-plan et plusieurs couches d'objets transparents RGBA est difficile en raison de la nécessité de gérer des occlusions complexes, de capturer des hiérarchies d'objets et de compléter le contenu manquant tout en maintenant la cohérence à travers les régions visibles.

Les approches existantes font face à des limitations significatives :

• Pipelines en Cascade : Les méthodes qui effectuent séquentiellement la segmentation, le matting alpha et l'inpainting souffrent d'une accumulation d'erreurs, entraînant des artefacts accumulés et une dégradation de la cohérence des couches, en particulier dans les régions fortement occluses.
• Modèles de Diffusion End-to-End : Bien que des cadres comme LayerD et OmniPSD atténuent l'accumulation d'erreurs en prédissant conjointement les couches, ils manquent souvent de guidage explicite de l'utilisateur, offrant un contrôle limité sur la sémantique et l'ordre des couches. D'autres méthodes (par exemple, Qwen-Image-Layered, CLD) luttent avec des sémantiques de couches ambiguës, des artefacts résiduels, ou sont restreintes à des images stylisées plutôt qu'à des scènes naturelles complexes.
• Pénurie de Données : Le domaine est entravé par un manque de jeux de données d'images naturelles multicouches de haute qualité et à grande échelle, ce qui limite l'entraînement et l'évaluation de modèles de décomposition robustes.

Méthodologie

Les auteurs proposent RevealLayer, un cadre basé sur la diffusion qui décompose une image d'entrée RVB en plusieurs couches RGBA sous la guidance de boîtes englobantes spécifiées par l'utilisateur. Le cadre est construit sur l'architecture FLUX.1 [dev] (utilisant MM-DiT comme colonne vertébrale) et intègre trois composants techniques clés :

1. Attention Sensible aux Régions (RAA)

Pour résoudre le problème des interférences de caractéristiques inter-couches dans les mécanismes d'attention automatique standard, RevealLayer introduit un module d'Attention Sensible aux Régions. Ce module impose une contrainte structurelle sur les interactions de jetons entre régions via un masque d'attention.

• Mécanisme : Le masque $M$ régit les interactions entre les jetons de requête $q$ et les jetons de clé $k$, garantissant que les jetons provenant de l'invite textuelle et de l'image globale peuvent interagir avec toutes les couches, mais que les jetons d'une couche spécifique $L_i$ s'attendent principalement à leur propre couche et à la région spatialement correspondante $R_i$ de l'image globale.
• Objectif : Cela favorise une attention cohérente avec la région, supprime le mélange de caractéristiques inter-couches et permet un découplage robuste couche par couche.

2. Adaptateur Guidé par l'Occlusion (OGA)

Bien que le RAA sépare les couches, générer un contenu visuellement cohérent au sein des régions de chevauchement reste difficile. Le module OGA améliore la cohérence sémantique en incorporant des informations localisées de l'image originale.

• Mécanisme : Après le DoubleAttnBlock, l'OGA concatène les caractéristiques d'image conditionnelles ($z_c$) avec les représentations latentes par couche ($z_t^i$) le long de la dimension du canal. Il applique une attention automatique en utilisant un masque spécifique à la couche $M_i$ pour améliorer la cohérence sémantique, produisant une représentation latente mise à jour.
• Objectif : Tirer parti des informations contextuelles pour une meilleure reconstruction des régions occluses et de chevauchement.

3. Fonction de Perte Composite

Pour imposer des frontières nettes et supprimer les artefacts résiduels, l'objectif d'entraînement combine trois termes de perte :

• Perte d'Appariement de Flux ($L_{FM}$) : L'objectif standard pour le processus de diffusion.
• Perte Alpha à Contrainte Rigide ($L_{\alpha}$) : Une pénalité de style focal appliquée au canal alpha pour affiner la génération d'objets et assurer une précision des frontières au niveau du pixel. Elle se concentre sur les pixels de frontière rigide pour encourager des bords plus nets.
• Perte d'Orthogonalité à Contrainte Souple ($L_{orth}$) : Une perte basée sur le cosinus dans l'espace des pixels conçue pour supprimer les interactions inter-couches indésirables et les artefacts liés aux objets dans la reconstruction de l'arrière-plan en décourageant les résidus d'objets de basse fréquence et structurellement corrélés.

4. Construction du Jeu de Données (RevealLayer-100K & RevealLayerBench)

Pour soutenir l'entraînement et l'évaluation, les auteurs ont construit :

• RevealLayer-100K : Un jeu de données à grande échelle d'images de scènes naturelles avec des annotations de couches RGBA de haute qualité. Il a été créé via un pipeline impliquant des algorithmes automatisés (Qwen3-VL, Florence-2, SAM-H, Qwen-Image-Edit, ViTMatte) et une annotation humaine rigoureuse / révision manuelle pour assurer la cohérence de l'arrière-plan et la fidélité de la récupération des occlusions.
• RevealLayerBench : Un benchmark pour une évaluation systématique sur des dispositions multicouches complexes.

Contributions Clés

1. Cadre RevealLayer : Un cadre de diffusion contrôlable, guidé par des boîtes englobantes, pour décomposer des images naturelles en couches RGBA, capable de gérer des occlusions complexes et de maintenir la cohérence des couches.
2. Paradigme Sensible aux Occlusions : L'intégration de l'Attention Sensible aux Régions, d'un Adaptateur Guidé par l'Occlusion et d'une fonction de perte composite pour découpler le contenu visible et caché et récupérer efficacement les régions occluses.
3. Jeu de Données et Benchmark : L'introduction de RevealLayer-100K et RevealLayerBench, répondant à la pénurie de données d'images naturelles multicouches de haute qualité et fournissant une norme pour une évaluation systématique.

Résultats Expérimentaux

Des expériences extensives démontrent que RevealLayer surpasse les approches existantes dans plusieurs tâches :

• Suppression d'Objets : Sur OBER-Test et RevealLayerBench, RevealLayer atteint des métriques de reconstruction d'arrière-plan à la pointe de l'art (PSNR et SSIM les plus élevés, LPIPS et FID compétitifs) par rapport à des méthodes comme PowerPaint, SmartEraser et OmniPaint. Il élimine efficacement les artefacts résiduels et les régions hallucinées.
• Matting d'Image : Sur AIM-500 et RefMatte-RW100, la méthode atteint des performances supérieures en précision du canal alpha (MSE, MAD, SAD les plus faibles) par rapport aux modèles de segmentation généraux (variantes SAM) et aux modèles de matting spécialisés (MAM), équilibrant fidélité, netteté des bords et cohérence du contenu.
• Décomposition Multicouche : Sur RevealLayerBench, RevealLayer surpasse nettement Qwen-Image-Layered et CLD dans le découplage de l'arrière-plan et de l'objet, la qualité de génération et la précision alpha. Il atteint un IoU Doux plus élevé et des scores supérieurs dans les métriques Q-Insight (Cohérence, Fidélité, Éditabilité).
• Robustesse : Le modèle démontre une robustesse raisonnable aux perturbations des boîtes englobantes (par exemple, de légers décalages ou variations de taille), bien que les performances se dégradent avec des imprécisions sévères.

Importance

L'article affirme que RevealLayer représente une avancée significative dans la décomposition de couches contrôlable et sensible aux occlusions pour les scènes naturelles du monde réel. En allant au-delà des pipelines en cascade et des modèles end-to-end non guidés, il offre une solution flexible et robuste permettant une séparation précise des couches et une récupération fiable du contenu occlus. Ce travail établit un nouveau benchmark et jeu de données, facilitant les recherches futures en modélisation d'images multicouches et en applications en aval telles que la suppression d'objets, le matting, l'inpainting et l'édition d'images basée sur des couches. Les auteurs reconnaissent que des défis subsistent dans les cas de boîtes englobantes sévèrement inexactes, d'occlusions lourdes, de régions transparentes et de textures répétitives denses, identifiant ces aspects comme des domaines pour un travail futur.