Résumé Technique : Pavage de Textures Contrôlable avec des Modèles de Diffusion Améliorés par RoPE Transformé

1. Énoncé du Problème

L'intégration de textures spécifiées par l'utilisateur dans des images de scènes est une tâche fondamentale en graphisme et en édition d'images. Bien que les méthodes existantes de transfert de matériaux et d'inpainting guidé par référence (par exemple, FLUX.1-dev-Fill, ZeST, MatSwap) puissent éditer l'apparence des surfaces, elles peinent à répondre aux exigences spécifiques du pavage de texture (texture tiling). Les approches actuelles font face à trois limitations principales :

1. Manque de Contrôle Précis : Elles échouent souvent à respecter strictement les paramètres spatiaux définis par l'utilisateur tels que la fréquence, l'orientation et l'échelle, générant fréquemment des motifs par « hallucination » basés sur des distributions apprises plutôt que sur la référence spécifique.
2. Rééchantillonnage Destructif : Les méthodes reposant sur un déformage explicite des pixels (par exemple, MatSwap) ou sur des mécanismes d'attention croisée souffrent d'un sous-échantillonnage destructif, entraînant une perte de détails haute fréquence et de fidélité structurelle.
3. Fuite Sémantique : Les modèles existants ne parviennent souvent pas à préserver l'éclairage et la géométrie cohérents de la scène originale ou permettent aux caractéristiques de la référence de déborder sur les régions d'arrière-plan non éditées.

Le défi central est de parvenir à un pavage de texture contrôlable et de haute fidélité qui découple la manipulation spatiale de la génération de contenu, préservant à la fois l'identité de la texture de référence et la cohérence physique de la scène.

2. Méthodologie

Les auteurs proposent un nouveau cadre basé sur l'architecture Diffusion Transformer (DiT), exploitant spécifiquement le modèle FLUX.1-Kontext-dev. L'approche reformule le mappage de texture comme une tâche d'inpainting spécialisée, conditionnée visuellement, en utilisant deux innovations techniques clés :

A. Embeddings Rotatifs à Coordonnées Transformées (Transformed RoPE)

Au lieu de déformer physiquement les pixels de la texture d'entrée (ce qui cause une perte de résolution), la méthode injecte les transformations spatiales directement dans le mécanisme d'attention.

• Mécanisme : Le cadre utilise des Embeddings Positionnels Rotatifs (RoPE) en 2D, qui encodent la conscience spatiale via les distances relatives entre les tokens.
• Implémentation : Des transformations affines ($\mathcal{T}$) définies par l'utilisateur, incluant la rotation, l'échelle et la translation, sont appliquées directement aux embeddings positionnels des clés et valeurs de référence lors de l'Auto-Attention (Self-Attention).
• Effet : Cela permet au modèle de traiter la texture de référence comme une unité unique et d'effectuer un « Pavage Génératif Implicite ». Le mécanisme d'attention récupère des caractéristiques de haute fidélité à partir de l'unité de référence en se basant sur les coordonnées transformées sans rééchantillonnage explicite des pixels, préservant ainsi toute la fidélité spectrale des caractéristiques latentes.

B. Masquage d'Attention Disjoint

Pour prévenir la fuite sémantique et garantir l'intégrité structurelle, les auteurs introduisent un masque d'attention spécialisé qui partitionne la séquence de tokens en trois sous-ensembles disjoints :

1. Tokens de Référence ($\mathcal{S}_{ref}$) : Restreints à ne porter attention qu'à eux-mêmes. Cela protège la texture de référence des interférences de l'arrière-plan et empêche la diffusion de couleur.
2. Tokens d'Arrière-plan ($\mathcal{S}_{bg}$) : Autorisés à porter attention à la scène, mais strictement bloqués pour porter attention aux tokens de référence afin d'empêître la texture de référence d'altérer le contexte non édité.
3. Tokens de Cible d'Inpainting ($\mathcal{S}_{mask}$) : Dotés d'une visibilité totale pour porter attention à la fois à la référence (pour les caractéristiques de texture) et à l'arrière-plan (pour l'illumination globale et la géométrie).

C. Pipeline du Système

Le système accepte une image source ($I_{src}$), un masque cible ($M$), une texture de référence ($I_{ref}$) et des paramètres de transformation ($\mathcal{T}$).

• Priors Géométriques : Des cartes de profondeur ($D$) et des cartes d'irradiance ($L$) sont extraites via des estimateurs en amont et encodées dans l'espace latent pour moduler le motif pavé selon les normales de surface et l'ombrage.
• Fusion Latente : Le latent cible est construit en concaténant le latent bruité, l'arrière-plan non édité, le masque et les priors géométriques. La texture de référence est complétée par des zéros (zero-padded) pour correspondre aux dimensions de canaux et concaténée le long de la dimension de séquence.
• Entraînement : Le modèle est entraîné en deux étapes : d'abord sur un Sous-ensemble Blender synthétique (14 000 échantillons) pour apprendre les mécanismes fondamentaux de pavage, puis affiné sur un Sous-ensemble d'Adaptation (1 300 échantillons) utilisant un moteur de rendu basé sur la physique pour combler l'écart de réalité.

3. Contributions Clés

1. Pavage de Haute Fidélité via Transformed RoPE : L'article introduit un mécanisme pour injecter des transformations affines 2D directement dans les Rotary Positional Embeddings. Cela permet un contrôle spatial précis et préserve les détails de haute fréquence en évitant le déformage destructif des pixels.
2. Contrôle d'Attention Disjoint : Une stratégie de masquage dédiée est proposée pour éliminer la fuite de caractéristiques entre la condition de référence et l'arrière-plan, garantissant des régions non éditées sans artefacts et préservant l'intégrité structurelle de l'exemple.
3. Jeu de Données de Référence (Benchmark) : Les auteurs publient un jeu de données à grande échelle de 15 000 paires scène-texture diversifiées et de haute qualité, avec des matrices de transformation de vérité terrain et des masques sémantiques denses, afin d'établir un protocole d'évaluation standardisé pour la contrôlabilité de l'édition de texture.

4. Résultats Expérimentaux

La méthode a été évaluée par rapport aux meilleures méthodes de référence (FLUX.1-Fill-dev, FLUX.2-dev, ZeST, MaterialFusion, MatSwap) sur des jeux de données synthétiques et réels.

• Fidélité de la Texture : Sur les données synthétiques, la méthode proposée a atteint des performances de pointe sur tous les indicateurs (LPIPS, CLIP-Score et Gram Matrix Loss), surpassant les bases de comparaison par des marges significatives. Sur les données réelles, les études utilisateurs ont montré un taux de préférence Top-1 de 42,0 %, nettement supérieur à la méthode suivante (MatSwap à 9,8 %).
• Contrôlabilité Spatiale : Dans les études d'ablation et les comparaisons où les bases de comparaison étaient contraintes d'utiliser des entrées pré-déformées, la méthode proposée a démontré une précision géométrique supérieure. Elle a géré avec succès les rotations complexes, l'échelle et même les injections non affines, là où les autres méthodes souffraient d'aliasing, de dégradation structurelle ou de biais de « copier-coller » ignorant la topologie de surface 3D.
• Analyse d'Ablation : Le retrait du Masque d'Attention Disjoint a entraîné une contamination sémantique et une perte de clarté structurelle. Le remplacement de l'injection de coordonnées implicite par un déformage explicite dans l'espace des pixels (Global ou Local Explicit) a entraîné un désalignement géométrique et une perte irréversible de détails haute fréquence due au sous-échantillonnage.

5. Signification et Revendications

L'article affirme combler le fossé entre l'édition géométrique précise et le photoréalisme génératif. En découplant la manipulation spatiale de la génération de contenu visuel, le cadre offre une solution qui est :

• Sans Perte (Lossless) : Il préserve les détails haute fréquence de la texture de référence en évitant le rééchantillonnage explicite des pixels.
• Physiquement Cohérente : Il intègre la texture synthétisée avec l'éclairage et la géométrie originaux de la scène grâce à la fusion latente avec les priors de profondeur et d'irradiance.
• Contrôlable : Il permet des transformations affines définies par l'utilisateur qui sont strictement respectées, plutôt que de compter sur l'interprétation probabiliste du modèle basée sur les prompts textuels ou d'images.

Les auteurs positionnent ce travail comme un nouveau standard pour le transfert de matériaux, offrant un équilibre optimal entre contrôle structurel, fidélité de texture et réalisme visuel. Ils reconnaissent des limitations concernant les goulots d'étranglement de résolution dans l'espace latent du VAE, l'absence de cartes de matériaux explicites (ex: rugosité), et l'incapacité d'une transformation affine unique à gérer des transitions nettes sur des géométries complexes, notant ces points comme des pistes pour de futurs travaux.