CustomTex: High-fidelity Indoor Scene Texturing via Multi-Reference Customization

Each language version is independently generated for its own context, not a direct translation.

🎨 CustomTex : Le "Décorateur d'Intérieur" Magique pour les Mondes 3D

Imaginez que vous avez construit une maison en Lego (un modèle 3D), mais qu'elle est toute grise et triste. Vous voulez la rendre magnifique : un canapé en velours rouge, un parquet en chêne brillant, des murs avec un papier peint fleuri.

C'est là que CustomTex intervient. C'est un nouvel outil intelligent qui permet de "peindre" instantanément des intérieurs 3D complexes en utilisant de simples photos de référence.

1. Le Problème : Les Anciens Peintres étaient un peu "Brouillons"

Avant, les méthodes pour décorer des scènes 3D fonctionnaient un peu comme un peintre qui écoute une description vague : "Peins-moi un salon chic".

Le résultat : Le peintre devine. Il peut mettre un canapé rouge là où il faut un bleu, ou dessiner un motif de bois qui ressemble à de la peau de vache.
Le défaut majeur : Souvent, les textures générées étaient floues, comme une photo prise avec un appareil défectueux, ou elles avaient des ombres "cuites" (comme si la lumière était figée dans la peinture). Si vous changez la lumière dans la pièce plus tard, l'ombre reste bizarrement collée au mur.

2. La Solution : CustomTex, le Chef de Chantier à Double Cerveau

CustomTex change la donne en ne demandant pas de description, mais en regardant votre propre album photo. Vous montrez une photo de votre canapé préféré, une autre de votre parquet, et une autre de vos murs.

Pour y arriver, CustomTex utilise une astuce géniale qu'on appelle la "Distillation Duale" (un mot compliqué pour dire qu'il utilise deux experts différents qui travaillent ensemble) :

🧠 L'Expert Sémantique (Le Chef de Chantier) :
Imaginez un architecte qui regarde vos photos et dit : "Ok, le canapé va ici, le parquet là-bas". Il s'assure que chaque objet reçoit le bon motif. Il utilise une technique spéciale (l'attention croisée) pour s'assurer que la photo du canapé ne finit pas sur le mur ! C'est ce qui garantit la cohérence.
🔍 L'Expert Pixel (Le Restaurateur d'Art) :
Une fois que l'architecte a placé les bons motifs, le restaurateur intervient. Son travail est de prendre cette ébauche et de la rendre ultra-nette. Il chasse le flou, les artefacts bizarres et s'assure que le grain du bois est visible, comme sur une vraie photo haute définition.

3. L'Analogie du "Miroir Magique"

Pour comprendre comment CustomTex évite les ombres "cuites" (le problème des anciennes méthodes), imaginez ceci :

Les anciennes méthodes prenaient une photo de votre salon, la copiaient sur le mur 3D, mais en copiant aussi l'ombre portée par la fenêtre de la photo. Résultat : si vous déplacez la fenêtre virtuelle, l'ombre reste figée. C'est comme coller une photo sur un mur.
CustomTex, lui, agit comme un miroir magique. Il regarde la photo de référence, comprend ce que c'est (du bois, du tissu), mais il ignore où la lumière tombait sur la photo. Il crée une matière pure, sans ombre pré-enregistrée. Ainsi, quand vous changez la lumière dans votre scène 3D, la matière réagit naturellement, comme la vraie vie.

4. Pourquoi c'est une révolution ?

Précision chirurgicale : Vous pouvez dire "Ce canapé précis doit ressembler à cette photo précise", et "Ce fauteuil à cette autre photo". Pas de mélange !
Qualité cinéma : Les textures sont nettes, riches en détails, et prêtes pour des jeux vidéo ou des films.
Facilité d'utilisation : Plus besoin d'être un artiste 3D professionnel. Vous montrez des photos, et l'IA fait le reste.

En résumé

CustomTex, c'est comme avoir un assistant de décoration intérieure qui :

Regarde vos photos préférées.
Applique exactement ces motifs sur les bons meubles de votre maison virtuelle.
Rend le tout ultra-net et réaliste.
Et surtout, s'assure que si vous bougez la lumière, les ombres bougent avec elle, comme dans la réalité.

C'est un grand pas en avant pour rendre les mondes virtuels (dans les jeux, la réalité virtuelle ou le cinéma) aussi réalistes et personnalisables que notre monde réel.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique

La création de textures 3D haute fidélité et personnalisables pour des scènes intérieures reste un défi majeur. Les méthodes existantes souffrent de plusieurs limitations :

Manque de contrôle précis : Les méthodes basées sur le texte (text-to-texture) manquent de précision pour le contrôle au niveau de l'instance (ex: spécifier le tissage exact d'un tissu ou le grain d'un bois spécifique).
Qualité insuffisante : Les résultats sont souvent flous, manquent de netteté et contiennent des artefacts.
Ombres "cuites" (Baked-in Shading) : Les modèles de diffusion apprennent souvent les éclairages et les ombres présents dans les données d'entraînement, ce qui rend les textures inadaptées à des changements d'éclairage dans le rendu 3D.
Contrôle global vs local : Les méthodes utilisant des images de référence offrent souvent un contrôle global et grossier, incapable de gérer des attributs fins pour chaque objet d'une scène complexe.

2. Méthodologie : CustomTex

CustomTex est un cadre novateur conçu pour générer des textures haute fidélité pour des scènes intérieures 3D, piloté par des images de référence spécifiques à chaque instance (ex: un canapé, une armoire, un mur).

Architecture et Flux de Travail

Le système prend en entrée une scène 3D non texturée (maillage avec coordonnées UV) et un ensemble d'images de référence définissant l'apparence souhaitée pour chaque objet. L'optimisation se fait dans l'espace UV via une approche de distillation double unifiée dans un cadre de Distillation de Score Variationnel (VSD).

Le processus repose sur deux modèles de diffusion pré-entraînés :

Distillation au niveau sémantique (Semantic-level Distillation) :
- Utilise un modèle de diffusion "depth-to-image" (profondeur vers image).
- Intègre un mécanisme d'attention croisée guidée par l'instance (Instance Cross-Attention).
- Les images de référence sont encodées en caractéristiques via un IP-Adapter.
- Des masques d'instance ( $m_i$ ) alignent précisément les caractéristiques de chaque image de référence avec la partie correspondante du rendu RGB. Cela assure que le canapé prend l'apparence de l'image de référence du canapé, et non celle du mur.
- Un modèle LoRA (Low-Rank Adaptation) léger est entraîné pour apprendre les priors sémantiques et stylistiques.
Distillation au niveau pixel (Pixel-level Distillation) :
- Utilise un modèle de super-résolution pré-entraîné.
- Son objectif est d'améliorer la fidélité visuelle, la netteté et les détails haute fréquence, tout en préservant la structure sémantique.
- Cela permet de corriger le flou et les artefacts souvent présents dans les méthodes de distillation purement sémantiques.

Formulation de l'Optimisation

Les deux gradients sont combinés pour mettre à jour les paramètres de la texture ( $\theta$ ) :
$\nabla_\theta L = \nabla_\theta L_{VSD} + \lambda_{SR} \nabla_\theta L_{SR}$
Où $L_{VSD}$ assure la cohérence sémantique avec les références et $L_{SR}$ améliore la qualité visuelle. La texture est représentée par un grille de hachage multi-résolution (inspirée d'Instant-NGP) pour encoder les détails à différentes échelles.

3. Contributions Clés

Cadre de génération de textures par référence multiple : Une nouvelle approche permettant une personnalisation flexible au niveau de l'instance en utilisant plusieurs images de référence comme prompts, surpassant les limitations des prompts textuels.
Approche de distillation double : Une méthode efficace qui sépare le contrôle sémantique (cohérence avec la référence) de l'amélioration au niveau pixel (fidélité visuelle), évitant ainsi le compromis habituel entre les deux.
Distillation de Score Variationnel guidée par l'instance (InsVSD) : Un mécanisme qui capture les multiples modes présents dans les images de référence tout en assurant un alignement précis entre les objets de la scène 3D et les images de référence grâce aux masques d'instance.

4. Résultats Expérimentaux

Les expériences ont été menées sur des scènes intérieures (3D-FRONT) en comparaison avec des méthodes de pointe (SOTA) comme SceneTex, Paint3D, HY3D-2.1, et TEXture.

Performances Quantitatives : CustomTex obtient les meilleurs scores sur toutes les métriques, tant pour la génération image-to-texture que text-to-texture.
- CLIP-I / CLIP-FID : Meilleure similarité distributionnelle avec les images de référence.
- Q-Align (IQA/IAA) : Scores supérieurs en qualité d'image et en esthétique perçue.
Performances Qualitatives :
- Cohérence d'instance : Contrairement aux méthodes concurrentes qui produisent des motifs répétitifs ou des styles uniformes, CustomTex respecte fidèlement l'apparence de chaque objet (canapé, table, murs).
- Réduction des artefacts : Les textures sont nettes, riches en détails et exemptes d'ombres "cuites" (baked-in shading), ce qui permet un rééclairage correct.
Étude Utilisateur : Sur une échelle de 1 à 5, CustomTex a obtenu les notes les plus élevées pour la qualité visuelle et la cohérence avec le prompt.
Ablation : L'étude démontre que la distillation pixel (SR) est cruciale pour la netteté et que l'utilisation de masques au niveau des caractéristiques (feature-level) est supérieure à l'application de masques au niveau du bruit pour la stabilité de l'éclairage.

5. Signification et Impact

CustomTex établit une voie plus directe et conviviale pour l'édition d'apparence de scènes 3D de haute qualité.

Précision : Il résout le problème de l'ambiguïté des prompts textuels en utilisant des images de référence pour un contrôle granulaire.
Qualité Industrielle : La capacité à générer des textures jusqu'à 4K (et au-delà) en quelques secondes, avec une absence d'ombres baked-in, rend cette méthode applicable à la visualisation architecturale, au cinéma et à la réalité virtuelle/augmentée.
Limitations actuelles : Le processus d'entraînement est coûteux en calcul (environ 48h sur une GPU A800 pour une texture 4K) et la méthode se concentre actuellement uniquement sur les cartes d'albédo (couleur/diffus), sans générer de cartes de normales ou de rugosité.

En résumé, CustomTex représente une avancée significative vers le texturage 3D photoréaliste et contrôlable, comblant le fossé entre la flexibilité des modèles génératifs et les exigences de précision de la production 3D.