Résumé Technique : DANTE-W : Texturation de Texture Albedo Diffuse en Milieu Réel (In-the-Wild)

1. Énoncé du Problème

La reconstruction d'actifs 3D texturés de haute qualité à partir de collections d'images non structurées et réelles (« in-the-wild ») demeure un défi important, particulièrement pour les scènes à grande échelle. Les approches existantes souffrent de deux limitations principales :

• Texturation de Maillage Classique : Les méthodes traditionnelles (par exemple, la stéréoscopie multi-vues suivie d'une optimisation de texture) mélangent directement les couleurs de pixels capturés. Cela produit des textures avec un éclairage et des ombres « incrustés », compromettant la fidélité visuelle lorsque la scène est rééclairée sous de nouvelles conditions lumineuses.
• Décomposition Intrinsèque et Méthodes de Diffusion : Bien que les modèles récents de rendu inverse neuronal et de diffusion montrent des promesses pour séparer l'éclairage de la réflectance, ils échouent souvent dans des scénarios complexes et à grande échelle. Ils peinent à maintenir une cohérence 3D entre les points de vue, perdent des détails fins en raison de la nature probabiliste de la modélisation générative et de la perte d'information des VAE, et sont souvent incompatibles avec les pipelines graphiques standards.

Le problème central adressé est le besoin d'un cadre capable de récupérer des textures d'albedo diffuse de haute fidélité et cohérentes en 3D à partir de collections d'images non structurées, en séparant efficacement la réflectance de la surface des effets d'illumination pour permettre un rééclairage réaliste.

2. Méthodologie : DANTE-W

Les auteurs proposent DANTE-W, un cadre de texturation neurale qui s'intègre de manière transparente aux pipelines de reconstruction 3D traditionnels. Étant donné un maillage reconstruit et sa paramétrisation de surface, la méthode opère à travers les étapes suivantes :

2.1 Priors d'Albedo dans l'Espace de Vue

Pour répondre à la nature mal posée de la décomposition intrinsèque, la méthode exploite des modèles de diffusion de pointe (par exemple, RGB↔X, DiffusionRenderer) pour générer des estimations d'albedo initiales à partir des images d'entrée. Ces priors d'albedo dans l'espace de vue sont élevés en un espace de texture neurale 2D cohérent, défini sur les coordonnées UV du maillage. Ceci est réalisé en minimisant la différence entre la sortie de la texture neurale et l'albedo en espace écran généré par les modèles de diffusion.

2.2 Rendu Neurale Physiquement Fondé

Reconnaissant qu'un simple élévation des priors de diffusion mène à des résultats trop lissés et à des incohérences de vue, les auteurs introduisent un cadre de rendu neural physiquement fondé pour récupérer des détails plus fins. L'innovation centrale réside dans la décomposition basée sur la fréquence :

• Représentation de l'Albedo : L'albedo diffuse ($a_d$) est modélisée à l'aide d'un encodage de hachage (hash encoding) 2D à haute résolution dans l'espace UV. Cela permet au réseau de capturer des détails texturaux complexes et à haute fréquence.
• Représentation de l'Irradiance : L'irradiance diffuse ($s_d$) est modélisée à l'aide d'un encodage de hachage 3D à basse résolution dans l'espace de la scène 3D, combiné à des plongements (embeddings) apprenables par image. Cela capture les variations d'éclairage et les ombres plus lisses et à basse fréquence.
• Mécanisme de Décomposition : En imposant explicitement une disparité dans les résolutions de grille maximales ($V^{(a)}_{L_a} \gg V^{(s)}_{L_s}$), le cadre encourage l'information à haute fréquence à circuler vers la composante albedo, tandis que la composante irradiance gère l'éclairage. Cela résout l'ambiguïté entre le détail de surface et l'ombrage.

2.3 Optimisation et Rendu

Le système optimise conjointement les entrées de hachage apprenables et les décodeurs MLP pour minimiser une fonction de perte composite :

1. Régularisation de l'Albedo ($\mathcal{L}_a$) : Aligne la texture neurale avec les priors de diffusion dans l'espace de vue.
2. Perte de Rendu Neural ($\mathcal{L}_c$) : Rend la couleur RGB finale en utilisant le modèle d'ombrage Lambertien ($c = a_d \odot s_d$) et la compare aux images brutes d'entrée.

La texture neurale résultante peut être injectée dans une carte UV standard, ce qui la rend compatible avec les moteurs graphiques modernes (par exemple, Blender) pour un rendu en temps réel et une édition flexible.

3. Contributions Clés

1. Cadre DANTE-W : Une approche de texturation neurale qui récupère un albedo diffuse de haute fidélité pour des scènes réelles en élevant des priors de diffusion incohérents dans l'espace de vue vers une représentation de texture neurale expressive et cohérente.
2. Décomposition Basée sur la Fréquence : Une stratégie de rendu neural physiquement fondée qui sépare les détails fins de l'albedo de l'irradiance en différenciant les bandes de fréquences de leurs représentations neurales respectives (2D haute résolution pour l'albedo, 3D basse résolution pour l'éclairage).
3. Benchmark GigaLit : L'introduction d'un nouveau jeu de données contenant des scènes diverses et réelles ainsi que des objets synthétiques avec des textures complexes et des points de vue non structurés, conçus pour évaluer la récupération de l'albedo diffuse et le rééclairage dans des conditions difficiles.

4. Résultats Expérimentaux

Les auteurs ont évalué DANTE-W sur le benchmark GigaLit et le jeu de données public Stanford-ORB, en comparant avec la texturation classique (Metashape Pro), les sorties de diffusion brutes et d'autres méthodes de décomposition intrinsèque.

• Performance Quantitative : Sur le sous-ensemble synthétique de GigaLit, DANTE-W surpasse les rendus basés sur la diffusion de +2,63 dB à +3,85 dB en PSNR pour la récupération de l'albedo et atteint environ 25 % de LPIPS en moins. Pour les tâches de rééclairage, il montre des améliorations encore plus grandes, avec +6,13 dB à +7,15 dB en PSNR et une réduction de plus de 40 % du LPIPS par rapport aux méthodes de diffusion de pointe.
• Performance Qualitative : Les comparaisons visuelles démontrent que DANTE-W élimine efficacement les ombres et l'ombrage incrustés tout en préservant les détails fins (par exemple, le texte sur les surfaces, les motifs complexes) qui sont souvent perdus ou hallucinés par d'autres méthodes. Il maintient une cohérence 3D à travers différents points de vue.
• Efficacité : Le processus d'optimisation est hautement efficace, prenant environ 5 à 8 minutes par scène sur un seul GPU RTX 3090, ce qui est plus de 7 fois plus rapide que le processus de texturation de maillage multi-vues de Metashape Pro, tout en maintenant une qualité visuelle comparable ou supérieure.

5. Signification et Revendications

L'article affirme que DANTE-W représente une avancée substantielle vers des applications de rééclairage robustes et de haute fidélité pour des scènes réelles. En comblant l'écart entre les priors de diffusion grossiers et les représentations 3D expressives, la méthode surmonte l'ambiguïté intrinsèque entre éclairage et matériau qui affecte les techniques de rendu inverse existantes.

Les auteurs soulignent que leur approche permet un rééclairage à vue libre hyperréaliste en produisant des textures d'albedo exemptes d'artefacts d'illumination. Ils positionnent leur travail comme une intégration transparente avec les pipelines de reconstruction 3D et de graphisme établis, ce qui le rend pratique pour des domaines tels que la réalité virtuelle, le cinéma et le jeu vidéo.

Limites : Les auteurs notent modestement que la méthode actuelle est conçue pour les surfaces Lambertiennes et ne prend pas en compte les effets non-Lambertiens (par exemple, les reflets spéculaires). Des travaux futurs sont suggérés pour étendre le cadre à des représentations de scènes plus avancées (comme le Gaussian Splatting) et inclure des matériaux spéculaires.