Résumé Technique : DiLAST – Libérer le Style Généralisable avec la Diffusion 2D

Énoncé du Problème

Les avancées rapides des modèles génératifs 3D (par exemple, Trellis, UniLat, Hunyuan3D) ont permis la synthèse d'actifs 3D haute fidélité à partir de texte ou d'images. Cependant, une limitation critique persiste dans le transfert de style 3D : les méthodes existantes reposent généralement sur les capacités intrinsèques des modèles de génération 3D sous-jacents. Ces modèles sont souvent entraînés sur des distributions spécifiques, ce qui entraîne une dégradation significative de leurs performances ou un échec total lorsqu'ils sont confrontés à des images de style Hors Distribution (OOD). Les approches actuelles, telles que StyleSculptor et MorphAny3D, peinent à se généraliser à des styles arbitraires car elles dépendent de mécanismes d'attention internes qui ne sont pas robustes aux décalages de distribution. Cela limite leur applicabilité dans des scénarios réels où les utilisateurs sélectionnent des images de style de manière non contrainte.

Méthodologie : DiLAST

Pour répondre à ce problème, les auteurs proposent DiLAST (2D Diffusion-based Latent Awakening for 3D Style Transfer), un cadre d'optimisation au moment du test. Au lieu de réentraîner le générateur 3D ou de modifier son architecture, DiLAST exploite un Modèle de Diffusion Latente 2D (LDM) préentraîné en tant que « professeur » pour guider la trajectoire de débruitage des latents 3D structurés.

Mécanisme Central

1. Architecture et Décodage : La méthode utilise une représentation latente 3D structurée (par exemple, issue de Trellis) qui est décodée dans un format 3D, spécifiquement le 3D Gaussian Splatting (3DGS), pour permettre un rendu efficace et différentiable d'images multi-vues.
2. Optimisation Tri-Branches : Le cadre opère au sein d'un LDM 2D préentraîné (par exemple, Stable Diffusion) en utilisant trois branches parallèles :
   • Branche Contenu : Reçoit les vues rendues de l'actif 3D générées à partir de l'image de contenu.
   • Branche Style : Reçoit directement l'image de style cible OOD.
   • Branche Optimisation : Reçoit les vues rendues de l'actif 3D en cours d'optimisation. Crucialement, cette branche préserve la structure sparse de la première étape de génération mais utilise une version en niveaux de gris de l'image de contenu comme condition pour empêcher la dérive structurelle tout en apprenant le style.
3. Distillation d'Attention : L'innovation centrale consiste à transférer l'orientation stylistique via la distillation d'attention. La méthode calcule la différence entre les cartes d'auto-attention de la branche d'optimisation et les cartes de croix-attention de la branche de style. En minimisant cette différence, la branche d'optimisation est guidée pour adopter les motifs d'attention (et donc le style) de la branche de style, tandis que la branche contenu assure la fidélité structurelle.
4. Pilotage par Gradient : Les gradients de la perte totale par rapport au latent 3D sont calculés et utilisés pour piloter la trajectoire de débruitage de l'espace latent 3D. Les paramètres du transformateur de flux du générateur 3D restent figés ; seule la trajectoire latente est ajustée.

Fonctions de Perte

L'objectif global d'optimisation ($L_{total}$) comprend quatre composantes :

• Perte de Distillation d'Attention ($L_{AD}$) : Aligne l'attention de la branche d'optimisation avec celle de la branche de style pour transférer le style cible.
• Perte de Contenu ($L_C$) : Garantit que les caractéristiques de requête de la branche d'optimisation correspondent à celles de la branche contenu, préservant ainsi la géométrie et la structure sous-jacentes.
• Perte de Suppression des Flotteurs ($L_{FR}$) : Régularise les cartes de composition alpha pour prévenir les « Gaussiennes flottantes » (artefacts où la géométrie s'écarte excessivement de la silhouette originale).
• Perte de Suppression des Taches de Couleur ($L_{CSS}$) : Pénalise les écarts importants entre les couleurs des voxels voisins pour prévenir les artefacts de saturation et les taches de couleur spuriaires.

Contributions Clés

L'article identifie et adresse les points suivants :

• Identification des Limites : Les auteurs soulignent que l'échec des méthodes existantes de transfert de style 3D sur les styles OOD ne provient pas d'une capacité modèle insuffisante, mais de la sous-utilisation du potentiel expressif inhérent aux espaces latents 3D structurés.
• Cadre DiLAST : Une méthode d'optimisation au moment du test, plug-and-play, qui découple le transfert de style de la distribution d'entraînement du générateur 3D en utilisant un professeur de diffusion 2D.
• Expressivité Latente : Ce travail apporte le constat que les latents 3D structurés, bien qu'entraînés sur des données limitées, possèdent un potentiel expressif significatif. Avec une guidance de diffusion appropriée, ces latents peuvent être orientés vers des directions spécifiques de l'espace latent pour réaliser des stylisations diverses et OOD.
• Généralisation : La méthode démontre son efficacité sur plusieurs architectures de génération 3D (Trellis, UniLat3D, Hunyuan3D) et avec des entrées de style diverses, sans nécessiter de réentraînement du modèle.

Résultats Expérimentaux

Des expériences extensives ont été menées en utilisant le jeu de données TRELLIS-500K pour le contenu et InstantStyle-Plus pour les styles.

• Performance Quantitative : DiLAST surpasse nettement les méthodes de référence (MorphAny3D, StyleSculptor) sur toutes les métriques, y compris le Score de Préférence Humaine (HPSv3), le Score Esthétique (AS) et la Préférence Utilisateur (UP). Notamment, il montre une performance améliorée sous des prompts spécifiques, indiquant un meilleur équilibre entre la préservation du contenu et le transfert de style.
• Résultats Qualitatifs : Les comparaisons visuelles montrent que les méthodes de référence produisent souvent des artefacts ou échouent complètement avec des styles OOD, tandis que DiLAST transfère avec succès des styles divers (par exemple, cyberpunk néon, lavis d'encre, cubisme) tout en maintenant la cohérence géométrique.
• Études d'Ablation : La suppression de composantes spécifiques de la perte entraîne des échecs distincts :
  • Sans $L_C$, une fuite de contenu sévère se produit.
  • Sans $L_{FR}$, des Gaussiennes flottantes apparaissent.
  • Sans $L_{CSS}$, des artefacts de couleur (taches saturées spuriaires) dégradent la qualité visuelle.
• Capacité Plug-and-Play : La méthode a été appliquée avec succès à UniLat3D et Hunyuan3D, confirmant sa compatibilité avec différents espaces latents 3D et pipelines de génération.

Importance et Revendications

L'article revendique que DiLAST représente une avancée significative vers la stylisation 3D généralisable. En exploitant la robustesse des modèles de diffusion 2D entraînés sur des ensembles de données massifs, la méthode « réveille » la capacité latente des générateurs 3D pour gérer des styles arbitraires. Les auteurs soulignent que cette approche évite la nécessité de réentraîner les modèles 3D, offrant une solution flexible pour des applications réelles où les entrées de style sont non contraintes. Ce travail suggère que le potentiel des latents 3D structurés a été sous-estimé et que la guidance par diffusion est un mécanisme puissant pour orienter ces latents vers des résultats esthétiques souhaités.

Les auteurs notent que la performance de la méthode dépend de la qualité des modèles 2D et 3D préentraînés utilisés, et ils anticipent de nouvelles améliorations à mesure que ces modèles fondamentaux évolueront. Ils soulignent également le potentiel pour des tâches d'édition 3D plus larges au-delà du transfert de style dans les travaux futurs.