GAP3D: Generative Alignment of VLM Latents to Patch-Level Embeddings for 3D Generation

Résumé technique de GAP3D : Alignement génératif des latents de modèles vision-langage vers des embeddings au niveau des patches pour la génération 3D

Énoncé du problème
Les récents efforts visant à intégrer des modèles vision-langage (VLM) en tant qu'encodeurs de prompts pour des modèles génératifs se heurtent à des limitations majeures. Les approches standards reposent souvent sur un réentraînement coûteux de bout en bout ou sur la transformation des caractéristiques des VLM en représentations compressées et regroupées (par exemple, les embeddings CLIP ou T5). Ces vecteurs compressés éliminent la structure spatiale dense au niveau des patches, essentielle pour des tâches sensibles à la géométrie comme la génération d'actifs 3D. Par conséquent, les méthodes existantes peinent à assurer une liaison précise des attributs fins, à gérer des structures compositionnelles complexes et à offrir un contrôle géométrique précis. Bien que des cadres étroitement couplés offrent un raisonnement multimodal, ils manquent de compatibilité avec des systèmes préentraînés figés et nécessitent d'énormes jeux de données spécifiques à un domaine. À l'inverse, les approches modulaires qui alignent les VLM sur des modèles de diffusion figés ciblent généralement uniquement les tokens regroupés, échouant à fournir les signaux de conditionnement spatialement détaillés requis pour une génération 3D haute fidélité.

Méthodologie : GAP3D
Les auteurs proposent GAP3D (Generative Alignment of VLM latents to Patch-level embeddings for 3D generation), une approche modulaire basée sur la diffusion conçue pour combler le fossé de représentation entre les VLM et les espaces d'encodeurs d'images denses, sans réentraîner le modèle génératif en aval.

• Alignement génératif via un flux rectifié : Contrairement à une régression déterministe, GAP3D utilise un transformateur de diffusion (DiT) basé sur le cadre du flux rectifié (Rectified Flow). Cette approche générative est choisie car la transformation de caractéristiques sémantiques abstraites issues d'un VLM en représentations visuelles denses implique la synthèse de détails géométriques et d'apparence non explicitement présents dans le prompt textuel, rendant la tâche non déterministe.
• Espace cible : Le modèle aligne les latents générés par le VLM directement sur l'espace de caractéristiques complet d'un encodeur d'images préentraîné, spécifiquement DINOv2. Cet espace cible comprend :
  • Une grille 2D dense d'embeddings de patches ($x_p$) encodant l'apparence et la géométrie locales.
  • Un token de classe global ($x_{cls}$) pour la sémantique de haut niveau.
  • Des tokens de registre ($x_{reg}$) pour agréger le contexte global intermédiaire.
• Architecture :
  • Entrée : Un VLM figé (Qwen2.5-VL-3B) encode les prompts utilisateur. Des « soft tokens » entraînables sont ajoutés à l'entrée du VLM pour produire une séquence de caractéristiques sémantiques latentes ($C$).
  • Générateur : Un DiT accepte des états bruités de la grille de patches, du token CLS et des tokens de registre. Il utilise une attention croisée pour injecter les latents du VLM ($C$) et prédit le champ de vitesse nécessaire pour débruire les entrées vers l'espace d'embedding DINOv2 cible.
  • Objectif d'entraînement : Le modèle est entraîné par matching de flux pour minimiser la différence entre le champ de vitesse prédit et le vrai champ vectoriel reliant le bruit aux embeddings DINOv2 de vérité terrain.
• Intégration en aval : Les embeddings denses générés servent de signaux de conditionnement pour un modèle génératif image-3D TRELLIS figé. Cela transforme efficacement la tâche texte-3D en un problème pseudo-image-3D, exploitant les priors spatiaux de l'encodeur d'images.
• Adaptation de domaine : Pour pallier le décalage de distribution entre les images naturelles (données d'entraînement) et les rendus 3D synthétiques (domaine cible), les auteurs emploient un curriculum en deux étapes :
  1. Préentraînement : Sur de grands ensembles de paires image-texte générales (jeu de données BLIP3-o) pour apprendre une transformation robuste entre la sémantique et les caractéristiques visuelles.
  2. Affinage : Sur un jeu de données plus petit de rendus d'actifs 3D (Objaverse-XL) pour aligner la distribution des caractéristiques avec les attentes du modèle TRELLIS figé, réduisant ainsi les artefacts.

Contributions clés

1. Alignement de représentation générative dense : L'article démontre que les caractéristiques des VLM peuvent être alignées sur des espaces d'embeddings au niveau des patches de haute dimension d'encodeurs d'images préentraînés via le matching de flux, dépassant ainsi les vecteurs sémantiques compressés.
2. Génération modulaire d'actifs 3D : La méthode permet la génération texte-3D et un conditionnement multimodal émergent sans réentraînement de bout en bout de l'épine dorsale 3D, étendant le conditionnement basé sur les VLM au-delà du domaine de l'image.
3. Insights sur l'adaptation de domaine : L'étude met en évidence que l'affinage spécifique au domaine est crucial pour combler le fossé entre les images naturelles et les rendus 3D synthétiques, réduisant considérablement les artefacts dans les pipelines modulaires.

Résultats expérimentaux
Évalué sur la génération d'actifs 3D utilisant le jeu de données Toys4K et MS-COCO pour l'alignement général :

• Qualité d'alignement : GAP3D réalise un alignement significatif entre les prompts textuels et les embeddings de patches DINOv2. Bien que le modèle affiné montre un alignement supérieur sur les rendus 3D (Toys4K), il présente un « oubli catastrophique » sur les images naturelles générales (MS-COCO), indiquant un compromis entre spécificité du domaine et généralisation.
• Génération 3D : Le modèle GAP3D affiné surpasse nettement la version préentraînée et s'approche des performances de la baseline native TRELLIS texte-3D. Il supprime avec succès les artefacts d'arrière-plan (par exemple, des plans de sol fusionnés) et capture des détails spécifiques du prompt tels que les schémas de couleurs (« jaune et noir ») et les formes d'objets. Cependant, la fidélité géométrique et la liaison fine des attributs (par exemple, des couleurs spécifiques sur des formes complexes) restent inférieures à la baseline native image-3D.
• Capacités multimodales émergentes : Bien qu'entraîné exclusivement sur du texte, le modèle présente des capacités zero-shot pour des prompts multimodaux. Lorsqu'il reçoit une image et une instruction textuelle (par exemple, « Rends-le rouge »), le modèle extrait avec succès des concepts sémantiques et applique des modifications, bien qu'il fonctionne principalement comme un traducteur sémantique plutôt que comme un éditeur préservant la structure, générant souvent une nouvelle géométrie alignée sur la sémantique plutôt que d'éditer strictement l'image d'entrée.

Portée et affirmations
Les auteurs positionnent GAP3D comme une étape significative vers l'intégration modulaire de modèles de fondation. En démontrant que les latents des VLM peuvent être mappés vers des espaces d'embeddings denses et spatialement structurés via un alignement génératif, ce travail suggère une voie pour connecter des modèles préentraînés indépendamment sans réentraînement coûteux. L'article affirme que, bien que des limitations actuelles existent concernant les détails fins et la fidélité géométrique, l'approche comble avec succès le fossé de représentation entre les VLM et les encodeurs d'images. Les auteurs soulignent que leur méthode privilégie la sémantique de haut niveau et établit la faisabilité de connecter des modèles de fondation dans des espaces de haute dimension, ouvrant la voie à des systèmes de génération évolutifs et polyvalents où les encodeurs et les générateurs peuvent être mis à niveau indépendamment.