Camera Control for Text-to-Image Generation via Learning Viewpoint Tokens

1. Problématique

Les modèles actuels de génération d'images à partir de texte (Text-to-Image ou T2I) excellent dans la fidélité sémantique et le réalisme visuel, mais ils échouent souvent à suivre des instructions géométriques précises concernant le point de vue de la caméra.

• Ambiguïté du langage naturel : Des termes comme "vue de dos", "vue de 30° à gauche" ou "vue de dessus" sont intrinsèquement ambigus et discrets pour les modèles.
• Limitations des approches existantes :
  • Les méthodes basées sur l'entrée d'images supplémentaires (synthèse de nouvelle vue) ne fonctionnent pas pour la génération ab initio (à partir de zéro).
  • Les méthodes basées sur des tokens (comme Compass Control) se limitent souvent au contrôle de l'azimut (rotation horizontale) et souffrent de surapprentissage (overfitting) sur des objets spécifiques, échouant à généraliser à de nouvelles catégories.
  • Les modèles 3D-aware nécessitent souvent des entrées géométriques explicites (profondeur, maillages) qui réduisent la flexibilité.

L'objectif est de permettre un contrôle de caméra précis, paramétrable et global (incluant l'azimut, l'élévation, la distance, le tangage et le roulis) uniquement via des prompts textuels enrichis, sans nécessiter d'images de référence supplémentaires.

2. Méthodologie

L'approche proposée, nommée Viewpoint Tokens, intègre des paramètres de caméra explicites directement dans l'espace latent du modèle de génération.

A. Paramétrisation du Point de Vue

Le système adopte une approche centrée sur l'objet. L'objet est fixe à l'origine, face à l'axe X positif. La caméra est paramétrée par un vecteur de 5 paramètres ($\theta$) :

1. Azimut ($\theta_{az}$) : Rotation horizontale.
2. Élévation ($\theta_{el}$) : Angle vertical par rapport à l'horizontale.
3. Rayon ($r$) : Distance de la caméra, normalisée par le diamètre de l'objet.
4. Tangage ($\theta_{pitch}$) : Inclinaison de la caméra vers le bas.
5. Roulis ($\theta_{yaw}$) : Inclinaison latérale de la caméra.

B. Encodage des Tokens

Ces paramètres sont encodés via un MLP (Perceptron Multicouche) léger :

• Les paramètres sont d'abord transformés (sin/cos pour l'azimut pour gérer la périodicité, normalisation du rayon).
• Un MLP de 3 couches avec des activations ReLU mappe ces paramètres en un embedding de token ($e_{view}$).
• Ce token est concaténé aux embeddings textuels du prompt (à côté de la description de l'objet) et traité conjointement par le modèle de génération (backbone).

C. Architecture et Entraînement

• Backbone : Le modèle est fine-tuné sur une architecture unifiée multimodale (Harmon [42]), combinant un LLM et un décodeur MAR (Autoregressive).
• Entraînement conjoint : Le modèle de génération et l'encodeur de tokens de vue sont entraînés ensemble.
• Stratégie de données (Jeu de données à deux parties) : C'est un point clé pour éviter l'effondrement du modèle (collapse) ou la perte de réalisme.
  1. Données de rendu 3D (Volume élevé) : 3 111 objets 3D rendus sous 120 angles aléatoires avec fond transparent. Cela fournit une supervision géométrique forte et stricte.
  2. Données augmentées photoréalistes (Volume faible) : 800 objets issus du rendu 3D sont utilisés pour générer des images photoréalistes avec des arrière-plans variés via un modèle commercial (Nano Banana/Gemini). Cela maintient la diversité d'apparence et le réalisme du monde réel.
• Pendant l'entraînement, l'échantillonnage est équilibré entre ces deux types de données.

3. Contributions Clés

1. Contrôle de caméra d'état de l'art : La méthode offre une précision supérieure sur tous les paramètres de caméra (azimut, élévation, distance, tangage, roulis) tout en préservant la qualité de l'image et la fidélité au prompt.
2. Représentations factorisées et généralisables : Contrairement aux méthodes précédentes qui apprennent des tokens liés à l'identité de l'objet, les tokens de vue appris sont indépendants de l'objet. Ils capturent la géométrie de manière factorisée, permettant une généralisation robuste à des catégories d'objets jamais vues (ex: licornes, gundams, squelettes).
3. Compréhension globale de la scène : En apprenant conjointement le premier plan et l'arrière-plan, la méthode évite les incohérences géométriques et assure une relation cohérente entre l'objet et son environnement, contrairement aux méthodes qui se concentrent uniquement sur des "cutouts" d'objets.
4. Design de jeu de données hybride : La combinaison de rendus 3D purs (pour la géométrie) et d'augmentations photoréalistes (pour l'apparence) permet d'obtenir le meilleur des deux mondes sans surapprentissage.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks standards et des ensembles de données diversifiés.

• Précision du point de vue :

  • La méthode atteint une erreur moyenne d'azimut de 18,11° (contre 31,07° pour Compass Control et 25,65° pour ControlNet avec profondeur oracle).
  • Elle surpasse toutes les méthodes de référence (y compris Stable-Virtual-Camera) sur les 5 paramètres de caméra.
  • Elle maintient une haute précision même sur des vues "difficiles" (vues de dos, élévation élevée).

• Généralisation et Robustesse :

  • Sur un ensemble d'objets "divers" (incluant des catégories non vues durant l'entraînement comme le Santa Claus ou le phénix), la méthode conserve une faible erreur d'azimut.
  • Comparaison avec Compass Control : Compass Control montre un fort surapprentissage (94% des cas d'échec sur des objets inconnus génèrent des objets de son jeu d'entraînement, ex: un lion au lieu d'un dauphin). La méthode proposée ne présente pas ce problème et génère l'objet sémantiquement correct.

• Fidélité au Prompt (CLIP & GenEval) :

  • Le modèle conserve une forte fidélité sémantique (scores CLIP et GenEval élevés), prouvant que l'ajout de tokens de vue n'a pas dégradé la capacité du modèle à suivre les descriptions textuelles.

• Qualité Visuelle :

  • Les résultats qualitatifs montrent une cohérence globale entre l'objet et l'arrière-plan (lignes d'horizon correctes, éclairage cohérent), là où d'autres méthodes produisent des objets flottants ou des perspectives incohérentes.

5. Signification et Impact

Ce travail démontre qu'il est possible d'incorporer une structure 3D explicite dans les espaces latents texte-vision des modèles de diffusion modernes.

• Avancée technique : Il prouve que l'on peut passer d'un contrôle de caméra limité et local (azimut uniquement) à un contrôle global et paramétrable complet sans recourir à des entrées géométriques externes (comme des cartes de profondeur) lors de l'inférence.
• Applications : Cela ouvre la voie à des systèmes de génération d'images géométriquement conscients, essentiels pour des applications nécessitant une cohérence spatiale stricte (architecture, design de produits, storytelling visuel).
• Futur : L'approche suggère que l'ajout de tokens paramétriques simples aux prompts textuels est une voie efficace pour doter les modèles génératifs de capacités de raisonnement spatial avancées.

En résumé, cette méthode résout le problème de l'ambiguïté géométrique dans la génération d'images en apprenant à "parler" la langue de la géométrie 3D directement au sein du modèle de langage, offrant un contrôle précis et généralisable.