Camera Control for Text-to-Image Generation via Learning Viewpoint Tokens

Probleemstelling

Huidige tekst-naar-beeld (Text-to-Image of T2I) modellen, zoals die gebaseerd op diffusiemodellen, hebben moeite om nauwkeurige cameracontrole te bieden via natuurlijke taal. Hoewel deze modellen uitstekend zijn in semantische trouw en visuele realisme, falen ze vaak bij het interpreteren van specifieke geometrische instructies zoals "achterkant", "30° links" of "45° top-down perspectief".
De belangrijkste beperkingen zijn:

• Ambiguïteit: Natuurlijke taal is inherent vaag voor het specificeren van viewpoints.
• Hallucinaties: Modellen genereren vaak onjuiste poses of vallen terug op vooringenomen, canonieke hoeken (bijv. altijd frontaal).
• Inconsistentie: De geometrie is vaak niet consistent tussen verschillende generaties.
• Beperkingen van bestaande methoden: Bestaande oplossingen zoals View-NeTI overfitten op specifieke objecten, terwijl Compass Control beperkt is tot azimut-controle en geen globaal scene-onderscheidend vermogen heeft, wat leidt tot overfitten op trainingsobjecten.

Methodologie

De auteurs stellen een raamwerk voor dat T2I-generatie mogelijk maakt met precieze cameracontrole door het leren van parametrische viewpoint-tokens.

1. Object-Centrische Parametrisatie
Het systeem gebruikt een object-gecentreerd coördinatenstelsel waarbij het object vaststaat in de oorsprong en de voorkant altijd naar de positieve x-as wijst. De camera wordt geparametriseerd met een 5-parameter representatie ($\theta$):

• $(\theta_{az}, \theta_{el}, r)$: Positie van de camera in bolcoördinaten (azimut, elevatie, straal). De straal $r$ wordt genormaliseerd ten opzichte van de objectdiameter.
• $(\theta_{pitch}, \theta_{yaw})$: Relatieve rotatie van de camera ten opzichte van de richting naar de oorsprong.
• Er wordt aangenomen dat de "up"-richting van camera en object aligned zijn ($\theta_{roll} = 0$) en dat de brandpuntsafstand vaststaat.

2. Viewpoint Token Encoding
Deze 5 parameters worden omgezet in een leerbaar token:

• Eerst wordt een encodingsfunctie toegepast waarbij azimut via sinus/cosinus wordt gecodeerd (voor periodiciteit) en andere parameters worden genormaliseerd.
• Vervolgens wordt een lichtgewicht MLP (3 lagen met ReLU-activaties) gebruikt om deze gecodeerde parameters te mappen naar een token-embedding ($\mathbf{e}_{view}$).
• Dit viewpoint-token wordt naast de tekst-embeddings in de input van het T2I-model geplaatst, zodat het model zowel semantische inhoud als expliciete geometrische instructies kan verwerken via het attentie-mechanisme.

3. Dataset Ontwerp (Twee-onderdelen)
Om overfitten te voorkomen en zowel geometrie als realisme te waarborgen, gebruiken de auteurs een unieke dataset-strategie:

• Groot gerenderd dataset: 3.111 3D-objecten (TexVerse) worden gerenderd vanuit 120 willekeurige viewpoints met transparante achtergronden. Dit biedt sterke geometrische supervisie.
• Fotorealistische augmentatie: Een subset van 800 objecten wordt gebruikt om fotorealistische achtergronden te genereren met behulp van een commercieel model (Nano Banana/Gemini). Dit zorgt voor diversiteit in uiterlijk en achtergrond en voorkomt dat het model "vergeet" hoe het complexe scènes moet renderen.
• Tijdens het training worden beide datasets evenredig bemonsterd.

4. Training
Het model (bijv. Harmon, een multimodaal model) wordt fine-tuned in combinatie met de viewpoint-MLP. Het model leert om de viewpoint-tokens te integreren zonder de bestaande tekst-naar-beeld capaciteiten te verliezen.

Belangrijkste Bijdragen

1. State-of-the-art Cameracontrole: Het bereikt de hoogste nauwkeurigheid in zowel bereik als precisie voor camera-posities, terwijl de beeldkwaliteit en trouw aan de prompt behouden blijven.
2. Contextbehoudende Training: In tegenstelling tot methoden die werken met geïsoleerde objecten, leert dit model viewpoint-cues met een globaal begrip van de scène, wat zorgt voor consistente relaties tussen voor- en achtergrond.
3. Unieke Dataset-strategie: De combinatie van massale 3D-renderings (voor geometrie) en fotorealistische augmentaties (voor realisme) is cruciaal voor het voorkomen van overfitten en het behoud van diversiteit.
4. Generalisatie: Het leert viewpoint-embeddings die onafhankelijk zijn van objectidentiteit. Dit betekent dat het model goed generaliseert naar ongeziene objectcategorieën (bijv. mythische wezens of specifieke voertuigen) zonder de geometrische logica te verliezen.

Resultaten

De methode is geëvalueerd op zowel kwantitatieve als kwalitatieve benchmarks:

• Kwantitatieve Prestaties:

  • De methode behaalt de laagste hoekfouten (azimut, elevatie, pitch, yaw) en straalfouten vergeleken met baselines zoals ControlNet-Depth, Stable-Virtual-Camera en Compass Control.
  • Bijvoorbeeld: De gemiddelde azimutfout is 18.11° voor de auteurs' methode, tegenover 31.07° voor Compass Control en 25.65° voor ControlNet (zonder oracle-geometrie).
  • Het behoudt hoge scores op CLIP-similairiteit en GenEval-benchmarks, wat aangeeft dat de tekst-trouw behouden blijft.

• Generalisatie en Robuustheid:

  • Compass Control faalt vaak bij nieuwe objecten (bijv. genereert een "Santa Claus" als een dier of een "dolfijn" als een viervoeter), wat wijst op overfitten op trainingscorrelaties.
  • De voorgestelde methode produceert semantisch correcte resultaten voor zowel bekende als ongezien objecten (zoals een Phoenix, Gundam of een Okapi).
  • De methode presteert goed op uitdagende viewpoints (achterkanten en hoge elevaties), waar andere methoden vaak instorten of de prompt negeren.

• Kwalitatieve Vergelijking:

  • De gegenereerde beelden tonen consistente perspectieven en correcte achtergrondinteracties (bijv. horizonlijnen die veranderen met de camera-elevatie), in tegenstelling tot methoden die lokale objectcontrole toepassen en globale coherentie missen.

Betekenis en Impact

Dit werk toont aan dat tekst-visualisatie latent spaces kunnen worden verrijkt met expliciete 3D-camerastructuren via eenvoudige parametrische encoding.

• Het opent een nieuwe weg naar geometrisch bewust T2I-generatie, waarbij gebruikers niet alleen de inhoud, maar ook het perspectief en de compositie van een scène nauwkeurig kunnen sturen.
• Het lost het probleem op van "object-gecentreerd" denken in bestaande methoden en introduceert een scène-gecentreerde aanpak die essentieel is voor realistische beeldgeneratie.
• De methode is model-onafhankelijk en werkt op verschillende T2I-backbones, wat de toepasbaarheid in de bredere community vergroot.

Samenvattend biedt deze paper een robuuste oplossing voor een van de grootste uitdagingen in generatieve AI: het vertalen van abstracte camera-instructies naar precieze, geometrisch correcte en visueel overtuigende beelden.