Towards Realistic and Consistent Orbital Video Generation via 3D Foundation Priors

Probleemstelling

Het genereren van realistische en consistente orbital video's (video's die rond een object draaien) vanuit één enkele objectafbeelding is een uitdagende taak met grote toepassingen in e-commerce, extended reality en game-ontwerp. Bestaande methoden voor videogeneratie, die vaak gebaseerd zijn op grote diffusion transformers, vertrouwen voornamelijk op pixel-wise attention om consistentie tussen frames te waarborgen.

Deze mechanismen hebben echter twee belangrijke beperkingen:

1. Onvoldoende constraints voor langeafstandsextrapolatie: Bij grote perspectiefveranderingen (bijvoorbeeld van vooraanzicht naar achteraanzicht) zijn pixelcorrespondenties beperkt of onbetrouwbaar. Zonder extra kennis leidt dit vaak tot onrealistische resultaten met vervormde vormen en inconsistente structuren.
2. Beperkte 2.5D priors: Recentere werken proberen geometrie te gebruiken via 2.5D-representaties (zoals dieptekaarten of normaalmaps). Deze kunnen echter geen compleet objectmodeleren, waardoor de generatie van onzichtbare of verduisterde delen van het object onder-construeerd blijft.

Methodologie

De auteurs stellen een nieuwe pipeline voor die videogeneratie verrijkt met 3D foundation priors. Het doel is om de robuustheid en realisme van de gegenereerde video's te verbeteren door gebruik te maken van rijke vorminformatie die is geleerd door een 3D-generatief foundation model.

De kern van de methode bestaat uit drie stappen:

1. Extractie van 3D Foundation Priors:

   • In plaats van een tussenstap van 2D-afbeeldingen te gebruiken, wordt de invoerafbeelding door een pre-getraind 3D foundation model (in dit geval Hunyuan3D) gestuurd.
   • Dit model leert objectvormen direct in een native 3D-latent ruimte te modelleren, wat zorgt voor een semantisch betekenisvolle latent ruimte met rijke structurele informatie.
   • Er worden twee schalen van latent features geëxtraheerd als vorm-prior:
     • (i) Een globale latent vector: Een gedenoiseerde vector die dient als algemene structurele leidraad voor het hele object.
     • (ii) Een set latent afbeeldingen: Gedetailleerde, view-afhankelijke geometrie die wordt verkregen door volumetrische features te projecteren vanuit de globale vector. Dit biedt fijne geometrische details.

2. Multi-Scale 3D Adapter:

   • Om deze 3D-priors effectief te integreren in een bestaand basis-videomodel (gebaseerd op SVD - Stable Video Diffusion), introduceren de auteurs een Multi-Scale 3D Adapter.
   • Deze adapter injecteert de features via cross-attention lagen:
     • De globale vector wordt herhaald voor alle frames om een uniforme vormreferentie te bieden.
     • De lokale volumetrische features worden geprojecteerd op canonieke weergaven en gefuseerd met de video-features.
   • Dit ontwerp behoudt de pre-getrainde tijdelijke priors van het basisvideomodel en maakt een model-agnostische fine-tuning mogelijk zonder de basisarchitectuur volledig te herschrijven.

3. Inference en Training:

   • Het systeem wordt getraind op een groot dataset (Objaverse-XL) met synthetische orbital video's.
   • Tijdens inferentie worden de 3D-priors gebruikt als conditionele signalen om de denoising-proces van de video te sturen, waardoor de structuur van het object consistent blijft over de volledige rotatie.

Belangrijkste Bijdragen

1. Integratie van 3D Foundation Priors: Een nieuwe methode die videogeneratie koppelt aan 3D foundation priors, wat aanzienlijk leidt tot verbeterd vormrealisme en view-consistentie, zelfs bij onzichtbare objectdelen.
2. Multi-Scale 3D Adapter: Een efficiënte plug-in module die latent vormfeatures injecteert in videomodellen via cross-attention. Dit vermijdt tijdrovende mesh-extractieprocessen en zorgt voor een snellere inferentie.
3. Superieure Generalisatie: De methode generaliseert robuust naar complexe camera-trajecten (inclusief dynamische elevaties) en "in-the-wild" afbeeldingen, waar bestaande methoden vaak falen.

Resultaten

De auteurs evalueren hun methode op meerdere benchmarks (Objaverse-XL en GSO) en vergelijken deze met state-of-the-art methoden zoals SV3D, Hi3D, Wonder3D en 3D-generatiemodellen zoals Hunyuan3D en Trellis.

• Kwantitatieve resultaten: De methode presteert significant beter dan bestaande methoden op alle metrics:
  • Visuele kwaliteit: Hogere PSNR en SSIM, lagere LPIPS.
  • Vormrealisme: Hogere CLIP-scores, wat aangeeft dat de gegenereerde objecten beter overeenkomen met realistische vormverdelingen.
  • Consistentie: Lagere MEt3R scores (een metric voor multi-view consistentie), wat aantoont dat de frames beter met elkaar overeenkomen zonder artefacten.
• Kwalitatieve resultaten:
  • In tegenstelling tot 2D-gebaseerde methoden die vaak vervormde vormen produceren bij achteraanzichten, behoudt deze methode een coherente structuur.
  • In tegenstelling tot pure 3D-generatiemodellen (die meshes renderen), behoudt de methode de hoge textuurkwaliteit en view-afhankelijke belichtingseffecten van videodiffusiemodellen.
• Efficiëntie: De extra berekening voor het extraheren van priors en het gebruik van de adapter voegt slechts een minimale overhead toe (ongeveer 2,5 seconden extra per afbeelding op een H200 GPU), zonder de kwaliteit te offeren.

Betekenis en Conclusie

Dit paper markeert een belangrijke stap in de evolutie van single-image-to-video generatie. Door de kloof tussen 2D-videodiffusie en 3D-geometrische kennis te overbruggen, lost het een fundamenteel probleem op: het creëren van consistente 3D-structuren zonder expliciete 3D-reconstructie in de inferentiecyclus.

De significance ligt in het bewijs dat 3D foundation priors als een krachtige, zijdelingse constraint kunnen fungeren om de beperkingen van puur pixelgebaseerde attention-mechanismen te overwinnen. Dit resulteert in een robuustere, realistischere en meer betrouwbare generatie van orbital video's, wat cruciaal is voor praktische toepassingen waar visuele consistentie en object-integriteit essentieel zijn. De methode biedt bovendien een flexibele architectuur die kan worden toegepast op verschillende basisvideomodellen.