GeoStream: Toward Precise Camera Controlled Streaming Video Generation

Technische Samenvatting: GeoStream

Probleemstelling

Nauwkeurige interactieve cameracontrole is een fundamentele vereiste voor video-gebaseerde wereldmodellen, wat toepassingen mogelijk maakt zoals immersieve scène-exploratie en robotica-simulatie. De huidige benaderingen kampen echter met aanzienlijke beperkingen in de controleerbaarheid:

1. Beperkingen in impliciete controle: De meeste huidige wereldmodellen voor video injecteren camera-pose embeddings of gebruiken controlelagen impliciet. Hoewel deze visueel plausibel zijn, ontbreekt het deze methoden aan een expliciete geometrische gronding. Ze leren camerabeweging als statistische correlaties uit data, wat leidt tot systematische onnauwkeurigheden wanneer de ingevoerde trajecten afwijken van de trainingsdistributie. Specifiek vertonen ze schaalambiguïteit: het vergroten van de magnitude van de ingevoerde cameratranslatie resulteert niet in een proportioneel grotere beweging in de gegenereerde video. In plaats daarvan regresseert het model naar typische trajecten in plaats van het te volgen op basis van metrieke schaalverzoeken.
2. Beperkingen in expliciete controle: Methoden die expliciete geometrische conditionering introduceren (bijv. door gebruik te maken van 3D-puntenwolken) verbeteren de controleerbaarheid, maar zijn doorgaans niet-autoregressief of vertrouwen ze op een statische 3D-cache die is opgebouwd vanuit een initiële frame. Zodra het gezichtsveld voorbij de oorspronkelijke frustum beweegt, wordt deze statische geometrie ineffectief en degradeert het geometrische signaal tot een ruisige, gedeeltelijk geobserveerde aanwijzing.
3. Exposure Bias in Streaming: Bestaande streamingmethoden die proberen geometrie over de tijd te accumuleren, introduceren drift. Bovendien, wanneer autoregressieve modellen worden getraind met zelf-gegenereerde geometrische conditionering, ontstaat er een tweede-orde geometrische feedbackloop: fouten in gegenereerde frames propageren door de diepteschatter naar de puntenreprojecties, wat over tijd cumuleert. Standaard trainingsmethoden (zoals off-policy condition noising) slagen er niet in deze specifieke foutdistributie aan te pakken.

Methodologie: GeoStream

GeoStream is een framework ontworpen voor precieze, metriek-schaal cameracontrole in autoregressieve streaming video-generatie. Het pakt de bovenstaande problemen aan via twee kerncomponenten: een zelfverversende 3D-cache en een volledig on-policy distillatiestrategie.

1. Zelfverversende 3D-cache

In tegenstelling tot eerder werk dat een persistente, gefuseerde 3D-geheugen bijhoudt, gebruikt GeoStream een mechanisme van sliding-window cacheverversing:

• Periodieke herbouw: De generatiesequentie wordt opgedeeld in niet-overlappende temporele vensters (chunks). Aan het einde van elk venster wordt de 3D-cache weggegooid en opnieuw opgebouwd vanuit het meest recent gegenereerde frame.
• Proces: Het model schat de diepte van het laatste gegenereerde frame, unprojecteert pixels naar de 3D-ruimte om een puntenwolk te vormen, en reprojecteert vervolgens deze punten naar het doelcamera-gezichtspunt.
• Conditionering: De resulterende puntenreprojectieafbeelding dient als een expliciet geometrisch conditioneringssignaal voor de synthese van de daaropvolgende frames.
• Ratio: Door de verouderde geometrie weg te gooien in plaats van deze te fuseren, vermijdt de methode cumulerende inconsistenties (bijv. gelaagingsartefacten) en zorgt het ervoor dat de geometrische sturing temporeel in lijn blijft met de huidige inhoud, zelfs bij grote camerabewegingen.

2. On-Policy Causal Distillation

Om een causale student-model te trainen dat betrouwbaar kan conditioneren op deze zelfverversende cache, pakt GeoStream twee vormen van exposure bias aan: standaard autoregressieve drift en de tweede-orde geometrische feedbackloop. De training verloopt in twee fasen:

• Fase 1: Off-Policy Warmup: Een bidirectioneel teacher-model wordt getraind op ground-truth frames en geometrische conditionering. Een causale student wordt vervolgens geïnitialiseerd via teacher-forced autoregressieve diffusietraining. In deze fase ziet de student een schone ground-truth context en conditionering, wat het model afstemt op de generatiedistributie, maar nog niet de zelf-gegenereerde fouten aanpakt.
• Fase 2: On-Policy DMD Distillation: De student wordt gedistilleerd met behulp van Distribution Matching Distillation (DMD). Cruciaal is dat tijdens deze fase de geometrische conditionering (puntenreprojecties) wordt gerenderd vanuit de eigen gegenereerde frames van de student in plaats van ground truth.
  • Dit creëert een "self-rollout" waarbij de student wordt gesuperviseerd tegen de exacte gezamenlijke distributie van contextframes en geometrische artefacten die hij tijdens de inferentie zal tegenkomen.
  • Deze aanpak stemt de trainings- en inferentiedistributies op natuurlijke wijze op elkaar af, waardoor de tweede-orde feedbackloop effectief wordt gesloten zonder te vertrouwen op handmatig vervaardigde ruisbenaderingen die in off-policy methoden worden gebruikt.

Belangrijkste Bijdragen

1. GeoStream Framework: Een streaming autoregressief video-generatieframework dat precieze, metriek-schaal viewpoint manipulatie mogelijk maakt onder grote camerabewegingen door causale synthese te koppelen aan expliciete, online-verversende 3D-geometrische conditionering.
2. Periodieke 3D-cacheverversing: Een mechanisme dat temporeel uitgelijnde geometrische conditionering behoudt door de 3D-cache bij chunk-grenzen opnieuw op te bouwen vanuit recente gegenereerde frames, waardoor de noodzaak voor langdurig scènegeneugen of offline reconstructie wordt geëlimineerd.
3. Volledig On-Policy Trainingsstrategie: Een nieuw trainingsrecept bestaande uit off-policy warmup gevolgd door on-policy DMD-distillatie. Deze strategie spiegelt het zelfverversingsmechanisme tijdens de inferentie, waardoor de student wordt blootgesteld aan de werkelijke zelf-gegenereerde foutdistributie en de geometrie-geïnduceerde exposure bias wordt geëlimineerd.

Experimentele Resultaten

De methode werd geëvalueerd op de RealEstate10K dataset, waarbij het werd vergeleken met state-of-the-art impliciete (bijv. MotionCtrl, SEVA) en expliciete (bijv. FlexWorld, ViewCrafter, Spatia) baselines.

• Kwantitatieve Prestaties: GeoStream bereikt state-of-the-art prestaties op het gebied van visuele getrouwheid-metrieken (FVD, PSNR, SSIM, LPIPS) en camera-traject nauwkeurigheidsmetrieken (Absolute Trajectory Error - ATE, Relative Translation Error - RTE, Relative Rotation Error - RRE).
  • Het presteert significant beter dan baselines op lokale traject-metrieken (RTE, RRE), wat een superieur vermogen aantoont om metriek-schaal bewegingen te volgen.
  • Zelfs wanneer baselines opnieuw worden geëvalueerd met dezelfde sterke diepte-backbone (MoGe-2) als GeoStream, behoudt GeoStream een voorsprong in FVD en lokale traject-metrieken, wat bewijst dat de winst niet uitsluitend toe te schrijven is aan de diepteschatter.
• Schaalgevoeligheid: Experimenten waarbij de magnitude van de ingevoerde cameratranslatie werd geschaald, laten zien dat GeoStream consistente foutpercentages behoudt over verschillende schalen. In contrast hiermee vertonen impliciete baselines "regressie naar het gemiddelde", waarbij ze kleine bewegingen overdrijven en grote bewegingen onderschatten.
• Robuustheid: GeoStream vertoont een superieure robuustheid tegen zware traject-perturbaties (zigzag-bewegingen) vergeleken met baselines, die de neiging hebben om hoogfrequente bewegingen te overmatig te verzachten.
• Efficiëntie: Ondanks de overhead van diepteschatting en cacheverversing, bereikt GeoStream een aanzienlijke versnelling in de inferentiesnelheid (4.05 fps) vergeleken met bidirectionele baselines (0.4–0.77 fps) op een NVIDIA A100, wat het geschikt maakt voor real-time toepassingen.

Betekenis en Claims

Het artikel claimt dat GeoStream een strikt upgrade vormt ten opzien van zowel impliciete als bestaande expliciete camera-conditioneringsmethoden. De primaire betekenis ligt in het aantonen dat expliciete, online-verversende geometrie essentieel is voor precieze metriek-schaal controle in streaming generatie.

De auteurs benadrukken dat het cruciale inzicht de causale uitlijning van de geometrische conditionering is: zodra de generator causaal is, moet de geometrische conditionering ook causaal zijn. Door de cache opnieuw op te bouwen vanuit de eigen outputs van het model en te trainen via on-policy distillatie, slaagt GeoStream erin de cumulerende fouten die inherent zijn aan autoregressieve geometrische feedbackloops te mitigeren. Het artikel concludeert dat dit mechanisme als een plug-in module voor andere streaming pipelines zou kunnen dienen, hoewel het valideren van deze algemeenheid als toekomstig werk wordt gelaten. De methode wordt licht beperkt door het geheugenloze cache-ontwerp (gebrek aan expliciete long-term loop closure) en de inferentie-latentie, maar het brengt de stand van de techniek in streaming cameracontrole aanzienlijk vooruit.