💻 computer science

DEVIS-GRPO: Unleashing GRPO on Dynamic Extreme View Synthesis

Het artikel stelt DEVIS-GRPO voor, een nieuw online policy gradient-raamwerk dat een cumulatieve steekproefstrategie (ADEVIS) en een meerlagige beloningsfunctie gebruikt om efficiënte, hoogwaardige trajectgecontroleerde videogenereatie voor extreme viewsynthese mogelijk te maken zonder dat er dure gekoppelde grote-view trainingsdata voor nodig is.

Oorspronkelijke auteurs: Yi Zuo, Huimin Wu, Lingling Li, Fang Liu, Licheng Jiao, Qing Li

Gepubliceerd 2026-05-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yi Zuo, Huimin Wu, Lingling Li, Fang Liu, Licheng Jiao, Qing Li

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een video probeert op te nemen van een drukke straat, maar in plaats van de camera slechts iets naar links of rechts te zwenken, wil je 180 graden draaien om te zien wat er achter je is, terwijl je ervoor zorgt dat de gebouwen en mensen er precies uitzien alsof ze op de juiste plek blijven.

Huidige video-AI-tools zijn als nerveuze toeristen: ze kunnen kleine draaiingen aan, maar als je ze vraagt om snel rond te draaien, krijgen ze duizelig. De gebouwen kunnen rekken, de mensen kunnen verdwijnen, of de achtergrond kan plotseling veranderen van een zonnig park naar een donkere grot. Dit gebeurt omdat de AI niet genoeg voorbeelden heeft gezien van zulke grote, dramatische camerabewegingen om te weten hoe ze alles consistent moeten houden.

Het artikel "DEVIS-GRPO" introduceert een slimme nieuwe manier om AI te leren hoe ze met deze extreme cameradraaiingen om moet gaan zonder een enorme bibliotheek met vooraf opgenomen "perfecte" voorbeelden nodig te hebben. Hier is hoe ze dat deden, opgesplitst in eenvoudige concepten:

1. Het Probleem: De "Grote Sprong" versus de "Baby-stap"

Bestaande AI-modellen proberen van het startpunt van de camera naar de uiteindelijke extreme hoek te springen in één enorme sprong. Het is alsof je probeert om in één sprong over een brede rivier te springen; je mist vaak de andere kant of landt in het water.

De auteurs realiseerden zich dat als je die grote sprong opbreekt in een reeks kleine, hanteerbare stappen, de AI het veel beter aankan. Ze noemen dit ADEVIS (Accumulative Dynamic Extreme View Synthesis).

De Analogie: Stel je voor dat je een steile berg beklimt. In plaats van te proberen naar de top te vliegen, zet je kleine stapjes. Je loopt een beetje, kijkt naar het uitzicht, zet nog een stap en kijkt weer. Tegen de tijd dat je de top bereikt, heb je een continue, gladde weg gebouwd. De AI doet hetzelfde: het genereert een klein stukje van het nieuwe uitzicht, gebruikt dat als leidraad voor het volgende kleine stukje, en gaat zo door totdat de volledige 180-graden draaiing voltooid is.

2. De Trainingstruc: Het "Groepsspel" (GRPO)

Normaal gesproken heb je, om een AI iets zo complexs te leren, een enorme dataset nodig van "Voor" en "Na" video's die perfect op elkaar zijn afgestemd. Deze vinden is duur en moeilijk.

De auteurs gebruikten een methode genaamd GRPO (Group Relative Policy Optimization). Denk hierbij aan een spelshow waar de AI geen perfect antwoordboekje nodig heeft.

Hoe het werkt: De AI probeert de video op veel verschillende manieren tegelijk te genereren (een "groep"). Sommige pogingen zijn oké, sommige zijn slecht en sommige zijn geweldig.
De Rechter: In plaats van het werk van de AI te vergelijken met een perfect door mensen gemaakt video, vergelijkt het systeem de eigen pogingen van de AI met elkaar. Het vraagt: "Welke van deze 10 pogingen ziet er het meest consistent en glad uit?"
De Beloning: De AI krijgt een "hoog score" voor de beste pogingen en leert om meer van dat soort te doen. Hierdoor kan de AI leren van zijn eigen "baby-stapjes" zonder dure, vooraf opgenomen trainingsdata nodig te hebben.

3. Het "Bullet Time"-Veiligheidsnet

Wanneer de AI deze kleine stappen zet, wordt de wiskunde soms rommelig, vooral wanneer objecten verborgen zijn (occluderen) of de diepte moeilijk te raden is. De auteurs probeerden vier verschillende strategieën om dit op te lossen, maar de beste heette BTA (Bullet Time Accumulation).

De Analogie: Stel je een filmscène voor waarin een personage springt en de camera in "bullet time" (slow motion) om hen heen draait. De AI creëert een "slow motion"-brug tussen het oude en het nieuwe uitzicht. Het herhaalt het eerste frame van de video een paar keer en laat de camera voor die paar frames super langzaam bewegen. Dit geeft de AI extra tijd om de geometrie uit te rekenen en de gaten soepel op te vullen voordat het weer versnelt naar de uiteindelijke hoek.

4. De Resultaten: Geen "Glitchy" Draaiingen Meer

Het team testte hun methode op drie verschillende datasets (gesimuleerde werelden, echte iPhone-video's en professionele filmclips). Ze ontdekten dat hun methode:

Zaken consistent houdt: De gebouwen en mensen blijven op de juiste plek, zelfs na een enorme cameradraaiing.
Het pad volgt: Als je de camera vertelt om 130 graden te bewegen, beweegt deze echt 130 graden, in plaats van verdwaald te raken.
De concurrentie overtreft: Op de "Kubric-4D"-dataset verbeterde hun methode de helderheid van de video met meer dan 21% in vergelijking met de op één na beste methode. Op iPhone-video's verminderde het visuele "onscherpte" met bijna 19%.

Samenvatting

Kortom, DEVIS-GRPO is een nieuwe manier om AI te leren om wild met zijn camera te draaien zonder in de war te raken. In plaats van te proberen de hele draaiing in één keer te leren, leert het door kleine stapjes te zetten, een "groepsspel" te spelen om uit te zoeken welke stappen het beste zijn, en een "slow motion-brug" te gebruiken om de lastige delen glad te strijken. Hierdoor kan het hoogwaardige, consistente video's maken vanuit extreme hoeken zonder een enorme bibliotheek met perfecte trainingsvoorbeelden nodig te hebben.

Technische Samenvatting: DEVIS-GRPO

Probleemstelling
Trajectgecontroleerde videogenereatie is essentieel voor toepassingen zoals virtual reality, simulatie voor autonoom rijden en cinematografische productie. Hoewel bestaande methoden adequaat presteren bij kleine camerabewegingen (doorgaans binnen 40°), degraderen ze aanzienlijk bij het verwerken van grote of "extreme" gezichtshoekveranderingen (meer dan 90°). Huidige benaderingen vallen over het algemeen in twee paradigma's: impliciete camera-embeddingmodellering en expliciete reprojectiemodellering. Beide kampen met problemen bij extreme gezichtshoeken: impliciete methoden slagen er vaak niet in om het gespecificeerde cameratraject nauwkeurig te volgen, terwijl expliciete methoden vaak inconsistenties produceren tussen de voorgrond- en achtergrondinhoud van de bron- en gegenereerde video's. Deze beperking wordt grotendeels toegeschreven aan het gebrek aan gesynchroniseerde videodatasets met extreme gezichtshoekveranderingen, aangezien de realwereldverwerving van dergelijke data uitdagend is. Bestaande datasets bevatten doorgaans alleen bewegingen met kleine hoeken of statische scènes, waardoor modellen niet kunnen generaliseren naar dynamische extreme gezichtshoeken.

Methodologie
De auteurs stellen DEVIS-GRPO (Dynamic Extreme VIew Synthesis-GRPO) voor, een raamwerk dat Group Relative Policy Optimization (GRPO) integreert in trajectgecontroleerde videogenereatie. De kerninnovatie ligt in een nieuwe bemonsteringsstrategie genaamd Accumulative Dynamic Extreme View Synthesis (ADEVIS).

ADEVIS-strategie: In plaats van te proberen een video met een grote hoek in één stap te genereren, decomposeert ADEVIS een grote camerabeweging ( $\Delta T$ ) in een reeks kleinere trajectstappen ( $\Delta T_1, \Delta T_2, \dots, \Delta T_n$ ). Het model accumuleert deze kleine stappen progressief om het gegenereerde zicht te verfijnen. Deze benadering maakt gebruik van voorkennis uit voorgaande stappen om geometrische consistentie tijdens extreme overgangen te behouden.
Accumulatievarianten: Om de benodigde geometrische priors voor elke stap te verkrijgen, onderzoekt het artikel vier accumulatiestrategieën:
- Referentievideo-accumulatie (RFA): Gebruikt de originele bronvideo voor reprojectie bij elke stap.
- Reprojectievideo-accumulatie (RVA): Reprojecteert vanuit de eerder gegenereerde video ( $\hat{V}_{i-1}$ ).
- Occlusieregio-accumulatie (ORA): Fuseert de reprojectie van de vorige stap met de huidige stap, specifiek gericht op dichterbijgelegen regio's of continue regio's waar diepteschatting betrouwbaarder is (ORA-dt en ORA-cc).
- Bullet Time-accumulatie (BTA): Creëert een "bullet time"-overgang door het eerste frame van de bronvideo te herhalen en de initiële beweging te decomponeren in kleinere, opeenvolgend toenemende veranderingen. Deze strategie bleek het meest effectief om misaligneringen op overgangen te minimaliseren.
GRPO-optimalisatie: Het raamwerk maakt gebruik van GRPO om het beleidsmodel te optimaliseren zonder een apart waardenmodel te vereisen.
- Stochastische bemonstering: Tijdens het trainen bemonstert het model diverse trajectgroepen door het aantal accumulatiestappen ( $n$ ) en de omvang van de beweging bij elke stap te randomiseren.
- Beloningsfunctie: Een meerlagige consistentie-kwaliteitsbeloningsfunctie evalueert gegenereerde samples op basis van pixelnauwkeurigheid (PSNR, SSIM in zichtbare regio's), semantische nauwkeurigheid (LPIPS) en videokwaliteitsmetrieken (Temporele Flikkering, Beweging Smooth, Esthetische Kwaliteit, Afbeeldingskwaliteit).
- Groepsrelatief voordeel: Het model wordt bijgewerkt door het doel te maximaliseren op basis van de relatieve voordelen van samples binnen een groep, in plaats van absolute scores.
Inferentie: In tegenstelling tot de trainingsfase die multi-stap accumulatie gebruikt, maakt het inferentieproces gebruik van het geoptimaliseerde model om video's met grote hoeken direct in één stap te genereren, wat efficiëntie garandeert.

Belangrijkste Bijdragen

Eerste toepassing van GRPO op extreme zichtsynthese: Het artikel introduceert DEVIS-GRPO als de eerste online policy gradient-methode die specifiek is ontworpen voor trajectgecontroleerde videogenereatie onder extreme gezichtshoeken.
ADEVIS-bemonsteringsstrategie: Het voorstellen van Accumulative Dynamic Extreme View Synthesis, wat de noodzaak elimineert voor dure, gekoppelde videodatasets met grote hoeken om het beleidsmodel warm te starten. Het bereikt bewegingen met grote hoeken door accumulatie van stappen met kleine hoeken.
Diverse accumulatiestrategieën: Het ontwerpen en evalueren van vier verschillende accumulatiestrategieën (RFA, RVA, ORA, BTA) om het paradigma van progressieve zichtsynthese te verkennen, waarbij BTA wordt geïdentificeerd als de superieure aanpak.
Meerlagige beloningsfunctie: Het ontwikkelen van een beloningsfunctie die consistentie (pixel en semantisch) balanceert met videokwaliteit om het reinforcement learning-proces te sturen.

Resultaten
Experimenten werden uitgevoerd op de Kubric-4D, iPhone en DL3DV datasets.

Kwantitatieve prestaties: Op de Kubric-4D-dataset behaalde DEVIS-GRPO relatieve verbeteringen van 21,57% in PSNR en 7,31% in SSIM in niet-occlusiegebieden ten opzichte van de op één na beste methode. Op de iPhone-dataset werd de LPIPS-metriek met 18,56% verlaagd.
Consistentie en adherentie: De methode toonde superieure prestaties in het behouden van temporele en textuurcoherentie, evenals strikte adherentie aan het gespecificeerde cameratraject, en presteerde beter dan baselines zoals GCD, EX-4D en TrajectoryCrafter.
Ablatiestudies: Vergelijkingen met Vanilla-GRPO toonden aan dat DEVIS-GRPO diversere samples genereert met betere consistentiemetrieken. Vergelijkingen met SFT (Supervised Fine-Tuning) en DPO (Direct Preference Optimization) paradigma's bevestigden dat de GRPO-aanpak met groepsrelatieve voordelen de beste prestaties oplevert.

Betekenis
Het artikel stelt dat DEVIS-GRPO de kritieke bottleneck van dataskariteit in extreme zichtsynthese aanpakt. Door gebruik te maken van een accumulatiebemonsteringsstrategie, maakt het effectieve training mogelijk zonder de noodzaak van gesynchroniseerde multi-view supervisie of dure videoparen met grote hoeken. Het raamwerk slaagt erin de kloof te overbruggen tussen controleerbaarheid bij kleine hoeken en de generatie van hoogwaardige, consistente video's onder extreme camerabewegingen, en zet zo een nieuwe standaard voor trajectgecontroleerde videogenereatie.