UniWorld-View: Large-Baseline View Synthesis via Video Diffusion Models

Stel je voor dat je een smartphone vasthoudt en een snelle video opneemt van je woonkamer terwijl je rondloopt. Stel je nu een goocheltruc voor waarbij je die video onmiddellijk kunt teleporteren naar een compleet andere hoek—bijvoorbeeld zwevend vlak bij het plafond of nieuwsgierig kijkend door een raam waar je nooit een video van hebt gemaakt—en de kamer vanuit dat nieuwe punt met perfecte helderheid kunt zien. Dit is de droom van "novel view synthesis", een vakgebied binnen de informatica dat probeert machines te leren hoe ze 3D-ruimte kunnen begrijpen op basis van platte, 2D-beelden. Lange tijd waren computers hier erg slecht in. Als je hen zou vragen te raden wat er achter een stoel staat op een foto, gokten ze vaak fout, wat resulteerde in vreemde, uitgerekte vlekken of onzichtbare gaten. Ze hadden ofwel honderden foto's nodig vanuit elke mogelijke hoek (wat saai en moeilijk is om te doen), of ze probeerden de ontbrekende delen te "hallucineren", wat vaak leidde tot geometrische nachtmerries waarbij muren als rubber bogen. Maar wat als we het beste van beide werelden konden combineren: de strikte regels van de geometrie (zodat de muren recht blijven) met de creatieve kracht van moderne AI (zodat de ontbrekende delen er echt uitzien)? Dat is de grote vraag waar onderzoekers zich mee bezighoudt om virtual reality, gaming en sociale media echt meeslepend te laten aanvoelen.

Maak kennis met UniWorld-View, een nieuwe methode ontwikkeld door onderzoekers van Peking University en Rabbitpre AI, die fungeert als een superintelligente regisseur voor deze 3D-films. Het kernprobleem dat zij hebben opgelost, is wat er gebeurt wanneer je een scène probeert te bekijken vanuit een zeer andere hoek dan waarin je deze gefilmd hebt. Denk hierbij aan het proberen te tekenen van een kaart van een stad die je slechts vanaf één straathoek hebt gezien. Als je probeert te raden wat er aan de andere kant van een gebouw is, kun je per ongeluk de voordeur van het gebouw op de achterwand tekenen, of een boom over de lucht uitrekken. Eerdere AI-methoden maakten vaak deze "scheur"-fouten omdat ze niet wisten welke delen van de scène verborgen (occlusie) waren en welke zichtbaar waren.

UniWorld-View lost dit op met een slim tweestapsstrategie. Eerst bouwt het een ruwe 3D "point cloud" (een digitale wolk van punten die de scène representeren) vanuit je video. Maar in plaats van deze punten simpelweg op een nieuw scherm te projecteren, gebruikt het een "triple-reprojection"-truc. Stel je voor dat je een foto maakt van een schaduw, dan een foto maakt van de reflectie van die schaduw, en vervolgens de twee vergelijkt om precies te bepalen wat er achter het object verborgen is. Hierdoor kan de AI een perfect "masker" maken dat het precies vertelt welke pixels echt zijn en welke slechts lege gaten zijn. Het controleert ook de "normals" (de richting waarin een oppervlak wijst) om er zeker van te zijn dat het niet per ongeluk de achterkant van een muur laat zien.

Zodra de AI deze schone, geometrisch nauwkeurige kaart heeft van wat daar zou moeten zijn, gebruikt het een krachtig "video diffusion model" (een type AI dat video genereert door langzaam ruis om te zetten in een helder beeld) om de gaten op te vullen. Maar hier komt de crux: het gokt niet zomaar. Het gebruikt een "dual-stream"-systeem. De ene stroom kijkt naar de geometrische kaart om ervoor te zorgen dat de camera exact beweegt zoals jij wilt, en de andere stroom kijdt naar je originele video om de texturen en kleuren te kopiëren. Dit zorgt ervoor dat als je de camera naar een nieuwe plek beweegt, de objecten solide blijven en de belichting er echt uitziet, in plaats van te smelten tot een soep van pixels.

De onderzoekers hebben dit getest op de "WorldScore" benchmark, een zware test voor hoe goed AI camerabewegingen kan controleren en 3D-scènes consistent kan houden. UniWorld-View scoorde het hoogst op "statische" scènes (85.53) en was de tweede beste op dynamische scènes, waarmee het andere topmodellen versloeg. Het toonde ook aan dat het kwalitatief hoogwaardige nieuwe beelden kan genereren vanuit enkele video's zonder dat het specifiek voor die scènes opnieuw getraind hoeft te worden (zero-shot learning). Kortom, UniWorld-View leert de AI om de regels van de natuurkunde en geometrie te respecteren, terwijl het nog steeds creatief genoeg is om te verbeelden wat er achter het gordijn zit, wat de weg vrijmaakt voor meer realistische virtuele werelden waar je vrij rond kunt kijken, zelfs als de oorspronkelijke video slechts een snelle selfie was.