VeGaS: Video Gaussian Splatting

Dit paper introduceert VeGaS, een nieuw model voor videosplatting dat gebruikmaakt van een nieuwe familie van 'Folded-Gaussian'-verdelingen om video's te reconstrueren met superieure kwaliteit en realistische bewerkingen mogelijk te maken, in tegenstelling tot bestaande methoden zoals INR's en VGR.

De kern

Stel je voor dat je een video hebt, zoals een filmpje van een dansende beer of een vliegende kitesurfer. Normaal gesproken slaan we video's op als een lange rij losse foto's (frames) achter elkaar. Als je die foto's wilt bewerken, bijvoorbeeld om de beer groter te maken of om een extra beer toe te voegen, is dat lastig. Je moet dan elke foto apart aanpassen, wat veel tijd kost en vaak onnatuurlijk oogt.

De auteurs van dit paper, VeGaS (Video Gaussian Splatting), hebben een slimme nieuwe manier bedacht om video's op te slaan en te bewerken. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het oude probleem: De "Muur van Foto's"

Stel je een video voor als een muur van losse tegels. Als je de muur wilt vervormen (bijvoorbeeld om een tegel te vergroten), moet je elke tegel apart schuiven. Dat is traag en de verbindingen tussen de tegels gaan vaak kapot.

2. De nieuwe oplossing: Een "3D-Clay" (Klei)

VeGaS kijkt niet naar losse foto's, maar behandelt de hele video als één drie dimensionaal stukje klei dat door de tijd heen beweegt.

• In plaats van pixels, gebruiken ze kleine, onzichtbare wolkjes (Gaussians).
• Deze wolkjes hebben een vorm, een kleur en een positie in de ruimte én in de tijd.
• Je kunt je voorstellen dat de video een lange, kronkelende tunnel is van deze wolkjes. Als je door de tunnel loopt (de tijd voorbijlaat gaan), zie je de beelden veranderen.

3. De magische truc: "Geplooide Wolkjes" (Folded-Gaussians)

Dit is het belangrijkste nieuwe idee in het paper.

• Het oude probleem: Normale wolkjes kunnen alleen rechte lijnen of simpele bochten volgen. Als iets in een video heel snel en gek beweegt (zoals een dansende beer die springt), kunnen de oude wolkjes dat niet goed volgen. Ze blijven "steken" in een rechte lijn.
• De VeGaS-oplossing: Ze hebben een nieuw type wolkje bedacht dat ze "Folded-Gaussian" noemen.
  • Analogie: Stel je een rechte elastische band voor (een normale wolk). Als je die buigt, blijft hij recht. Een geplooide wolk is als een elastische band die je in je hand hebt geknepen en gevouwen. Hij kan nu alle kanten op, zelfs in complexe, niet-rechte patronen.
  • Hierdoor kan het model heel precies volgen hoe objecten in een video bewegen, springen of vervormen, zonder dat het beeld wazig wordt.

4. Waarom is dit zo handig? (Bewerken)

Omdat de video nu één samenhangend stuk "klei" is in plaats van losse foto's, kun je er wonderbaarlijke dingen mee doen:

• Vermenigvuldigen: Wil je dat de dansende beer twee keer zo groot is? Je trekt gewoon aan de "klei" en hij wordt groter.
• Verdubbelen: Wil je twee dansende beren? Je kopieert de wolkjes van de ene beer en plakt ze ergens anders neer.
• Tijdreis: Omdat de tijd een onderdeel is van de vorm, kun je heel makkelijk tussentijdse beelden maken (interpolatie). Als je een frame mist, vult het model het automatisch in met een perfect vloeiende beweging, alsof je de film in slow-motion afspeelt.

Samenvatting in één zin

VeGaS vervangt de saaie rij losse foto's door een slimme, flexibele 3D-structuur van "wolkjes" die zich kunnen plooien en buigen, waardoor je video's kunt bewerken, vergroten en herscheppen alsof je met digitale klei werkt, in plaats van met een schaar en lijm.

Kortom: Het maakt video's niet alleen scherper, maar ook veel makkelijker om te knutselen en te veranderen!

Technische samenvatting

Probleemstelling

Bestaande methoden voor video-representatie en -bewerking hebben elk specifieke beperkingen:

• Implicit Neural Representations (INR): Deze modellen gebruiken neurale netwerken om discrete data (zoals pixels en tijdstippen) te vertalen naar RGB-kleuren als continue functie. Hoewel ze efficiënt zijn voor compressie en reconstructie, zijn ze niet geschikt voor bewerkingen (editing) omdat de structuur vastzit in de netwerkweegs.
• 3D Gaussian Splatting (3DGS) en Video Gaussian Representation (VGR): VGR is een recente aanpak die video encodeert als een verzameling 3D-Gaussians met een vervormingsfunctie. Hoewel dit bewerkingen mogelijk maakt, zijn de mogelijke wijzigingen beperkt tot lineaire transformaties en translaties. Dit is onvoldoende om complexe, niet-lineaire dynamiek in video's (zoals snelle bewegingen of vervormingen) realistisch te modelleren.

Het doel van dit paper is een model te ontwikkelen dat zowel hoge reconstructiekwaliteit biedt als uitgebreide, realistische bewerkingen van videodata mogelijk maakt.

Methodologie: VeGaS en Folded-Gaussians

De auteurs introduceren VeGaS (Video Gaussian Splatting), een model dat 2D-videoframes behandelt als parallelle vlakken in een 3D-ruimte. De kerninnovatie ligt in de introductie van een nieuwe familie van verdelingen: Folded-Gaussians.

1. Folded-Gaussians:

   • Dit is een generalisatie van de klassieke Gaussische verdeling. Waar een standaard 3D-Gaussian lineaire structuren volgt, kunnen Folded-Gaussians niet-lineaire dynamiek modelleren.
   • Ze worden gedefinieerd door een conditionele verdeling waarbij de ruimtelijke variabele ($s$) afhankelijk is van de tijdsvariabele ($t$) via een functie $f$ (een polynoom) en een schalingsfunctie $a$.
   • Formeel wordt de gezamenlijke verdeling opgebouwd uit een conditionele verdeling $N(s|t)$ en een marginale verdeling $N(t)$. De conditionele verdeling is een Gaussische die verschoven en geschaald is volgens de tijd, waardoor complexe banen en vervormingen in de video kunnen worden gevolgd.
   • Belangrijk: De randverdeling van $t$ en de conditionele verdeling van $s|t$ blijven Gaussisch, maar de gezamenlijke verdeling is dat niet meer, wat de flexibiliteit voor niet-lineaire patronen biedt.

2. Model Architectuur:

   • Het model gebruikt 3D Folded-Gaussians om de volledige videostream te representeren.
   • Voor een specifieke frame-tijd $t_i$ wordt een 2D Gaussian gegenereerd door de 3D Folded-Gaussian te conditioneren op dat tijdstip.
   • Het model leert niet alleen de parameters van de Gaussians, maar ook de tijdstippen van de frames zelf via een dynamische frame-fitting functie ($f_t$), wat zorgt voor een betere reconstructie dan het gebruik van vaste frame-intervallen.
   • Voor de weergave van individuele frames wordt een techniek gebaseerd op MiraGe gebruikt, waarbij vlakke Gaussians worden gebruikt om 2D-afbeeldingen te modelleren binnen de 3D-framework. Dit maakt het mogelijk om zowel statische achtergronden (met grote Gaussians) als kortstondige objecten (met kleine Gaussians) te representeren.

Belangrijkste Bijdragen

1. Folded-Gaussians: Een nieuwe familie van verdelingen die niet-lineaire structuren kunnen modelleren en naadloos kunnen worden geïntegreerd in het 3D Gaussian Splatting framework.
2. Het VeGaS-model: Een nieuw systeem voor het verwerken van 2D-videodata dat gebruikmaakt van Folded-Gaussians om complexe bewegingen te vangen.
3. Superieure Prestaties: Experimenten tonen aan dat VeGaS state-of-the-art oplossingen overtreft in reconstructie-taken en realistische bewerkingen toestaat.

Resultaten

De auteurs hebben VeGaS getest op de DAVIS en Bunny datasets en vergeleken met toonaangevende methoden zoals Omnimotion, CoDeF, VGR, en diverse NeRF-gebaseerde modellen (DNeRV, HNeRV, etc.).

• Frame Reconstructie: VeGaS behaalde de hoogste PSNR-scores (Peak Signal-to-Noise Ratio) in vergelijking met alle baselines. Bijvoorbeeld, op de DAVIS dataset scoorde VeGaS-Full een gemiddelde PSNR van 31.08, terwijl de volgende beste (VGR) 28.44 scoorde.
• Frame Interpolatie: Door de continue representatie van de video kan VeGaS nieuwe frames genereren tussen bestaande frames. Kwalitatieve resultaten tonen aan dat de geïnterpoleerde frames scherper en natuurlijker zijn dan die van VGR.
• Video Bewerking (Editing): Het model stelt gebruikers in staat om specifieke objecten in een video te manipuleren, zoals schalen, vermenigvuldigen of het verplaatsen van objecten, zelfs op geselecteerde frames. Dit is mogelijk omdat de Gaussians als losse entiteiten kunnen worden aangepast, in tegenstelling tot INR-modellen.

Betekenis en Impact

VeGaS vertegenwoordigt een aanzienlijke doorbraak in de videobewerking en -compressie:

• Overbrugging van het gat: Het combineert de hoge kwaliteit en compressie van INR-modellen met de bewerkbaarheid van 3D-Gaussian Splatting.
• Niet-lineaire dynamiek: In tegenstelling tot eerdere 3DGS-varianten voor video, kan VeGaS complexe, niet-lineaire bewegingen modelleren, wat essentieel is voor realistische video-editing.
• Toepassingsmogelijkheden: De techniek is relevant voor videocompressie, high-quality reconstructie, frame-interpolatie en creatieve bewerkingen van videomateriaal.

Samenvattend biedt VeGaS een robuust en flexibel framework dat de beperkingen van huidige video-representatiemodellen overwint door een wiskundig geavanceerde aanpak van Gaussische verdelingen toe te passen op tijdsafhankelijke data.