Data-driven Video Codec with Implicit Neural Representations

Stel je voor dat je een enorme, high-definition film naar een vriend probeert te sturen. In de wereld van digitale media behandelen we video en audio meestal als een gigantische mozaïek gemaakt van kleine, gekleurde tegeltjes (pixels) en een aparte stroom geluidsgolven. Traditionele videocodecs zijn als meester-archivisten die naar deze mozaïek kijken, alle saaie, herhalende patronen vinden en een zeer slimme set instructies schrijven over hoe de mozaïek met minder tegeltjes kan worden opgebouwd. Ze zijn ongelooflijk efficiënt, maar ze vertrouwen op een vast raster van pixels.

Stel je nu een andere aanpak voor. In plaats van de tegeltjes zelf op te slaan, wat als je één enkel, superintelligent recept opslaat? Dit recept is een wiskundige functie die, wanneer je het vraagt: "Welke kleur heeft de pixel op deze specifieke plek op dit specifieke tijdstip?", direct antwoordt met de exacte kleur en het geluid. Dit is de wereld van Implicit Neural Representations (INRs). Denk er zo over na: in plaats van een foto van het canvas te maken, leer je een robot de penseelstreken van een schilderij te onthouden. Als de robot het recept perfect kent, hoef je alleen het recept (de "hersenen" of gewichten van de robot) op te slaan om de hele film later te reproduceren. Dit paper onderzoekt of we deze "recept"-methode kunnen gebruiken om zowel video als audio samen in één enkele hersenpan op te slaan, en of we die hersenpan klein genoeg kunnen maken om nuttig te zijn.

De "Eén-Brein" Videocodec

De onderzoekers van de Tribhuvan Universiteit in Nepal stelden een gedurfde vraag: Kunnen we een enkel neuraal netwerk bouwerken — een digitale hersenpan — die leert om zowel een videospeler als een audiosysteem te zijn op hetzelfde moment? Normaal gesproken worden video en audio door aparte systemen afgehandeld. Hier bouwden ze een verenigd netwerk genaamd een SIREN (Sinusoidal Representation Network).

Beschouw dit netwerk als een magische vertaler. Je voert het een set coördinaten: waar je bent in het beeld (x, y), welke frame het is van de film (t), en het exacte moment in de tijd voor het geluid (T). In ruil daarvoor spuwt het netwerk de kleur van die pixel en het volume van het geluid op dat exacte moment uit. In plaats van een bestand vol miljoenen pixels op te slaan, slaan ze de "gewichten" van het netwerk op — in essentie de wiskundige instellingen die de vertaler laten werken.

Er zat echter een addertje onder het gras. Video en audio zijn zeer verschillende beesten. Video verandert langzaam (een persoon die loopt), terwijl audio ongelooflijk snel verandert (een viool snaar die trilt). De onderzoekers ontdekten dat een enkele "eerste laag" van het netwerk beide niet goed kon afhandelen. Het was alsof je één bril probeerde te gebruiken om een boek te lezen en een symfonie te beluisteren; bij beide werkte het niet helder. Daarom gaven ze het netwerk twee aparte "brillen" (initialisatie-lagen) aan het begin — één afgestemd op de langzaam bewegende video en één op de snel bewegende audio — voordat ze werden samengevoegd tot één gedeelde hersenpan.

De Compressie Magische Truk

Het grootste probleem met dit idee is dat het "recept" (het getrainde netwerk) vaak enorm groot is. Sterker nog, voor een korte video kan het recept groter zijn dan het videobestand zelf! Om dit op te lossen, gebruikte het team een driestaps compressie-pipeline:

1. De Leraar en de Leerling: Eerst trainden ze een groot, complex "Teacher"-netwerk om de video perfect te onthouden. Deze leraar was enorm (ongeveer 9,05 MiB). Vervolgens gebruikten ze een techniek genaamd Knowledge Distillation. Stel je voor dat de Teacher de video uitlegt aan een kleiner, simpeler "Student"-netwerk. De Student leert niet alleen de ruwe video; hij leert om de antwoorden van de Teacher na te bootsen. Dit kromp het model aanzienlijk.
2. Quantization (Het Afrondingsspel): De gewichten van het netwerk worden meestal opgeslagen met een hoge precisie (zoals 32-bit getallen). De onderzoekers probeerden deze getallen af te ronden naar minder bits, zoals 16-bit integers. Het is alsof je een zeer precies recept neemt dat zegt "voeg 1,000001 gram zout toe" en dit vereenvoudigt naar "voeg 1 gram toe". Ze testten alles van 1-bit (zeer grof) tot 32-bit (zeer precies). Ze ontdekten dat zodra ze op 16 bits kwamen, de kwaliteit niet meer verbeterde. Hoger gaan maakte de video niet beter, maar lager gaan maakte het er verschrikkelijk van.
3. Lossless Packing: Ten slotte gebruikten ze een standaard compressietool genaamd LZMA2 (dezelfde als gebruikt wordt voor .xz bestanden) om de resterende data in te pakken zonder informatie te verliezen.

De Resultaten: Een Gemengde Boel

Het team testte dit op verschillende korte video's. Dit is wat ze vonden:

• De Grootte-overwinning: Voor een testvideo van 6,08 MiB groot, was hun uiteindelijke gecomprimeerde model 2,33 MiB. Dat is een compressieverhouding van 2,61. Ze hebben de video en audio succesvol in een bestand gepropt dat minder dan de helft van de grootte van het origineel is.
• De Kwaliteit-trade-off: De videokwaliteit was redelijk, maar niet geweldig. De beste video die ze testten kreeg een PSNR van 28,72 dB (een maat voor kwaliteit waarbij hoger beter is) en een SSIM van 0,75. De audio was oké, met een PSNR van 24,18 dB.
• Het "Korte Video"-probleem: Dit is de belangrijkste bevinding. Omdat het netwerk een vaste grootte heeft (het heeft een bepaalde hoeveelheid "hersenen" nodig om te werken), worden korte video's zelfs groter wanneer je ze comprimeert. Voor een piepklein fragment van 5 seconden was het gecomprimeerde bestand groter dan het origineel. De methode begint pas ruimte te besparen wanneer de video lang genoeg is om de vaste kosten van het netwerk te rechtvaardigen.
• Vergelijking met de Giganten: Wanneer ze hun methode vergeleken met de industriestandaarden H.264 en HEVC (de codecs die YouTube en Netflix gebruiken), verloren ze. De traditionele codecs waren veel beter in het comprimeren van video, vaak met een factor 10 of meer. Hun methode bereikte pas de kwaliteit van de traditionele codecs wanneer die traditionele codecs op hun laagste, meest "korrelige" kwaliteitsinstellingen werden gezet.

Waarom dit ertoe doet (zelfs als het niet perfect is)

De auteurs zijn zeer eerlijk over de beperkingen. Ze geven toe dat deze methode voorlopig nog niet klaar is om YouTube of Netflix te vervangen. Het is te traag om te trainen (het kost duizenden uren computertijd om een enkele video te "onderwijzen") en het heeft moeite met snel bewegende scènes.

Echter, ze ontdekten iets unieks: de bestandsgrootte is constant. In traditionele video verdubbelt de bestandsgrootte als je de lengte van de film verdubbelt. Met deze methode blijft de bestandsgrootte ongeveer gelijk, of de video nu 1 minuut of 1 uur lang is (zodra de minimale lengte is gepasseerd). Dit suggereert dat voor zeer lange, hoog-resolutie content, deze aanpak op een dag zeer efficiënt kan zijn.

Ze hebben ook een werkend prototype gebouwd dat in een webbrowser draait, wat aantoont dat het mogelijk is om deze "neurale video-recepten" te trainen, te verzenden en af te spelen via het internet met behulp van standaard webtechnologieën.

Kortom, dit paper heeft geen nieuw videoformaat uitgevonden dat de huidige kampioenen verslaat. In plaats daarvan heeft het bewezen dat je een video en de soundtrack ervan in een enkele wiskundige hersenpan kunt opslaan, en dat je die hersenpan kunt verkleinen tot een bruikbare grootte zonder het beeld te vernietigen. Het is een veelbelovende stap naar een toekomst waarin we niet alleen pixels versturen, maar de instructies om ze te verbeelden.