TeCoNeRV: Leveraging Temporal Coherence for Compressible Neural Representations for Videos

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een hele lange, hoge-resolutie video wilt opslaan op je telefoon. Normaal gesproken duurt het heel lang om die video te comprimeren (kleiner maken) en de kwaliteit gaat vaak achteruit.

De onderzoekers van dit papier, TeCoNeRV, hebben een slimme nieuwe manier bedacht om video's op te slaan. Ze gebruiken een soort "neuraal netwerk" (een slim computerprogramma) dat de video niet als een reeks beelden ziet, maar als een recept of een blauwdruk. Als je dat recept hebt, kun je het beeld op elk moment weer "bakken" (afspelen).

Hier is hoe hun nieuwe methode werkt, uitgelegd met simpele analogieën:

1. Het oude probleem: De "Alles-in-één" bakker

Vroeger probeerden deze slimme programma's om voor elk videoframe een heel nieuw, complex recept te leren.

Het probleem: Als je een video in 4K wilt opslaan, moet het programma een gigantisch recept leren. Dat kost enorm veel geheugen en tijd. Het is alsof je voor elke seconde van een film een heel nieuw, zwaar kookboek moet schrijven. Dat is ondoenlijk voor hoge resoluties.

2. De oplossing: De "Puzzel" aanpak (Patch-Tubelets)

TeCoNeRV doet het anders. In plaats van het hele beeld in één keer te bekijken, snijden ze de video op in kleine blokjes, alsof ze een grote puzzel in stukjes hakken.

De analogie: Stel je voor dat je een enorme muur moet schilderen. In plaats van één gigantisch penseel te gebruiken dat de hele muur in één keer moet bedekken (wat zwaar is en veel verf nodig heeft), gebruiken ze kleine kwastjes. Ze schilderen het muur in kleine vakjes.
Het voordeel: Omdat ze maar kleine stukjes hoeven te "leren", is het veel lichter voor de computer. Ze hoeven niet het hele beeld tegelijk te onthouden. Dit maakt het mogelijk om video's in hoge resolutie (zoals 720p of 1080p) te comprimeren zonder dat de computer vastloopt.

3. Slimme opslag: De "Verschillen" (Residuals)

Wanneer je een video bekijkt, verandert het beeld vaak heel weinig van het ene moment op het andere. Een persoon loopt, maar de achtergrond blijft hetzelfde.

De analogie: Stel je voor dat je een dagboek schrijft. Als je elke dag het hele dagboek opnieuw schrijft, is dat veel papier. Maar als je alleen schrijft wat er anders is dan gisteren ("Vandaag heb ik een blauw shirt aan in plaats van een rood"), bespaar je enorm veel ruimte.
Hoe TeCoNeRV dit doet: Ze slaan het recept op voor het eerste blokje op. Voor alle volgende blokjes slaan ze alleen de kleine verschillen op. Omdat de video vaak rustig beweegt, zijn deze verschillen heel klein. Dit maakt het bestand veel kleiner.

4. De "Vloeiende Stroom" (Temporal Coherence)

Dit is misschien wel het slimste deel. Soms maken slimme computers een fout: ze veranderen het recept voor het volgende blokje heel drastisch, zelfs als het beeld er bijna hetzelfde uitziet. Dat is als een schrijver die plotseling van stijl verandert, terwijl de zin hetzelfde blijft.

De oplossing: De onderzoekers hebben een regel toegevoegd die zegt: "Hé, als het beeld rustig beweegt, moet het recept ook rustig veranderen."
De analogie: Denk aan een trein die over een spoor rijdt. De wielen moeten soepel over de rails glijden. Als de wielen wild springen, zou de trein uit elkaar vallen. TeCoNeRV zorgt ervoor dat de "wielen" (de computerrecepten) soepel over de "rails" (de tijd in de video) glijden.
Het resultaat: Omdat de veranderingen zo soepel en voorspelbaar zijn, zijn de "verschillen" (zie punt 3) nog kleiner. Dit betekent nog minder opslagruimte nodig en een scherpere kwaliteit.

Wat is het eindresultaat?

Met deze drie trucs (puzzelstukjes, alleen verschillen opslaan, en soepel laten verlopen) is TeCoNeRV een doorbraak:

Sneller: Het duurt veel minder tijd om de video te comprimeren dan oude methoden.
Kleiner: De bestanden zijn aanzienlijk kleiner (tot 36% kleiner) zonder dat de kwaliteit slechter wordt.
Beter: De video's zien er scherper uit, zelfs op hogere resoluties waar andere methoden faalden.

Kortom: TeCoNeRV is als een slimme chef-kok die niet elke maaltijd opnieuw uitvindt, maar een basisrecept heeft, alleen de kleine aanpassingen noteert, en zorgt dat de smaak van de ene dag soepel overgaat in de volgende. Hierdoor kun je meer video's opslaan, sneller, en in betere kwaliteit.

Each language version is independently generated for its own context, not a direct translation.

1. Het Probleem

Implicit Neural Representations (INR's) hebben recentelijk indrukwekkende resultaten geboekt voor videocompressie door video's te representeren als compacte neurale netwerken. Echter, traditionele INR-methoden vereisen dat voor elke video een apart netwerk wordt overgefit (overfitting), wat leidt tot extreem trage encodeertijden die onpraktisch zijn voor echte toepassingen.

Om dit op te lossen, worden hypernetworks gebruikt: een enkel netwerk dat de gewichten voorspelt van de specifieke INR's (hyponetworks) voor onbekende video's. Bestaande hypernetwork-methoden (zoals NeRV-Enc) stuiten echter op fundamentele beperkingen bij het schalen naar hogere resoluties (zoals 720p en 1080p):

Geheugenproblemen: De geheugenvraag groeit kwadratisch met de resolutie, wat training op hoge resoluties onmogelijk maakt op standaard hardware.
Kwaliteit en Grootte: Bestaande methoden leveren vaak lage kwaliteit of grote gecomprimeerde bestandsgroottes, vooral bij hogere resoluties.
Gebrek aan Temporele Coherentie: Naïeve voorspellingen van gewichten leiden tot grote sprongen in de gewichtsruimte tussen opeenvolgende frames, zelfs als de visuele veranderingen minimaal zijn. Dit vermindert de compressie-efficiëntie.

2. Methodologie: TeCoNeRV

De auteurs stellen TeCoNeRV voor, een framework dat drie kerninnovaties combineert om INR-hypernetworks schaalbaar en efficiënt te maken voor hoge resoluties:

A. Patch-Tubelet Decompositie (Schalen naar Hoge Resolutie)

In plaats van het voorspellen van gewichten voor het volledige frame (wat veel geheugen kost), wordt elke videoclip opgesplitst in kleinere spatio-temporele volumes genaamd "patch tubelets".

Werking: De hypernetwork voorspelt gewichten voor elk klein stukje van de video (bijv. 320x160 pixels) in plaats van het hele beeld.
Voordeel: Dit maakt de geheugenvraag onafhankelijk van de totale videoresolutie. Het model kan getraind worden op 480p en vervolgens inferentie uitvoeren op 1080p, omdat het slechts vaste grootte patches verwerkt. Dit lost het kwadratische schaalprobleem op.

B. Residuale Opslag (Compressie)

Om de bitstream-grootte te verkleinen, wordt gebruikgemaakt van de redundantie tussen opeenvolgende clips.

Werking: In plaats van de volledige unieke parameters voor elke clip op te slaan, wordt alleen de volledige set voor de eerste clip opgeslagen. Voor alle daaropvolgende clips worden alleen de residuen (het verschil) ten opzichte van de vorige clip opgeslagen.
Voordeel: Omdat de inhoud van video's vaak geleidelijk verandert, zijn deze verschillen klein en zeer efficiënt te comprimeren.

C. Regularisatie voor Temporele Coherentie

De auteurs introduceren een regularisatieloss die de evolutie van de gewichten in de tijd reguleert.

Werking: Tijdens het finetunen wordt een strafe toegepast op grote verschillen in de gewichtsruimte tussen opeenvolgende clips ( $L_{temp}$ ). Dit dwingt het netwerk om gewichten te voorspellen die soepel veranderen naarmate de video-inhoud verandert.
Voordeel: Dit zorgt ervoor dat de residuen (de verschillen) nog kleiner en consistenter worden, wat leidt tot een verdere reductie in bitstream-grootte zonder kwaliteitsverlies. Het fungeert ook als een mechanisme voor rate control.

3. Belangrijkste Bijdragen

Schalbaarheid: TeCoNeRV is de eerste hypernetwork-benadering die succesvol schaalbaar is naar hoge resoluties (480p, 720p, 1080p) door de geheugenlimieten te doorbreken via patch-tubelets.
Efficiënte Compressie: Een residuale coderingsstrategie die de bitstream-grootte drastisch verkleint door tijdsredundantie tussen clips te exploiteren.
Temporele Coherentie: Een regularisatieframework dat de evolutie van de hyponetwork-gewichten afstemt op de video-inhoud, wat zorgt voor soepelere overgangen en kleinere residuen.
Resolutie-onafhankelijk Trainen: Modellen getraind op lagere resoluties kunnen direct worden gebruikt voor inferentie op hogere resoluties, wat de afhankelijkheid van schaarse hoge-resolutie trainingsdata vermindert.

4. Resultaten

De methode is getest op diverse datasets, waaronder UVG, HEVC en MCL-JCV, en vergeleken met baselines zoals NeRV-Enc, NeRV en HiNeRV.

Kwaliteitswinst: TeCoNeRV behaalt aanzienlijke verbeteringen in PSNR ten opzichte van de baseline:
- +2.47 dB bij 480p op de UVG dataset.
- +5.35 dB bij 720p op de UVG dataset.
Compressie: Er is een reductie van 36% in bitrate (bits per pixel) vergeleken met de baseline bij vergelijkbare kwaliteit.
Snelheid: De encodeersnelheid is 1.5 tot 3 keer sneller dan de baseline.
Geheugen: Het model vereist aanzienlijk minder geheugen voor training (bijv. 1.8 GB vs 6.5 GB voor NeRV-Enc bij 480p), waardoor training op 1080p mogelijk wordt op hardware waar dit voorheen onmogelijk was.
Resolutie-onafhankelijkheid: Een model getraind op 480p kan worden gebruikt voor inferentie op 720p en 1080p met concurrerende resultaten, wat een unieke eigenschap is van deze architectuur.

5. Betekenis en Conclusie

TeCoNeRV is een doorbraak in het veld van neurale videocompressie. Het lost het fundamentele probleem op dat hypernetworks tot nu toe niet schaalbaar waren naar hoge resoluties vanwege geheugenbeperkingen. Door video's te ontleden in patch-tubelets en gebruik te maken van temporele coherentie, combineert de methode de voordelen van snelle decoding (van INR's) met hoge compressie-efficiëntie en snelle encodeertijden.

Dit werk opent de deur voor praktische toepassingen van neurale videocompressie op moderne videoformaten (HD en Full HD), waarbij het niet alleen de kwaliteit verbetert, maar ook de rekentijd en het geheugengebruik aanzienlijk verlaagt ten opzichte van eerdere state-of-the-art methoden.