NeuralLVC: Neural Lossless Video Compression via Masked Diffusion with Temporal Conditioning

Het artikel introduceert NeuralLVC, een nieuw neurale codec voor verliesloze videocompressie die gemaskerde diffusie combineert met een I/P-frame-architectuur om H.264 en H.265 aanzienlijk te overtreffen bij het garanderen van exacte pixelreconstructie.

De kern

NeuralLVC: De "Onvervalste" Video-Compressie

Stel je voor dat je een hele reeks foto's van een dansend kind wilt opslaan. Normaal gesproken zou je die foto's comprimeren (zoals bij een MP4-bestand) om ruimte te besparen. Maar hierbij gaan er altijd kleine details verloren, net als wanneer je een kopie van een kopie maakt: na verloop van tijd wordt de kwaliteit slechter.

Voor artsen die operaties filmen, of filmstudio's die hun originele masters bewaren, is dat niet acceptabel. Ze willen exact hetzelfde beeld terugkrijgen, tot op de laatste pixel. Dit heet "lossless" (verliesloos) compressie.

Tot nu toe waren de beste methoden hiervoor ouderwets en niet heel slim. NeuralLVC is een nieuwe, slimme manier om dit te doen, gebaseerd op kunstmatige intelligentie (AI). Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Twee Manieren van Kijken: I-frames en P-frames

De makers van NeuralLVC gebruiken een slimme truc die lijkt op hoe we een verhaal vertellen:

• De I-frame (De Startfoto): De eerste foto van je video wordt volledig apart opgeslagen. De AI kijkt naar elk pixel en zegt: "Dit is een blauwe hemel, dit is een groene boom." Het is alsof je een hele nieuwe tekening maakt.
• De P-frames (De Veranderingen): Bij de volgende foto's kijkt de AI niet naar de hele foto opnieuw. In plaats daarvan kijkt hij alleen naar wat er veranderd is.
  • Analogie: Stel je voor dat je een tekening van een dansende man maakt. De eerste tekening is compleet. Bij de tweede tekening hoef je niet de hele man opnieuw te tekenen; je tekent alleen de armen die een beetje naar links zijn bewogen. De rest van de tekening (de achtergrond) blijft hetzelfde.
  • NeuralLVC is zo slim dat hij deze "verschillen" (de beweging) extreem compact kan opslaan.

2. De "Masked Diffusion" Magie (Het Gokspel)

Hoe weet de AI precies wat hij moet opslaan? Hij gebruikt een techniek die Masked Diffusion heet.

• Het spel: Stel je voor dat je een woordraadsel hebt, maar de helft van de letters is bedekt met een deksel (een masker). De AI moet raden welke letters er onder zitten, gebaseerd op de letters die je wel ziet.
• De slimme kant: In plaats van van links naar rechts te lezen (zoals wij doen), kijkt de AI naar alle zichtbare letters tegelijk. Hij kan naar links, rechts, boven en onder kijken om de beste gok te doen.
• Omdat hij zo goed kan raden wat er onder het masker zit, hoeft hij niet de hele foto op te slaan. Hij slaat alleen de "gok" op en een paar aanwijzingen. Als je de foto later weer opent, reconstructeert de AI de exacte originele foto uit die gok.

3. De "Referentie" (De Geheugensteun)

Bij de bewegende delen (de P-frames) heeft de AI een kleine hulp nodig. Hij krijgt een heel klein geheugenstukje (een "referentie-embedding") van de vorige foto.

• Analogie: Het is alsof je een vriend vraagt om een tekening te maken van een dansende man, maar je geeft hem de vorige tekening als voorbeeld. Hij hoeft dan alleen te zeggen: "Ah, de arm is nu 2 millimeter naar links verplaatst."
• Dit kost de AI heel weinig extra ruimte (slechts 1,3% meer geheugen), maar het bespaart enorm veel opslagruimte omdat hij niet alles opnieuw hoeft te beschrijven.

4. Waarom is dit zo goed?

De onderzoekers hebben NeuralLVC getest tegen de huidige wereldkampioenen in videocompressie (H.264 en H.265).

• Het resultaat: NeuralLVC slaat dezelfde video op in veel minder ruimte dan de traditionele methoden, terwijl het beeld 100% exact hetzelfde blijft.
• De vergelijking: Traditionele methoden zijn als een snelle, maar slordige fotograaf die soms details weglaat om snel te zijn. NeuralLVC is als een ultra-snelle, hyper-precieze kunstenaar die elke pixel onthoudt, maar slim genoeg is om alleen de veranderingen op te schrijven.

5. De Korte Nadeel (En de Toekomst)

Er is één prijs voor deze perfectie: Snelheid.

• Het duurt langer om een video te comprimeren met NeuralLVC dan met de standaard methoden. Het is alsof je een boek handmatig schrijft in plaats van het te typen.
• Waarom is dat oké? Voor het bewaren van oude films, medische opnames of archiefbeelden maakt snelheid niet uit. Je wilt dat het over 50 jaar nog steeds perfect is. Voor het streamen van Netflix is het nu nog te traag, maar voor archivering is het een revolutie.

Kortom: NeuralLVC is een nieuwe manier om video's in te pakken die zo slim is dat hij alleen de veranderingen onthoudt, en met een AI-goktechniek de originele beelden later perfect kan terugbouwen. Het is de "tijdbank" voor videobeelden die nooit mag verouderen.

Technische samenvatting

Probleemstelling

Neurale verliesvrije (lossless) beeldcompressie heeft aanzienlijke vooruitgang geboekt dankzij geleerde entropiemodellen. Echter, neurale verliesvrije videocompressie blijft grotendeels onontgonnen terrein. Bestaande neurale methoden richten zich voornamelijk op verliesbeperkte (lossy) compressie of werken op individuele statische beelden, waardoor ze de enorme temporale redundantie tussen opeenvolgende videoframes niet benutten.

Traditionele codecs zoals H.264 en H.265 bieden wel verliesvrije modi, maar deze vertrouwen op handgemaakte predictors en zijn beperkt in hun compressie-efficiëntie vergeleken met moderne neurale benaderingen. Voor professionele toepassingen zoals medische beeldvorming, broadcast-postproductie en filmarchivering is exacte reconstructie van het oorspronkelijke signaal echter cruciaal; zelfs de kleinste artefacten zijn onacceptabel. Er is dus behoefte aan een neurale codec die zowel verliesvrij is als temporale redundantie effectief exploiteert.

Methodologie: NeuralLVC

De auteurs stellen NeuralLVC voor, een neurale codec die een I/P-frame architectuur combineert met geconditioneerde gemaskerde diffusie (masked diffusion). Het systeem bestaat uit de volgende kerncomponenten:

1. Bijectieve Lineaire Tokenisatie:

   • Om exacte pixelreconstructie te garanderen, wordt geen clustertokenisatie gebruikt (zoals bij iGPT), maar een bijectieve lineaire mapping.
   • I-frames: Elke pixelwaarde $x \in [0, 255]$ wordt gemapt naar een token via $Token(x) = 2x$. Dit resulteert in even getallen in het bereik [0, 510]. De inverse is exact: $x = Token/2$.
   • P-frames: In plaats van de pixelwaarde zelf, wordt het tijdsverschil (temporal difference) tussen de huidige pixel $x_t$ en de vorige pixel $x_{t-1}$ gecodeerd: $Token(x_t, x_{t-1}) = (x_t - x_{t-1}) + 255$. Dit mapt het verschilbereik [-255, +255] naar [0, 510].
   • Beide tokenisaties delen hetzelfde vocabulaire, wat toelaat dat het P-frame model kan worden "warm-started" met de gewichten van het I-frame model.

2. Entropiemodel op basis van Gemaskerde Diffusie (LLaDA):

   • De codec gebruikt een aangepaste versie van LLaDA (Large Language Diffusion Architecture), een bidirectioneel gemaskerd diffusiemodel.
   • In tegenstelling tot autoregressieve modellen (die links-rechts werken), gebruikt dit model bidirectionele attention. Dit betekent dat bij het voorspellen van een gemaskerd token, het model context kan halen uit alle niet-gemaskerde posities in het blok (boven, onder, links, rechts). Dit is ideaal voor beelden waar ruimtelijke afhankelijkheden niet-causaal zijn.
   • Het model is een Transformer met 8 lagen, een verborgen dimensie van 384 en 1024 posities (voor een 32x32 patch).

3. I/P-Frame Architectuur met Temporele Conditionering:

   • I-frame: Comprimeert de eerste frame onafhankelijk.
   • P-frame: Comprimeert de temporale verschillen tussen frames. Om de ruimtelijke context van het vorige frame te benutten, wordt een lichtgewicht referentie-embedding toegevoegd (+1,3% aan trainbare parameters).
   • De embedding mapt de token van de vorige pixel ($x_{t-1}$) naar een vector die wordt opgeteld bij de token-embedding en positie-embedding van de huidige pixel. Dit stelt het model in staat om de beweging en veranderingen tussen frames te voorspellen.

4. Groepsgebaseerde Parallelle Decoding (Group-wise Parallelism):

   • Omdat bidirectionele attention geen key-value caching toestaat (het decoderen van één token beïnvloedt de output van alle andere tokens), zou sequentiële decoding traag zijn.
   • NeuralLVC gebruikt een strategie van HPAC waarbij tokens in groepen worden verwerkt. Tokens worden toegewezen aan groepen op basis van hun positie ($s(r,c) = c + r \cdot \delta$).
   • Dit reduceert het aantal benodigde forward passes van 1024 (per pixel) naar bijvoorbeeld 94 groepen (voor $\delta=2$), wat de inferentiesnelheid aanzienlijk verbetert terwijl de exacte volgorde voor arithmetische codering behouden blijft.

Belangrijkste Bijdragen

• Eerste neurale verliesvrije video-codec met temporale conditionering: Het is een van de eerste werken dat een I/P-frame architectuur combineert met gemaskerde diffusie voor exacte verliesvrije videocompressie.
• Bijectieve tokenisatie: Bewijst dat lineaire tokenisatie pixel-perfecte reconstructie garandeert zonder informatieverlies, terwijl het toch effectieve kansberekening mogelijk maakt binnen het diffusie-framework.
• Efficiënte temporale conditionering: De introductie van een zeer lichte referentie-embedding (slechts 1,3% extra parameters) die het model in staat stelt om temporale redundantie te exploiteren zonder de complexiteit van complexe motion estimation te introduceren.
• Uitgebreide validatie: Systematische vergelijking met traditionele codecs (H.264, H.265, VVC, FFV1, PNG) en neurale beeldmethoden, met bewijs van exacte reconstructie via end-to-end testen.

Resultaten

De codec werd getest op 9 Xiph CIF-videosequenties (YUV420 formaat) en drie 720p sequenties.

• Compressie-efficiëntie:
  • NeuralLVC bereikte een gemiddelde compressiegraad van 29,71%.
  • Dit is een significante verbetering ten opzichte van H.265 lossless (36,37%, een relatieve verbetering van 18,3%) en H.264 lossless (36,77%, 19,2% verbetering).
  • De prestaties zijn consistent over verschillende soorten content, van statische scènes tot hoge beweging.
• Vergelijking met VVC: Hoewel VVC bij QP=0 soms betere cijfers laat zien (bijv. 27,24% gemiddeld), is dit "near-lossless" en introduceert het kwantisatiefouten. NeuralLVC is echt verliesvrij. Op statische content (zoals 'akiyo') komt NeuralLVC (9,76%) bijna in de buurt van VVC (9,64%).
• Ablatiestudies:
  • De grootste winst komt voort uit de temporale conditionering. Het gebruik van alleen I-frames resulteert in 49,56% compressie. Het toevoegen van P-frames zonder referentie-embedding verbetert dit slechts marginaal (45,91%). De combinatie met referentie-embedding drukt de rate naar 29,71%.
  • Zelfs met een zwakker ruimtelijk model (15M parameters vs. 146M bij state-of-the-art beeldcodecs zoals ArIB-BPS), presteert het volledige I+P-systeem beter dan frame-per-frame compressie met de sterkste beeldcodecs, omdat het de temporale redundantie benut.
• Snelheid: De codec is langzamer dan traditionele codecs (ongeveer 0,06 FPS voor CIF-resolutie op een NVIDIA GH200), wat het geschikt maakt voor offline archivering, maar minder voor real-time toepassingen.

Betekenis en Conclusie

NeuralLVC toont aan dat gemaskerde diffusie met temporale conditionering een veelbelovende richting is voor neurale verliesvrije videocompressie. Het paper breekt het paradigma dat neurale methoden alleen geschikt zijn voor verliesbeperkte compressie of statische beelden.

De belangrijkste implicaties zijn:

1. Professionele Toepassingen: Het biedt een alternatief voor medische en broadcast-werkstromen waar pixel-perfecte reconstructie vereist is, maar waar traditionele codecs (zoals H.264/265) niet meer dan nodig comprimeren.
2. Architecturale Inzicht: Het bewijst dat een eenvoudige, lichte temporale conditionering (referentie-embedding) in combinatie met een krachtig entropiemodel (diffusie) zeer effectief is, zelfs zonder complexe motion estimation modules.
3. Toekomstperspectief: Hoewel de snelheid momenteel een beperking is, opent dit onderzoek de deur voor verdere optimalisaties (zoals distillatie of speculatieve decoding) om neurale verliesvrije codecs ook voor bredere toepassingen bruikbaar te maken.