💻 computer science

NAE-VC: Neural Arithmetic Encoding as a Learned Replacement for CABAC in Modern Video Codecs

NAE-VC is een modulaire, geleerde entropiecodering-framework die de standaard CABAC-engine in H.264-, H.265- en H.266-codecs vervangt door een neurale architectuur die contextaggregatie, Gaussian mixture modeling en hyperpriors combineert om significante bitratebesparingen te bereiken terwijl de volledige compatibiliteit met bestaande videocoderingstandaarden behouden blijft.

Oorspronkelijke auteurs: Reka Sandaruwan Gallena Watthage, Anil Fernando

Gepubliceerd 2026-07-17

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Reka Sandaruwan Gallena Watthage, Anil Fernando

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, high-definition film naar een vriend aan de andere kant van de wereld wilt sturen. Om dit mogelijk te maken zonder het internet te verstoppen, moet je het bestand zo klein mogelijk maken. Dit proces wordt videocompressie genoemd. Denk aan het inpakken van een koffer voor een reis: je wilt alles erin krijgen, maar je kunt niet zomaar alles willekeurig erin gooien; je hebt een slim systeem nodig om kleding strak op te vouwen en zo te ordenen dat er niets verspild wordt.

In de wereld van video is dit "slimme inpaksysteem" de allerlaatste, cruciale stap, genaamd entropiecodering. Dit is de fase waarin de computer precies beslist hoe de data in een stroom van enen en nullen wordt geschreven. Decennialang heeft de industrie een specifieke, handmatig ontworpen methode gebruikt genaamd CABAC (Context-based Adaptive Binary Arithmetic Coding). Je kunt CABAC zien als een zeer ervaren, maar enigszins rigide bibliothecaris die een enorm regelboek heeft uit het hoofd geleerd. Het is goed, maar het volgt vaste regels en kan niet gemakkelijk worden aangepast aan vreemde of nieuwe patronen in de data. Ondertussen hebben een nieuwe golf van neurale netwerken (computersystemen die leren als hersenen) laten zien dat ze veel beter patronen kunnen voorspellen, maar ze vereisen meestal het vervangen van het volledige videosysteem van de grond af aan, wat is alsof je de hele bibliotheek moet herbouwen om alleen de bibliothecaris te veranderen.

Dit artikel introduceert een slim middenpad genaamd NAE-VC. In plaats van de hele bibliotheek af te breken, hebben de onderzoekers een "neurale bibliothecaris" gebouwd die de oude, regelgebonden bibliothecaris (CABAC) kan vervangen, terwijl alle andere onderdelen van het videosysteem exact hetzelfde blijven. Ze hebben dit nieuwe systeem getest op drie generaties videostandaarden (H.264, H.265 en H.266) en ontdekten dat het de bestandsgrootte consequent verder verkleint dan de oude methode, wat bewijst dat zelfs de beste handmatige regels ruimte laten voor verbetering als je een lerende computer het stuur laat overnemen.

Het Probleem: De Rigide Bibliothecaris

Jarenlang hebben video-codecs (de software die video comprimeert) vertrouwd op CABAC om de laatste verpakking te doen. CABAC is als een bibliothecaris die een enorme, handgeschreven regelbundel uit het hoofd heeft geleerd. Wanneer er nieuwe data binnenkomt, controleert de bibliothecaris een specifieke index in het boek om te raden hoe waarschijnlijk het is dat dat stukje data als volgende zal verschijnen. Als de data algemeen is, wordt deze met een korte code genoteerd; als het zeldzaam is, wordt een langere code gebruikt.

Het probleem is dat dit regelboek vaststaat. Het is jaren geleden door mensen ontworpen en kan niet veranderen op basis van de specifieke film die wordt bekeken. Het breekt complexe data ook af in eenvoudige "ja/nee" (binaire) vragen, waardoor sommige van de rijke, rommelige patronen in echte video verloren gaan. Het is alsoal proberen een complex schilderij te beschrijven door alleen te vragen "is het rood?" of "is het blauw?" per pixel, in plaats van de hele penseelstreek te begrijpen.

De Oplossing: Een Lerende Bibliothecaris

De onderzoekers stelden NAE-VC voor (Neural Arithmetic Encoding for Video Compression). Stel je voor dat je die rigide bibliothecaris vervangt door een superintelligente, lerende AI-assistent. Deze assistent kijkt niet alleen naar een regel, maar kijkt naar het hele plaatje.

De AI-assistent heeft drie speciale manieren om aanwijzingen te verzamelen voordat hij besluit hoe de data te verpakken:

Ruimtelijke Context: Het kijkt naar de buren. Net zoals je weet wat er in de volgende kamer is door naar de huidige kamer te kijken, kijkt de AI naar de pixels rondom de huidige pixel om te raden wat er volgt.
Kanaalcontext: Het kijkt naar de frequentie. Videodata heeft verschillende "lagen" van detail (zoals bas en treble in muziek). De AI begrijpt hoe deze lagen met elkaar samenhangen.
Temporele Context: Het kijkt naar het verleden. Als je een video ziet van een bewegende bal, weet de AI dat de bal in het volgende frame waarschijnlijk op een vergelijkbare plek zal zijn. De AI gebruikt deze beweging om betere voorspellingen te doen.

De AI combineert al deze aanwijzingen met een techniek genaamd multi-head cross-attention (denk aan vier verschillende experts in een vergadering, die elk op een ander type aanwijzing focussen, en dan stemmen over de beste voorspelling). In plaats van een simpel "ja of nee" te raden, voorspelt de AI een Gaussian Mixture Model. In gewone mensentaal betekent dit dat de AI niet alleen één getal raadt, maar een hele wolk van mogelijkheden voorspelt, waarbij het begrijpt dat de data op een paar verschillende manieren geclusterd kan zijn. Hierdoor kan de AI de data veel compacter verpakken.

De Resultaten: Bits Wegsnijden

De onderzoekers testten deze nieuwe "neurale bibliothecaris" door hem te vervangen in de referentiesoftware voor drie verschillende videostandaarden: H.264, H.265 en H.266. Ze hielden de rest van de zaken exact hetzelfde zodat ze konden zien of de nieuwe bibliothecaris echt beter was.

De resultaten waren consistent over de hele linie:

H.264 (De oudere standaard): Het nieuwe systeem bespaarde ongeveer 4,82% van de bestandsgrootte in "All-Intra" modus (waarbij elke frame onafhankelijk is) en 6,15% in "Low-Delay" modus (waarbij frames van elkaar afhankelijk zijn).
H.265 (De middelbare standaard): Het bespaarde 3,67% (All-Intra) en 4,93% (Low-Delay).
H.266 (De nieuwste, meest geavanceerde standaard): Hoewel deze standaard al een zeer geavanceerd systeem heeft, slaagde de nieuwe AI er nog steeds in om 2,41% (All-Intra) en 3,28% (Low-Delay) te besparen.

Het onderzoek suggereert een duidelijk patroon: hoe geavanceerder het oorspronkelijke systeem was, hoe minder ruimte er was voor verbetering. H.264, de oudste en eenvoudigste, had de meeste "vrijloopruimte" voor de AI om op te verbeteren. Echter, het feit dat de AI de gloednieuwe H.266 nog steeds met meer dan 2% heeft verbeterd, is een grote zaak. Het suggereert dat ongeacht hoe goed mensen een regelboek ontwerpen, een lerend systeem patronen kan vinden die zij gemist hebben.

Wat Dit Betekent

De studie laat zien dat je niet het hele videosysteem hoeft weg te gooien om betere compressie te krijgen. Je kunt heel gericht alleen het "verpakkingsgedeelte" vervangen door een slimme, lerende AI.

De onderzoekers controleerden ook of dit de video er beter uit liet zien. Ze vonden dat de besparingen niet slechts een trucje van de wiskunde waren; de video zag er ook daadwerkelijk beter uit voor het menselijk oog (gemeten met metrieken zoals VMAF en MS-SSIM). De AI was beter in het behouden van de belangrijke details die een video scherp en natuurlijk laten lijken.

Een interessante bevinding is dat het nieuwe systeem het beste werkt wanneer er beweging is (zoals in een sportwedstrijd of een film), omdat het de "temporele context" (het kijken naar het verleden) kan gebruiken om slimmere voorspellingen te doen. In statische scènes is de verbetering kleiner, maar nog steeds aanwezig.

Het Nadeel

Er is een prijs voor deze extra intelligentie. Het nieuwe systeem vereist meer computerkracht om te draaien. Voor de oudere H.264-standaard steeg de encoderingstijd (de tijd die nodig is om de video te comprimeren) met ongeveer 4 keer. Voor de nieuwere, al complexe H.266 steeg de tijd slechts met ongeveer 15%. Dit suggereert dat deze technologie het meest praktisch is voor moderne, hoogwaardige videosystemen waar de computer al hard werkt, of voor cloudservers waar snelheid minder cruciaal is dan het besparen van opslagruimte.

Kortom, het artikel bewijst dat door de laatste stap van videocompressie te vervangen door een lerende AI, we de efficiëntie van onze bestaande videostandaarden verder kunnen vergroten, waardoor onze video's kleiner en duidelijker worden zonder te hoeven wachten op de volgende generatie videotechnologie.

Technische Samenvatting: NAE-VC – Neural Arithmetic Encoding als een geleerde vervanging voor CABAC

1. Probleemstelling

Entropiecodering vormt de laatste, verliesloze fase van hybride videocodecs (H.264/AVC, H.265/HEVC, H.266/VVC) en bepaalt direct de benodigde bitrate om een specifieke reconstructiekwaliteit te bereiken. De huidige standaard, Context-based Adaptive Binary Arithmetic Coding (CABAC), leunt op drie fundamentele architecturale beperkingen die de nauwkeurigheid van de waarschijnlijkheidsinschatting beperken:

Binaire Waarschijnlijkheidsmodellering: CABAC ontleedt meerwaardige syntaxis-elementen in binaire beslissingen, waarbij afzonderlijke Bernoulli-waarschijnlijkheden voor elke bit worden ingeschat. Dit negeert de gezamenlijke statistische structuur en de multimodale aard van transformcoëfficiënten.
Vaste Contextafleiding: De mapping van de coderingstoestand naar de contextmodelindex is handmatig ontworpen en bevroren tijdens de standaardisatie. Het kan zich niet aanpassen aan de specifieke statistische eigenschappen van individuele videosequenties of lokale inhoudsregio's.
Single-Rate Adaptatie: Waarschijnlijkheidsupdates maken gebruik van een vaste exponentiële voortschrijdende gemiddelde (EMA)-regel, die geen onderscheid kan maken tussen stationaire contexten (die langzame adaptatie vereisen) en niet-stationaire contexten (die snelle adaptatie vereisen).

Hoewel end-to-end neurale compressiekaders superieure waarschijnlijkheidsmodellering hebben aangetoond met behulp van geleerde hyperpriors, autoregressieve contexten en Gaussian Mixture Models (GMM), vervangen deze benaderingen de volledige codec-pipeline. Ze zijn niet aan de standaard voldoend en missen backward compatibiliteit. Er is een aanzienlijke kloof in het overbrengen van deze geleerde modelleringsvooruitgang naar de entropiecodering-fase van bestaande gestandaardiseerde codecs zonder de voorspellings-, transformatie- of filtertools te wijzigen.

2. Methodologie: Het NAE-VC-framework

De auteurs stellen NAE-VC (Neural Arithmetic Encoding for Video Compression) voor, een modulair framework dat is ontworpen om alleen de CABAC-module in bestaande codecs (JM-19.0, HM-16.25, VTM-17.0) chirurgisch te vervangen, terwijl alle andere coderingstools behouden blijven. Het framework bestaat uit drie primaire componenten:

A. Context Aggregatie Netwerk

Om de beperkte representatieve capaciteit van vaste CABAC-contextindices te overwinnen, gebruikt NAE-VC een geleerd netwerk dat drie complementaire contextbronnen samenvoegt tot een uniforme conditioneringvector ( $D=192$ ):

Ruimtelijke Context: Geëxtraheerd via gemaskeerde $3\times3$ convoluties over eerder gecodeerde coëfficiënten binnen het huidige blok, aangevuld met kenmerken van naburige gereconstrueerde blokken (links/boven) om grenzen te behandelen.
Kanaalsgewijze Autoregressieve Context: Coëfficiënten worden verdeeld in vier groepen en sequentieel verwerkt via een Multi-Layer Perceptron (MLP) om inter-kanaal afhankelijkheden te vangen (bijv. tussen DC- en AC-coëfficiënten).
Temporele Context: Voor inter-gecodeerde frames worden kenmerken geëxtraheerd uit bewegingsgecompenseerde referentieblokken. Voor intra-frames wordt een geleerde standaard embedding gebruikt.
Fusie: Deze paden worden samengevoegd met behulp van een Multi-Head Cross-Attention mechanisme ( $H=4$ koppen, $d_k=48$ ), waardoor het netwerk de meest informatieve contextbron voor elk syntaxis-element adaptief kan wegen.

B. Neurale Waarschijnlijkheidsinschatting (GMM)

In plaats van enkele Bernoulli-waarschijnlijkheden, modelleert NAE-VC de distributie van gekwantiseerde transformcoëfficiënten met behulp van een Gaussian Mixture Model (GMM) met $K=3$ componenten.

Predictiekoppen: Drie parallelle lineaire koppen voorspellen het gemiddelde ( $\mu$ ), de schaal ( $\sigma$ , via Softplus) en de menggewichten ( $\pi$ , via Softmax) voor de GMM-componenten op basis van de gefuseerde contextvector.
Discretisatie: De continue GMM-dichtheid wordt geïntegreerd over eenheden van kwantisatiebins om een discrete Probability Mass Function (PMF) te genereren, die vervolgens wordt omgezet naar een Cumulative Distribution Function (CDF) voor entropiecodering.
Voordeel: Deze aanpak vangt multimodale, zware staarten en asymmetrische distributies die de enkelvoudige mode-modellen van CABAC niet kunnen representeren.

C. Hiërarchische Contextmodellering & rANS Codering

Hyperprior: Een lichtgewicht encoder-netwerk (1.8M parameters) comprimeert globale coëfficiëntstatistieken naar een latente zijinformatievector ( $\hat{z}$ ), die als zijinformatie wordt verzonden om ruimtelijk adaptieve initiële schattingen te bieden.
Schaakbord-parallellisme: Om gedeeltelijke parallelliteit mogelijk te maken zonder causale afhankelijkheden te schenden, worden coëfficiëntposities gesplitst in even en oneven sets (schaakbordpatroon). Even posities worden eerst gecodeerd met behulp van de hyperprior en temporele context; oneven posities worden daarna gecodeerd, aanvullend geconditioneerd op de gedecodeerde even posities.
Coderingstechniek: Het framework maakt gebruik van rANS (Range Asymmetric Numeral Systems) met 16-bits CDF-precisie, ter vervanging van de binaire rekenkundige coder. Dit zorgt voor bijna optimale compressie-efficiëntie (binnen 0.01 bits/symbool van de theoretische entropie) en bit-exacte synchronisatie tussen encoder en decoder.

3. Belangrijkste Bijdragen

Eerste Verenigde Neurale Vervanging: NAE-VC wordt gepresenteerd als de eerste neurale vervanging voor de transformcoëfficiënt-entropiecodering-pipeline die geëvalueerd is over drie generaties gestandaardiseerde hybride codecs (H.264, H.265, H.266) onder één enkele architectuur.
Multi-Head Cross-Attention Fusie: De introductie van een geleerd fusiemechanisme dat ruimtelijke, kanaalsgewijze en temporele contexten adaptief combineert, wat de vaste mapping van CABAC overtreft.
Uitgebreide Cross-Codec Evaluatie: De studie biedt uitgebreide evaluatie over zes benchmark-datasets (UVG, MCL-JCV, HEVC Classes B–E) en twee configuraties (All-Intra, Low-Delay P), waarbij consistente winst wordt getoond over PSNR, MS-SSIM en VMAF metrieken.
Modulaire Integratiestrategie: Het werk demonstreert dat geleerde entropiecodering kan worden geïntegreerd als een "drop-in" vervanging voor CABAC, waarbij de bijdrage van waarschijnlijkheidsinschatting wordt geïsoleerd van andere coderingstools en de predictie- en transformatiesemantiek van de standaard wordt behouden.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op zes benchmark-datasets met QP-waarden {22, 27, 32, 37}.

BD-Rate Besparingen (vs. Natieve CABAC)

NAE-VC behaalde consistent bitrate-besparingen over alle codecs, waarbij de omvang van de verbetering omgekeerd evenredig is aan de verfijning van de natieve CABAC-implementatie:

H.264/AVC: $-4.82\%$ (All-Intra), $-6.15\%$ (Low-Delay P).
H.265/HEVC: $-3.67\%$ (All-Intra), $-4.93\%$ (Low-Delay P).
H.266/VVC: $-2.41\%$ (All-Intra), $-3.28\%$ (Low-Delay P).

Belangrijkste Observaties

Omgekeerde Relatie: De resultaten bevestigen de hypothese dat naarmate de CABAC-implementatie geavanceerder wordt (van H.264 naar H.266), de "vrije ruimte" voor neurale vervanging afneemt, maar dat er nog steeds meetbare winsten bestaan, zelfs in de hooggeoptimaliseerde VVC.
Temporele Context: De Low-Delay P configuratie levert grotere winsten op dan All-Intra (bijv. een extra $1.33$ procentpunt voor H.264), wat de bijdrage van het temporele contextpad valideert dat de correlaties tussen frames modelleert die CABAC niet beschikbaar heeft.
Perceptuele Kwaliteit: De winsten waren consistent over de metrieken, waarbij VMAF-verbeteringen ( $-5.47\%$ voor H.264) de PSNR-winsten licht overtreffen, wat suggereert dat de GMM structureel belangrijke coëfficiënten beter behoudt.
Component Ablatie: De grootste individuele winst kwam van het vervangen van vaste tabellen door neurale waarschijnlijkheidsinschatting ($-1.18$ pp), gevolgd door GMM-modellering ($-0.64$ pp), hyperprior ($-0.56$ pp) en ruimtelijke context ($-0.49$ pp).
Cross-Generationele Impact: H.265+NAE-VC sluit ongeveer $25\%$ van de compressiekloof naar de natieve H.266, wat aantoont dat geleerde entropiecodering een betekenend deel van de generationele winsten kan leveren zonder een volledige codec-redesign.

Computationele Overhead

Codering: De overhead is het hoogst voor H.264 (ongeveer $3.9\times$ de baseline) vanwege de snelle natieve codering, maar is bescheidener voor H.266 ( $1.15\times$ ), waar de baseline-pipeline al computationeel intensief is.
Modelgrootte: Het totaal aantal trainbare parameters is $8.6$ M, met een ONNX-modelgrootte van $\approx 34$ MB.
Implementatie: De auteurs merken op dat voor real-time H.264/H.265 hardwareversnelling of modelcompressie noodzakelijk zou zijn, terwijl cloud-gebaseerde transcoding een directer levensvatbaar scenario is.

5. Betekenis en Claims

Het artikel beweert dat NAE-VC concreet bewijs levert dat geleerde entropiecodering fundamentele architecturale beperkingen aanpakt (binaire modellering, vaste contextafleiding, single-rate adaptatie) die standhouden in alle CABAC-varianten.

Modulariteit: De aanpak biedt een pad om compressie-efficiëntie te verbeteren zonder de volledige codec-ecosysteem te vervangen, waarbij backward compatibiliteit op niveau van de coderingstools behouden blijft (hoewel het bitstream-formaat verandert, wat een bijbehorende decoder vereist).
Kwantificering van Vrije Ruimte: De resultaten kwantificeren de resterende entropiecodering-vrije ruimte die beschikbaar is zelfs in de meest geavanceerde standaarden (VVC), wat suggereert dat verdere winsten mogelijk zijn door geleerde waarschijnlijkheidsmodellering.
Praktijkgerichtheid: Door de entropiefase te isoleren, overbrugt dit werk de kloof tussen de hoge prestaties van end-to-end neurale codecs en de implementatiereliteit van gestandaardiseerde videocodering, wat een "chirurgisch" upgradepad biedt voor bestaande infrastructuur.

De auteurs concluderen dat hoewel de omgekeerde relatie tussen CABAC-verfijning en neurale winst directioneel consistent is, deze wordt beïnvloed door andere codec-niveau verschillen (partitionering, transformaties, etc.). Desalniettemin valideren de consistente verbeteringen over alle generaties heen het potentieel van modulaire neurale entropiecodering als een levensvatbare verbetering voor toekomstige video compressiestandaarden.