Technische Samenvatting: Bewegingsgecompenseerde Gewichtscompressie (MCWC)

Probleemstelling

De implementatie van neurale netwerken wordt steeds vaker beperkt door opslag, bandbreedte en de overhead bij het opstarten (cold-start) die nodig zijn om checkpoints in accelerators te laden, en niet door rekenkracht. Bestaande compressiepijplijnen, die worden gedomineerd door post-training kwantisatie en pruning, behandelen elke laag doorgaans als een onafhankelijk object. Deze aanpak negeert aanzienlijke redundantie tussen lagen die wordt veroorzaakt door functiewerkende symmetrieën (bijvoorbeeld de mogelijkheid om verborgen eenheden of attention-heads opnieuw te indexeren zonder de invoer-uitvoerfunctie van het model te veranderen). Bijgevolg slagen deze methoden er niet in om de sterke overeenkomst en voorspelbaarheid tussen lagen te benutten die inherent zijn aan moderne architecturen zoals Transformers.

Methodologie

MCWC stelt een codec alleen voor gewichten voor die de modeldiepte behandelt als een sequentieel signaal, analoog aan videoframes. De kernpremiss is dat door de "beweging" veroorzaakt door permutatiesymmetrieën te verwijderen, de resterende evolutie van gewichten over de lagen zeer voorspelbaar wordt, wat efficiënte residucodering mogelijk maakt. De pijplijn bestaat uit vier hoofdfasen:

1. Bewegingscompensatie via Functionele Uitlijning

De encoder identificeert functiewerkende permutaties voor blokken gewichten (bijvoorbeeld FFN-verborgen eenheden, attention-heads) die de overeenkomst tussen lagen maximaliseren.

• Mechanisme: Voor elke laag $\ell$ selecteert de methode een permutatie $\Pi_\ell$ die blokken uitlijnt met hun tegenhangers in de vorige laag $\ell-1$. Dit wordt bereikt door een lineair toewijzingsprobleem op te lossen om de gelijkenis (een hybride van gewicht-gebaseerde cosinusgelijkenis en activatiestatistiek-gelijkenis) tussen kandidaat-blokken en de eerder uitgelijnde referentie te maximaliseren.
• Resultaat: Dit transformeert de gewichtssequentie naar een "uitgelijnd coördinatenstelsel" waarbij aangrenzende lagen geometrisch vergelijkbaar zijn, wat de energie van de verschillen ertussen aanzienlijk verlaagt.

2. Laag-sequentiële Predictieve Codering

Zodra uitgelijnd, worden de gewichten behandeld als een temporele sequentie.

• Voorspelling: Een lichtgewicht, laag-sequentiële predictor ($g_\theta$) schat de uitgelijnde blokken van de huidige laag op basis van de eerder gedecodeerde context (uitgelijnde blokken van laag $\ell-1$), geconditioneerd op laag- en bloktype-embeddings.
• Residuen: De codec codeert alleen de gekwantiseerde voorspellingsresiduen ($R = \text{UitgelijndDoel} - \text{Voorspelling}$).
• Sleutelframes: Om foutopbouw (drift) over lange sequenties te voorkomen, worden periodieke "sleutelframes" gecodeerd als absolute waarden in plaats van residuen. Deze fungeren als synchronisatiepunten, waardoor de decoder zijn context kan resetten.

3. Geraande Kwantisatie en Entropiemodeling

• Kwantisatie: Residuen worden gemapt naar discrete code-indexen met behulp van een geraande scalair kwantisator met per-kanaal stapgroottes en gemiddelden.
• Entropiecodering: Een geraand entropiemodel wijst kansen toe aan de gekwantiseerde symbolen, wat rekenkundige codering mogelijk maakt. Het model is geconditioneerd op laagindex, bloktype en lokale statistieken afgeleid van de predictoroutput.
• Training: Het volledige systeem (predictor, kwantisator, entropiemodel) wordt end-to-end getraind onder een rate-distortion-doelstelling ($L = L_{task} + \lambda E[-\log p_\psi(c)]$), waarbij $L_{task}$ een distillatieverlies is dat ervoor zorgt dat de gereconstrueerde gewichten de taakprestaties behouden.

4. Zijinformatie en Decoding

De bitstream bevat de entropie-gecodeerde residuen/sleutelframes, permutatie-zijinformatie (gecodeerd via delta-gecodeerde Lehmer-codes om de overhead te verminderen) en kwantisatorparameters. De decoder draait het proces om: het entropie-decodeert, de-quantiseert, reconstrueert residuen via voorspelling en past inverse permutaties toe om de oorspronkelijke tensorstructuur te herstellen voor implementatie.

Belangrijkste Bijdragen

1. Bewegingscompensatie in de Gewichtenruimte: De introductie van blokgewijze permutatieselection om de overeenkomst tussen lagen te vergroten terwijl de gerepresenteerde functie behouden blijft, analoog aan bewegingsschatting in videocompressie.
2. Predictieve Codec voor Diepte: Een nieuwe architectuur die diepte behandelt als een temporele as, gebruikmakend van expliciete sleutelframes en residucodering om uitgelijnde lagen om te zetten in voorspelbare "frames".
3. End-to-End Rate-Distortion Training: Het gezamenlijk trainen van kwantisatie- en entropiemodellen om ervoor te zorgen dat de discrete residustroom zowel accuraat is na decoding als laag-entropisch onder het geraande waarschijnlijkheidsmodel.
4. Empirische Validatie: Demonstratie van verbeterde rate-accuracy Pareto-fronten op zowel Transformer-taalmodellen (Pythia) als visuele classifiers (ViT), met ablatiestudies die bevestigen dat uitlijning, voorspelling en entropiemodeling allemaal noodzakelijk zijn voor volledige winst.

Resultaten

MCWC werd geëvalueerd op Pythia-1.4B (taalmodeling) en ViT-B/16 (visuele classificatie) tegen sterke baselines, waaronder uniforme INT8/INT4-kwantisatie, SmoothQuant, GPTQ, AWQ en geraande scalair kwantisatie.

• Taalmodeling: Bij agressieve compressiesnelheden (bijv. 2,8 bits/parameter) bereikt MCWC een perplexiteit van 16,40, wat beter is dan Prune+Quant (18,10) en geraande scalair kwantisatie (17,30). In het midden-rate-regime (4,2 bits/parameter) bereikt het een perplexiteit van 15,95, wat beter is dan uniforme INT4 (16,85) en concurrerend blijft met Hessiaan-bewuste methoden zoals GPTQ (16,40) en AWQ (16,25).
• Visuele Classificatie: Bij 2,8 bits/parameter behoudt MCWC 80,15% top-1 nauwkeurigheid op ImageNet-1k, wat beter is dan Prune+Quant (77,60%) en geraande scalair kwantisatie (78,70%). Bij 4,2 bits/parameter bereikt het 80,92% nauwkeurigheid, wat hoger is dan uniforme INT4 (79,35%).
• Decoding-efficiëntie: De decodeertijden blijven concurrerend met standaard kwantisatie-baselines (bijv. ~2,5s voor Pythia-1.4B op CPU), aangezien predictieve reconstructie en inverse permutatie lineaire tijdsoperaties zijn, waarbij de dominante kosten zitten in entropie-decoding en tensor-materialisatie.
• Diagnostics: Ablatiestudies bevestigen dat functionele uitlijning de cosinusgelijkenis tussen aangrenzende lagen verhoogt (van ~0,28 naar ~0,67 voor Pythia-1.4B) en de genormaliseerde residu-energie verlaagt, wat valideert dat uitlijning een voorspelbaarder coördinatenstelsel blootlegt.

Betekenis en Claims

Het artikel positioneert MCWC niet als vervanging voor inferentie-kernen met lage precisie (bijv. INT8/INT4-matrixvermenigvuldiging), maar als een gespecialiseerde codec voor checkpoint-opslag en -transport. De primaire waarde ligt in het verminderen van de opslagvoetafdruk, netwerkbandbreedte en cold-start-latentie die gepaard gaan met het distribueren en herhaaldelijk materialiseren van grote modelgewichten.

De auteurs beweren dat MCWC door het benutten van redundantie tussen lagen via bewegingscompensatie een orthogonale bottleneck aanpakt ten opzichte van traditionele kwantisatie. De methode is het meest effectief in implementatiescenario's waar checkpoints vaak worden verplaatst, opgeslagen of gerepliceerd (bijv. serverloze cold starts, modelregistries, randdistributie), waardoor de eenmalige offline encodeerkost kan worden afgeschreven over herhaalde implementatiebesparingen. Het werk suggereert dat het behandelen van neurale gewichten als gestructureerde trajecten door de diepte, in plaats van geïsoleerde tensoren, een nieuwe weg biedt voor efficiënte modelcompressie.