MARR: Module-Adaptive Residual Reconstruction for Low-Bit Post-Training Quantization

Technische Samenvatting: MARR (Module-Adaptive Residual Reconstruction)

Probleemstelling
Post-training kwantisatie (PTQ) met lage bitdiepte is cruciaal voor het implementeren van grote taalmodellen (LLMs) en vision transformers (ViTs) onder strikte geheugen- en bandbreedtebeperkingen. Hoewel reconstructiegebaseerde PTQ-methoden (bijvoorbeeld GPTQ) lokale kwantisatiefouten effectief minimaliseren, slagen ze er vaak niet in rekening te houden met fouten die zich hebben opgehoopt uit voorgaande lagen in settings met lage bitdiepte. Recentere benaderingen, zoals GPTAQ en ResComp, lossen dit op door cross-layer residu-termen in te voeren om opgehoopte activatie-afwijkingen te corrigeren. De auteurs identificeren echter een kritieke beperking in deze methoden: de afhankelijkheid van een Hessian-Approximatie (HA) aanname.

Onder de HA-aanname vereenvoudigt het reconstructiedoel de taakverlies-Hessian tot een diagonaalmatrix. De auteurs tonen aan dat residu-termen, hoewel ze effectief opgehoopte fouten verminderen, tegelijkertijd extra Hessian-Approximatie (HA)-bias introduceren. Deze bias ontstaat omdat de residu-term interacteert met de benaderingskloof tussen de ware taakverlies-Hessian en de vereenvoudigde lokale Gemiddelde Kwartieke Fout (MSE)-metriek. Bijgevolg kan een residu-strekte die te sterk is, deze bias versterken, wat leidt tot suboptimale kwantisatieprestaties. Bovendien is de optimale balans tussen foutcorrectie en HA-bias module-afhankelijk; een enkele globale residu-schaalfactor is onvoldoende om de heterogeniteit tussen verschillende modules in een netwerk te hanteren.

Methodologie
Om de afweging tussen opgehoopte-foutcorrectie en residu-gerelateerde HA-bias aan te pakken, stelt het artikel Module-Adaptive Residual Reconstruction (MARR) voor. De kernmethodologie bestaat uit drie componenten:

1. Geschaalde Residu-Reconstructie:
   De auteurs introduceren een schaalcoëfficiënt, $\alpha$, om de residu-term $r$ in het reconstructiedoel te moduleren. De doelfunctie wordt geformuleerd als het minimaliseren van $\|\Delta w \hat{X} - \alpha r\|_F^2$. Dit stelt de methode in staat om expliciet de sterkte van de cross-layer informatie die in elke module wordt geïnjecteerd, te controleren. Theoretische analyse (Vergelijking 6) toont aan dat de HA-bias termen bevat die afhankelijk zijn van de residu $r$; het schalen van $\alpha$ past dus direct de grootte van deze bias aan ten opzichte van het voordeel van foutcorrectie.

2. Modulespecifieke Schaling:
   Inzichtelijk dat de optimale $\alpha$ varieert per module vanwege verschillen in activatiestatistieken en voortgebrachte residu-magnitudes, wijst MARR een unieke schaalcoëfficiënt $\alpha_m$ toe aan elke module $m$. Dit vervangt de globale coëfficiënt die in eerdere werken werd gebruikt (bijvoorbeeld GPTAQ waar $\alpha=1$).

3. PID-gebaseerde Adaptieve Schatting:
   Om de optimale $\alpha_m$ te bepalen zonder dure exhaustieve roosterzoeken, ontwerpen de auteurs een Proportioneel-Integraal-Derivatie (PID)-gebaseerde adaptieve updatestrategie.

   • Feedbacksignaal: De reconstructiefout op module-niveau (MSE) dient als feedbacksignaal. Omdat het kwantisatieproces niet-glad en discreet is, is gradient-gebaseerde optimalisatie niet haalbaar. In plaats daarvan maakt de methode gebruik van een zero-order feedbackbenadering.
   • Updatemechanisme: Het algoritme behandelt $\alpha_m$ als een aanpasbare variabele. Het berekent een afwijkingssignaal op basis van de eindige-differentie-trend van de reconstructiefout. Dit signaal wordt verwerkt via een PID-regelaar (met proportionele, integrale en differentiaalcomponenten) om een incrementele update voor $\alpha_m$ te genereren.
   • Stabiliteit: De update bevat een door $\tanh$ begrensd afwijkingssignaal om overschieten te voorkomen en een vroegtijdig stopcriterium gebaseerd op de relatieve verandering van de doelfunctie. In de praktijk convergeert de coëfficiënt binnen een paar iteraties (typisch $T=3$).

Belangrijkste Bijdragen

• Theoretisch Inzicht: Het artikel identificeert en analyseert het "tweezijdige effect" van residu-reconstructie: terwijl het opgehoopte fouten vermindert, introduceert het HA-gerelateerde bias. Dit verklaart waarom vaste, sterke residu's de prestaties kunnen verslechteren.
• MARR-kader: Het voorstellen van een module-adaptief kader dat specifieke schaalcoëfficiënten toewijst aan residu's, waardoor elke module onafhankelijk de balans tussen foutcorrectie en benaderingsbias kan beheren.
• Efficiënte Optimalisatie: Het ontwerpen van een PID-gebaseerde adaptieve updatestrategie die modulespecifieke coëfficiënten efficiënt schat met reconstructiefout-feedback, waardoor de rekenkosten van exhaustief zoeken worden vermeden.
• Empirische Validatie: Uitgebreide experimenten tonen aan dat MARR consistent beter presteert dan state-of-the-art residu-reconstructie baselines (GPTAQ, ResComp) onder kwantisatie met lage bitdiepte (W2A4, W3A3, enz.) over diverse LLM's (Llama2, Llama3) en ViT's (DeiT).

Experimentele Resultaten
De auteurs evalueerden MARR op verschillende modellen onder instellingen voor gewicht-activatie (W/A) en alleen-gewicht (W) kwantisatie:

• LLM's (W2A4): MARR behaalde aanzienlijke reducties in perplexiteit op de WikiText2- en C4-datasets. Op Llama2-7b bijvoorbeeld, verlaagde MARR de perplexiteit met 14,94% vergeleken met GPTAQ. Op Llama3-8b was de reductie 9,82%. Wat downstream taaknauwkeurigheid betreft, toonde MARR consistente verbeteringen, met winsten tot 2,54% in gemiddelde zero-shot nauwkeurigheid voor Llama2-7b.
• ViT's: Op ImageNet verbeterde MARR de top-1 nauwkeurigheid voor DeiT-T, DeiT-S en DeiT-B modellen. Opmerkelijk is dat MARR op DeiT-S onder W3A3-kwantisatie een 4,61% relatieve winst behaalde ten opzichte van de GPTAQ-baseline.
• Alleen-Gewicht Kwantisatie: Zelfs wanneer activaties in hoge precisie blijven (bijvoorbeeld W2A16), toonde MARR verbeteringen, hoewel de winsten soms meer taakafhankelijk waren. Dit bevestigt dat het residu-controlemechanisme nog steeds voordelig is, zelfs wanneer activatie-afwijkingen worden verminderd.
• Efficiëntie: De PID-gebaseerde update introduceert een eenmalige PTQ-overhead van ongeveer 2,1–2,7× ten opzichte van de basale GPTAQ-methode. De auteurs merken op dat dit acceptabel is gezien de prestatiewinsten en het feit dat het aanzienlijk sneller blijft dan reconstructiemethoden gebaseerd op backpropagatie.

Betekenis en Beweringen
Het artikel beweert dat MARR een principiële oplossing biedt voor de suboptimale prestaties van bestaande residu-reconstructiemethoden in PTQ met lage bitdiepte. Door expliciet de afweging tussen opgehoopte-foutcorrectie en HA-bias te modelleren, en deze balans op module-niveau aan te passen, bereikt MARR superieure kwantisatienauwkeurigheid zonder hertraining. De auteurs benadrukken de generaliteit van hun aanpak, waarbij ze wijzen op de effectiviteit bij zowel LLM's als ViT's, wat suggereert dat het controleren van residu-bijdrage een fundamentele vereiste is om de kwantisatiegrenzen onder de 4-bit te duwen. Het werk concludeert dat, hoewel de PID-strategie rekenkundige overhead toevoegt, dit een noodzakelijk en efficiënt mechanisme is om de suboptimale prestaties te voorkomen die worden veroorzaakt door een "one-size-fits-all" residu-strekte.