Diagnostic-Driven Layer-Wise Compensation for Post-Training Quantization of Encoder-Decoder ASR Models

Technische Samenvatting: FADE (Diagnostic-Driven Layer-Wise Compensation)

1. Het Probleem: Heterogeniteit in Encoder-Decoder ASR-modellen

Het implementeren van geavanceerde Automatic Speech Recognition (ASR) modellen (zoals Whisper of Moonshine) op randapparatuur (edge devices) vereist agressieve kwantisatie naar lage bit-breedtes (bijv. 3- of 4-bit). Hoewel Post-Training Quantization (PTQ) een praktische oplossing is, kampen encoder-decoder architecturen met een specifiek probleem: foutaccumulatie over de lagen heen.

Bestaande methoden voor foutcompensatie (zoals QEP) gebruiken vaak één enkele globale coëfficiënt ($\alpha$) voor het hele model. De auteurs stellen vast dat dit tekortschiet voor ASR-modellen omdat de encoder (die akoestische signalen verwerkt) en de decoder (die tekstuele representaties verwerkt) een fundamenteel verschillende gevoeligheid vertonen voor kwantisatieruis. Een globale aanpak leidt ofwel tot ondercompensatie in gevoelige lagen, ofwel tot overfitting op de kalibratiedata in andere lagen, wat resulteert in instabiliteit en een hoge variantie in de Word Error Rate (WER).

2. Methodologie: Het FADE-framework

De auteurs introduceren FADE (Fine-grained Alpha for Dynamic Quantization Error Propagation). In plaats van één globale $\alpha$, wijst FADE aan elke laag een adaptieve coëfficiënt $\alpha_l$ toe. Deze coëfficiënt wordt bepaald door twee complementaire diagnostische signalen te combineren:

• Signaal I: Intrinsieke Gewicht-kwetsbaarheid ($\phi_{int}$):
  Dit signaal meet hoe moeilijk een laag is om te kwantiseren op basis van de gewichtsgeometrie alleen, zonder naar data te kijken. Het gebruikt de fout van de Round-to-Nearest (RTN) methode als maatstaf. Een hoge fout duidt op een laag die structureel gevoelig is voor lage bit-breedtes.
• Signaal II: Kalibratie-betrouwbaarheid ($\phi_{calib}$):
  Dit signaal beoordeelt of de correctie die wordt voorgesteld door de data-gedreven solver (zoals GPTQ) betrouwbaar is. Het kijkt naar de winst die de kalibratie oplevert ten opzichte van RTN, maar straft lagen af waarbij de oplossing te ver afwijkt van de veilige RTN-basis (wat wijst op instabiliteit of overfitting).

Fusie en Gating:
Deze twee signalen worden samengevoegd tot een score $s_l$, die via een logistische functie (sigmoid) wordt omgezet in een coëfficiënt $\alpha_l$ binnen een vastgesteld interval $[\alpha_{min}, \alpha_{max}]$. Dit fungeert als een "poort" die de balans bewaakt tussen lokale reconstructiefaalt (getrouwheid aan de originele gewichten) en cross-layer foutcorrectie.

3. Belangrijkste Bijdragen

• Identificatie van Heterogeniteit: Het aantonen dat een globale compensatie-coëfficiënt fundamenteel ongeschikt is voor de asymmetrische aard van encoder-decoder ASR-modellen.
• FADE Framework: Een nieuw, diagnostisch gedreven mechanisme dat per laag adaptief de correctiekracht bepaalt.
• Geen extra overhead: De methode vereist geen hertraining, geen extra kalibratiedata en geen hyperparameter-zoekopdrachten. Het kan direct worden geïntegreerd in bestaande Hessian-gebaseerde PTQ-pipelines (zoals GPTQ).
• Efficiëntie: De computationele complexiteit is asymptotisch gelijk aan een standaard GPTQ-proces; het voegt slechts een constante factor toe tijdens de offline kwantisatiefase.

4. Resultaten

De methode is uitgebreid getest op moderne modelfamilies: Whisper, Moonshine en Qwen3-ASR.

• Verbeterde nauwkeurigheid (WER): FADE presteert consistent beter dan sterke baselines (RTN, AWQ, GPTQ, GPTQ+QEP) bij zowel 3- als 4-bit precisie. Bij de zeer agressieve 3-bit instellingen zijn de winsten het grootst.
• Vermindering van variantie: Een cruciaal resultaat is de significante afname van de run-to-run variance. Waar bestaande methoden bij lage bit-breedtes onvoorspelbare resultaten geven, zorgt FADE voor stabiele prestaties over verschillende random seeds.
• Generalisatie: De geleerde coëfficiënten generaliseren goed naar datasets die niet gebruikt zijn tijdens de kalibratie (cross-dataset evaluatie).
• Schaalbaarheid: Bij grote modellen zoals Qwen3-ASR-1.7B laat FADE zien dat 3-bit kwantisatie bijna de prestaties van de originele FP16-modellen kan benaderen.

5. Betekenis

Dit onderzoek is van groot belang voor de praktische inzet van AI op mobiele telefoons en wearables. Het bewijst dat door de interne structuur van een model (de asymmetrie tussen encoder en decoder) te respecteren via fijnmazige, adaptieve correctie, we modellen extreem efficiënt kunnen comprimeren zonder dat dit ten koste gaat van de betrouwbaarheid of nauwkeurigheid van de spraakherkenning.