Technische Samenvatting: E-PMQ: Expert-Gestuurde Post-Merge Quantisatie met Verankering van Gesmolten Gewichten

1. Probleemformulering: Post-Merge Quantisatie (PMQ)

Het artikel behandelt een specifiek scenario voor implementatie met beperkte middelen, waarbij meerdere taakgespecialiseerde "expert"-modellen eerst worden samengevoegd tot één enkel model, waarna dit resulterende gesmolten model wordt gekwantiseerd voor efficiënte inferentie. De auteurs definiëren deze setting als Post-Merge Quantisatie (PMQ).

De kernuitdaging die wordt geïdentificeerd, is dat standaard Post-Training Quantisatie (PTQ)-methoden, zoals GPTQ, onbetrouwbaar zijn wanneer ze direct worden toegepast op gesmolten modellen. Bij standaard PTQ wordt het model met volledige precisie behandeld als een betrouwbaar reconstructiedoel. Echter, bij PMQ is het gesmolten model met volledige precisie ($W_m$) geen onafhankelijk geoptimaliseerd multi-task model; het is een samenstelling van parameters die mogelijk al afwijken van het gedrag van de bron-experts.

De auteurs betogen dat naïeve PMQ (directe kwantisatie van $W_m$) twee verschillende afwijkingen koppelt:

1. Kwantisatie-afwijking: De fout die wordt geïntroduceerd door gewichten te reconstrueren in een ruimte met een lage bitdiepte.
2. Expert-relatieve samenvoegingsafwijking: De fout die inherent is aan het gesmolten model zelf, en die aangeeft hoe ver $W_m$ is afgeweken van de specifieke gedragingen van de bron-experts ($W_i$).

Wanneer een naïef PTQ-algoritme de reconstructiefout van $W_m$ alleen minimaliseert, behandelt het dit potentieel afwijkende model als de grondwaarheid. Bijgevolg faalt het kwantisatieproces om de bestaande samenvoegingsafwijkingen te corrigeren en versterkt het deze juist met kwantisatiefouten, wat leidt tot significante prestatiedegradatie, vooral onder agressieve instellingen met lage bitdiepte (bijvoorbeeld 4-bit) of bij het samenvoegen van veel taken.

2. Methodologie: E-PMQ Framework

Om deze gekoppelde afwijkingen te mitigeren, stellen de auteurs E-PMQ voor, een expert-gestuurd framework dat informatie van bron-experts integreert tijdens de kalibratiefase, terwijl het de implementatie-efficiëntie van één enkel gesmolten model behoudt.

Kerncomponenten

E-PMQ werkt via lagen-voor-lagen kwantisatie in een voorwaartse volgorde. Voor elke laag $\ell$ maakt het gebruik van:

• De gesmolten gewichten ($W_m^\ell$).
• De bron-expert gewichten ($\{W_i^\ell\}_{i=1}^K$).
• Kalibratie-activaties verzameld vanuit het huidige gedeeltelijk gekwantiseerde model.

De methode introduceert twee belangrijke mechanismen:

A. Expert-Gestuurde Outputdoelen

In plaats van de output van het gesmolten model ($W_m^\ell X^\ell$) als enig doel te reconstrueren, construeert E-PMQ outputdoelen op basis van de bron-experts. Voor elke expert $i$ is het doel $Y_i^\ell = W_i^\ell X_i^\ell$, waarbij $X_i^\ell$ activaties zijn die zijn verzameld uit de kalibratiesubset die aan die expert is gekoppeld.
Het doel minimaliseert de discrepantie tussen de output van de gekwantiseerde laag en deze expert-geïnduceerde doelen:
$$\min_{Q^\ell} \sum_{i=1}^K \| Q^\ell X_i^\ell - W_i^\ell X_i^\ell \|_F^2$$
Dit dwingt het kwantisatieproces om uitlijning te zoeken met het gedrag van de oorspronkelijke experts, waardoor de expert-relatieve samenvoegingsafwijking wordt verminderd.

B. Verankering van Gesmolten Gewichten

Het uitsluitend vertrouwen op expert-doelen loopt het risico de gesmolten laag te over-corrigeren, wat potentieel kan leiden tot een afwijking van het gekwantiseerde model naar een specifieke expert en het verlies van de geïntegreerde capaciteiten die door het samenvoegingsproces zijn bereikt. Om dit te voorkomen, voegt E-PMQ een regularisatieterm toe die de gekwantiseerde gewichten ($Q^\ell$) verankert aan de gesmolten gewichten met volledige precisie ($W_m^\ell$):
$$\min_{Q^\ell} \sum_{i=1}^K \| Q^\ell X_i^\ell - W_i^\ell X_i^\ell \|_F^2 + \lambda^\ell \| Q^\ell - W_m^\ell \|_F^2$$
De verankeringssterkte $\lambda^\ell$ is adaptief en wordt geschaald met de totale activatie-energie van de laag om stabiliteit over verschillende lagen te waarborgen.

Implementatie van de Oplosser

De auteurs passen de sequentiële afrondingsoplosser in de stijl van GPTQ aan om deze nieuwe doelstelling te hanteren. De oplosser maakt gebruik van gewijzigde kwadratische statistieken:

• Effectieve Kromming: $H_{E-PMQ}^\ell = \sum H_i^\ell + \lambda^\ell I$
• Rechterhand: $R_{E-PMQ}^\ell = \sum W_i^\ell H_i^\ell + \lambda^\ell W_m^\ell$
  Dit stelt de methode in staat efficiënt te worden geïmplementeerd zonder end-to-end hertraining, met uitsluitend een kalibratieset.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Probleemformulering: De auteurs definiëren formeel Post-Merge Quantisatie (PMQ) en identificeren de faalmodus van naïeve benaderingen: de koppeling van kwantisatie-afwijking met expert-relatieve samenvoegingsafwijking.
2. Algoritmevoorstel: Zij introduceren E-PMQ, dat gebruikmaakt van bron-expert gewichten om tijdens de kalibratie gestuurde outputdoelen te bieden en verankering van gesmolten gewichten toepast om de oplossing te stabiliseren en het geïntegreerde gedrag van het gesmolten model te behouden.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat E-PMQ consequent beter presteert dan naïeve PMQ-baselines (RTN, GPTQ, AWQ) over diverse samenvoegingsmethoden (Task Arithmetic, TIES-Merging, Simple Averaging), modelarchitecturen (CLIP-ViT, FLAN-T5, Llama-3.1) en taakschalen (8 tot 20 taken).

4. Experimentele Resultaten

Het artikel evalueert E-PMQ op visuele (CLIP) en taalmodellen (FLAN-T5, Llama-3.1) met behulp van kwantisatie van alleen gewichten met 4-bit.

• CLIP-ViT-B/32 (8 Taken): Onder Task Arithmetic verbetert E-PMQ de 4-bit GPTQ-accuraatheid van 65,0% naar 73,6%. Onder TIES-Merging verbetert het van 69,1% naar 74,8%.
• CLIP-ViT-L/14 (20 Taken): In deze moeilijkere setting met meer interferentie toont E-PMQ dramatische winsten, met een verbetering van GPTQ van 34,8% naar 76,7% onder Task Arithmetic.
• FLAN-T5-base (GLUE): E-PMQ verbetert de gemiddelde score van 78,26% naar 83,34% onder Task Arithmetic en van 79,98% naar 83,48% onder TIES-Merging.
• Llama-3.1 (3B en 8B): E-PMQ bereikt de beste gemiddelde prestatie onder gekwantiseerde varianten, met verbeteringen ten opzichte van GPTQ- en AWQ-baselines.
• Ablatiestudies: Het verwijderen van de verankering van gesmolten gewichten ($\alpha=0$) veroorzaakt een ernstige prestatie-inzakking (bijvoorbeeld dalen tot ~5% nauwkeurigheid), wat bevestigt dat expert-gidsing alleen onvoldoende is zonder verankering aan het gesmolten model. E-PMQ toont ook robuustheid over bit-breedtes (3-bit tot 8-bit) en met verminderde kalibratiebudgetten.

5. Betekenis en Claims

Het artikel beweert dat E-PMQ effectieve implementatie met lage bitdiepte van gesmolten modellen mogelijk maakt, een setting die eerder als onbetrouwbaar werd beschouwd vanwege de accumulatie van afwijkingen.

• Efficiëntie: De methode vereist toegang tot bron-experts uitsluitend tijdens de kwantisatiefase voorafgaand aan implementatie. Het uiteindelijke geïmplementeerde model is één enkel laag-bit gesmolten model zonder aanvullende modules voor inferentietijd of expert-gewichten, waarbij hetzelfde aantal parameters en dezelfde inferentiesnelheid worden behouden als bij naïeve baselines.
• Generaliseerbaarheid: De aanpak blijkt effectief over verschillende modaliteiten (visie en tekst), modelschalen en samenvoegingsstrategieën.
• Beperkingen: De auteurs merken bescheiden op dat E-PMQ toegang vereist tot bron-experts tijdens de kwantisatie, wat de reken- en geheugenkosten voorafgaand aan implementatie verhoogt in vergelijking met naïeve PTQ. Als alleen het gesmolten model beschikbaar is, kan de methode geen expert-gestuurde doelen construeren. Bovendien hangt de prestatie van de methode af van de representativiteit van de kalibratieset.

Kortom, het artikel betoogt dat om gesmolten modellen succesvol te kwantiseren, men voorbij het gesmolten model zelf moet kijken en de bron-experts moet gebruiken om de kalibratie te sturen, terwijl men tegelijkertijd de oplossing verankert aan de gesmolten gewichten om de voordelen van de fusie te behouden.