Quant Experts: Token-aware Adaptive Error Reconstruction with Mixture of Experts for Large Vision-Language Models Quantization

Dit paper introduceert Quant Experts (QE), een post-training kwantisatiemethode voor Vision-Language Models die gebruikmaakt van een token-bewuste, adaptieve foutcompensatie via een Mixture of Experts-architectuur om de prestaties van modellen van 2B tot 70B parameters dicht bij die van volledige precisie te houden.

De kern

Stel je voor dat je een gigantische, superintelligente robot hebt die zowel foto's als tekst kan begrijpen. Dit is een Vision-Language Model (VLM). Deze robot is geweldig, maar hij is ook enorm zwaar: hij heeft een enorme hoeveelheid geheugen nodig en is traag om te laten werken.

Om deze robot sneller en lichter te maken, willen we hem "verkleinen". We doen dit door de getallen in zijn brein af te ronden naar kleinere, simpelere getallen. Dit noemen we kwantisatie (quantization).

Het probleem? Als je te simpel wordt, verliest de robot zijn intelligentie. Hij begint fouten te maken. Bestaande methoden proberen dit op te lossen door te zeggen: "Oké, deze specifieke onderdelen van het brein zijn gevoelig, die houden we extra goed." Maar ze behandelen de hele robot alsof hij altijd hetzelfde doet, of alsof hij alleen op tekst of alleen op foto's reageert.

De auteurs van dit paper zeggen: "Dat is niet genoeg! De robot is dynamisch."

Hier is de uitleg van hun oplossing, Quant Experts (QE), in simpele taal met een paar creatieve vergelijkingen:

1. Het Probleem: De "Vaste" Regels werken niet

Stel je voor dat je een chef-kok bent die voor een enorm restaurant werkt.

• De oude methode: De chef zegt: "Wees voorzichtig met de peper. Die is altijd belangrijk, of het nu een Italiaanse pasta of een Aziatische soep is."
• De realiteit: Soms heb je veel peper nodig voor de pasta, maar voor de soep heb je juist veel zout nodig. En soms, als je een heel specifieke vissoep maakt, heb je weer iets anders nodig. De "belangrijke ingrediënten" veranderen per gerecht (per token in de AI-taal).

Bestaande methoden kijken alleen naar het gemiddelde of naar het type gerecht (vis of vlees), maar ze zien niet dat de specifieke ingrediënten per gerecht veranderen. Hierdoor wordt het eten (het antwoord van de AI) soms flauw of fout.

2. De Oplossing: Het "Expert Team" (Mixture of Experts)

De auteurs van dit paper hebben een slimme oplossing bedacht: Quant Experts. In plaats van één grote, stijve regel voor iedereen, bouwen ze een team van specialisten.

Ze verdelen de "gevoelige onderdelen" van de robot in twee groepen:

A. De "Altijd-Belangrijke" Groep (Shared Expert)

Sommige onderdelen zijn altijd belangrijk, of je nu een foto bekijkt of een zin leest.

• De Analogie: Dit is als de Hoofdkok in het restaurant. Hij staat altijd in de keuken, ongeacht welk gerecht er besteld wordt. Hij zorgt voor de basis: de goede structuur van de saus, de juiste temperatuur.
• In de AI: Dit is een "Shared Expert" (een gedeelde expert) die zorgt voor de globale fouten die altijd terugkomen. Hij is als een stabiele ruggengraat.

B. De "Specifieke" Groep (Routed Experts)

Andere onderdelen zijn alleen belangrijk voor specifieke situaties.

• De Analogie: Dit zijn de Gastkoks.
  • Als er een Italiaanse pasta besteld wordt, roept de chef de "Pasta-specialist" aan.
  • Als er een Aziatische soep komt, roept hij de "Soep-specialist" aan.
  • Als er een dessert komt, komt de "Zoet-specialist" in actie.
  • De chef (de Router) kijkt naar de bestelling (de token) en kiest direct de juiste specialist.
• In de AI: Dit zijn de "Routed Experts". Als de AI een woord leest dat veel met beelden te maken heeft, schakelt hij de expert in die goed is in visuele fouten. Als het een abstract woord is, kiest hij een andere expert. Ze werken allemaal met kleine, flexibele hulpmiddelen (low-rank adapters) om de fouten lokaal op te lossen.

3. Hoe werkt het in de praktijk?

1. Leren (Calibratie): De AI kijkt eerst naar een paar voorbeelden (calibratie-data). Hij noteert: "Welke onderdelen zijn vaak belangrijk?" en "Welke onderdelen zijn alleen belangrijk bij specifieke woorden?".
2. Indelen: Hij maakt een lijst van de "Altijd-Belangrijke" (voor de Hoofdkok) en de "Soms-Belangrijke" (voor de Gastkoks).
3. Werken: Tijdens het gebruik:
   • De Hoofdkok doet zijn werk voor de basisfouten.
   • De Router kijkt naar het huidige woord of beeld, denkt: "Ah, dit is een visueel woord!" en schakelt direct de juiste Gastkok in om de specifieke fouten van dat moment te repareren.

Waarom is dit zo goed?

• Flexibiliteit: Het systeem past zich aan. Het behandelt niet elke situatie als hetzelfde.
• Efficiëntie: Hoewel het klinkt alsof je veel extra mensen (experts) inhuurt, zijn deze experts heel klein en licht. Ze kosten nauwelijks extra geheugen, maar ze maken het resultaat veel beter.
• Resultaat: De robot blijft bijna net zo slim als de oorspronkelijke, zware versie, maar werkt veel sneller en neemt minder ruimte in beslag. Zelfs bij extreem kleine getallen (4-bit) presteert het systeem verrassend goed.

Samenvattend

Stel je voor dat je een zware, trage vrachtwagen (de AI) wilt omtoveren tot een snelle sportauto.

• Oude methode: Je haalt de zware onderdelen eraf, maar de auto wordt onbestuurbaar omdat hij niet meer goed reageert op de weg.
• Nieuwe methode (Quant Experts): Je bouwt een slim systeem in de auto. Er is een standaard stuur (Shared Expert) voor de rechte stukken, maar er zijn ook speciale sensoren die bij elke bocht (elk woord/beeld) de perfecte, kleine hulpstuurman (Routed Expert) inschakelen om de auto precies in de bocht te houden.

Het resultaat? Een lichte auto die nog steeds perfect over de weg rijdt, zelfs op de moeilijkste stukken.

Technische samenvatting

Probleemstelling

Post-Training Quantization (PTQ) is een cruciale techniek om de reken- en geheugenkosten van Vision-Language Models (VLMs) te verlagen door gewichten en activaties te comprimeren zonder het model opnieuw te trainen. Bestaande PTQ-methoden (zoals SmoothQuant, AWQ, LQER) vertrouwen echter vaak op statische identificatie van "sensitive" of "outlier" kanalen en passen een globale compensatie toe.

De auteurs identificeren twee fundamentele tekortkomingen in deze bestaande benaderingen:

1. Statische Aannames: Bestaande methoden gaan ervan uit dat de belangrijkheid van kanalen statisch is. In werkelijkheid varieert de verdeling en de frequentie van belangrijke kanalen aanzienlijk, niet alleen tussen verschillende modaliteiten (bijv. tekst vs. beeld), maar ook tussen individuele tokens binnen dezelfde modality.
2. Gebrek aan Lokale Aanpassing: Globale compensatiestrategieën negeren de dynamische relaties tussen input-tokens en foutcompensatie. Dit leidt tot onvoldoende herstel van kwantiseringsfouten, vooral bij lage bitbreedtes (zoals 4-bit gewichten), wat resulteert in een significante daling van de prestaties.

Methodologie: Quant Experts (QE)

Om deze uitdagingen aan te pakken, stellen de auteurs Quant Experts (QE) voor. Dit is een token-bewuste, adaptieve foutreconstructieframework dat gebruikmaakt van een Mixture-of-Experts (MoE) architectuur. De kern van de methode bestaat uit de volgende stappen:

1. Analyse en Partitionering van Kanalen

Op basis van kalibratiegegevens analyseren de auteurs de frequentie waarmee bepaalde kanalen als "belangrijk" worden geïdentificeerd. Ze verdelen deze kanalen in twee groepen:

• Token-onafhankelijke kanalen: Kanalen die consistent belangrijk zijn voor de meeste tokens. Deze vertegenwoordigen globale kwantiseringsfouten.
• Token-afhankelijke kanalen: Kanalen die alleen belangrijk zijn voor specifieke tokens of contexten. Deze vertegenwoordigen lokale, dynamische fouten.

2. Het MoE Framework

QE gebruikt twee soorten experts, beide geïmplementeerd als Low-Rank Adapters (LoRA) om het rekenvermogen laag te houden:

• Shared Expert (SE): Een vaste expert die is toegewezen aan de token-onafhankelijke kanalen. Deze reconstructeert de globale kwantiseringsfouten die voortkomen uit de meest frequente outliers.
• Routed Experts (REs): Een verzameling van experts die zijn toegewezen aan clusters van token-afhankelijke kanalen.
  • De token-afhankelijke kanalen worden gegroepeerd op basis van hun co-occurrence (hoe vaak ze samen voorkomen als belangrijk) met behulp van spectrale clustering.
  • Tijdens de inferentie fungeert een lightweight router als schakelaar. Deze router analyseert de invoer-tokens en selecteert dynamisch de meest geschikte routed expert om de lokale fouten voor dat specifieke token te compenseren.

3. Training en Fijnafstemming (Refinement)

Hoewel QE een PTQ-methode is, omvat het een optionele, lichte verfijningsfase. Alleen de parameters van de routed experts en de router worden getraind (de rest van het model blijft bevroren). Dit gebeurt per laag en minimaliseert de trainingskosten terwijl de nauwkeurigheid wordt geoptimaliseerd.

Belangrijkste Bijdragen

1. Observatie van Dynamische Kanalen: De auteurs tonen empirisch aan dat de verdeling en frequentie van belangrijke kanalen sterk variëren tussen modaliteiten en tokens, zelfs binnen dezelfde modality. Dit weerlegt de aanname van statische kanalen in bestaande PTQ-methoden.
2. Token-Aware Adaptive Compensation: De introductie van QE, een framework dat globale fouten (via een gedeelde expert) en lokale fouten (via gerouteerde experts) gescheiden en adaptief behandelt.
3. Efficiënte Implementatie: Door gebruik te maken van low-rank adapters en een lightweight router, voegt QE slechts minimale extra reken- en geheugenoverhead toe, terwijl het de prestaties van full-precision modellen benadert.

Resultaten

De auteurs hebben QE uitgebreid getest op verschillende VLMs (Qwen2VL en InternVL2) met variërende grootte (van 2B tot 72B parameters) en onder verschillende kwantiseringsinstellingen (W4A6, W4A8, W3A16).

• Prestatieverbetering: QE overtreft consistent state-of-the-art baselines zoals SmoothQuant, MBQ (Modality-aware), en LQER (Low-rank Error Reconstruction).
  • Bij de Qwen2VL-72B model onder de uitdagende W4A6-instelling (4-bit gewichten, 6-bit activaties) boekte QE een gemiddelde nauwkeurigheidsverbetering van 5,09% ten opzichte van de beste concurrent, en kwam het bijna in de buurt van de full-precision prestaties.
  • Bij kleinere modellen (bijv. Qwen2VL-2B) werd een verbetering van 4,01% gezien ten opzichte van MBQ.
• Robuustheid: De methode werkt effectief over diverse multimodale taken, waaronder OCR, tekstverstaan, diagramredenering en wetenschappelijk redeneren.
• Efficiëntie: De analyse toont aan dat QE slechts een minimale toename in FLOPs en geheugen veroorzaakt. Op hardware-niveau (gebaseerd op FlightLLM architectuur) wordt een versnelling van 3,5x tot 4,5x bereikt tijdens de prefill-fase ten opzichte van full-precision inferentie.

Betekenis en Impact

Dit werk is significant omdat het een nieuwe richting aangeeft voor de kwantisatie van multimodale modellen. In plaats van te vertrouwen op statische, globale correcties, erkent QE de inherent dynamische aard van visuele en taalkundige data. Door de Mixture-of-Experts aanpak toe te passen op foutreconstructie, maakt het kwantisatie van zeer grote VLMs (tot 70B+ parameters) naar lage bitbreedtes (4-bit) haalbaar zonder de nauwkeurigheid te offeren. Dit opent de deur voor het uitvoeren van geavanceerde Vision-Language taken op apparaten met beperkte rekenkracht, zoals mobiele telefoons of edge-servers, zonder dat volledige hertraining nodig is.