Evaluating the Impact of Post-Training Quantization on Reliable VQA with Multimodal LLMs

Probleemstelling

Multimodale Large Language Models (MLLM's) worden steeds vaker ingezet in kritieke domeinen zoals gezondheidszorg en toegankelijkheid, waar zowel betrouwbaarheid als efficiëntie cruciaal zijn. Er zijn echter twee fundamentele uitdagingen:

1. Betrouwbaarheid: Bestaande modellen vertonen vaak een te groot zelfvertrouven (overconfidence), waarbij ze zeer zeker antwoorden geven die incorrect zijn. Betrouwbare systemen moeten in staat zijn om af te zien van een voorspelling (abstention) wanneer ze onzeker zijn.
2. Efficiëntie: De enorme grootte van deze modellen belemmert de implementatie op randapparaten (edge devices). Post-Training Quantization (PTQ) wordt gebruikt om het model te comprimeren door parameters naar lagere precisie-formaten te mappen.

Het huidige onderzoeksgap is dat de interactie tussen deze twee uitdagingen onbekend is. Bestaande PTQ-onderzoeken focussen op taaknauwkeurigheid bij unimodale modellen, terwijl selectieve voorspelling (reliability) vaak wordt bestudeerd bij ongecomprimeerde netwerken. Het is niet duidelijk hoe quantization de betrouwbaarheid en het zelfvertrouwen van multimodale modellen beïnvloedt.

Methodologie

De auteurs voeren een systematisch empirisch onderzoek uit naar quantized MLLM's voor selectieve Visual Question Answering (VQA).

• Modellen: Er worden twee state-of-the-art MLLM's gebruikt: Qwen2-VL-7B en Idefics3-8B.
• Quantization-methoden: Twee PTQ-schemata worden vergeleken:
  • HQQ (Half-Quadratic Quantization): Een datavrije methode die heuristieken gebruikt.
  • MBQ (Modality-Balanced Quantization): Een datagerichte methode die kalibratiegegevens gebruikt om de dynamiek van activaties te vangen en modale sensitiviteit te behouden.
  • Deze methoden worden getest op verschillende bit-breedtes: int8, int4 en int3.
• Betrouwbaarheidsschatting: Om de negatieve effecten van quantization op betrouwbaarheid tegen te gaan, wordt de Selector (een extrinsieke confidence estimator) aangepast voor quantized multimodale settings.
  • De Selector is een tweelaags MLP die de waarschijnlijkheid van correctheid voorspelt op basis van multimodale signalen (beeld- en vraagrepresentaties, token-probabiliteiten).
  • Dit wordt vergeleken met een intrinsieke baseline: MaxProb (gezamenlijke softmax-probabiliteit van gegenereerde tokens).
• Datasets & Evaluatie:
  • In-distribution: VQAv2.
  • Out-of-Distribution (OOD): AdVQA (taalkundige shift) en VizWiz (multimodale shift).
  • Metrics: Nauwkeurigheid, Expected Calibration Error (ECE), Coverage-at-Risk (C@R), Area under the Risk–Coverage Curve (AUC) en Effective Reliability ($\Phi_c$).

Belangrijkste Bijdragen

1. Eerste systematische studie: Dit is het eerste werk dat de relatie tussen quantization en betrouwbaarheid in multimodale settings systematisch kwantificeert.
2. Vergelijking van methoden: Een uitgebreide evaluatie van datavrije (HQQ) versus datagerichte (MBQ) quantization op zowel nauwkeurigheid als betrouwbaarheid.
3. Validatie van de Selector: Het aantonen dat de Selector-architectuur robuust blijft en effectief kan worden toegepast op quantized modellen om betrouwbaarheid te herstellen.
4. Correlatieanalyse: Het aantonen dat verliezen in nauwkeurigheid en betrouwbaarheid gecorreleerd zijn, en dat de Selector deze verliezen effectief kan compenseren.

Resultaten

• Impact van Quantization (RQ1): Quantization leidt consistent tot een daling in zowel taaknauwkeurigheid als betrouwbaarheid. Naarmate de bit-breedte afneemt, stijgt de kalibratiefout (ECE).
  • MBQ vs. HQQ: Datagerichte methoden (MBQ) verzachten de negatieve effecten aanzienlijk vergeleken met datavrije methoden (HQQ), vooral bij lagere bit-breedtes (int4 en int3). Bij int4 blijft de prestatie binnen ongeveer 2% van de originele bf16-versie.
  • Int3: Bij int3 treedt er ernstige instabiliteit op in het zelfvertrouwen, wat leidt tot grote prestatieverliezen.
• Compensatie door Selector (RQ2): De Selector verbetert de betrouwbaarheid aanzienlijk voor zowel quantized als ongecomprimeerde modellen.
  • De Selector verlaagt de ECE en verbetert de selectieve voorspelling (C@R) consistent ten opzichte van MaxProb.
  • Voor int4 en int8 quantization herstelt de Selector de betrouwbaarheid tot niveaus die vergelijkbaar zijn met de bf16-baseline. Bij int3 is de compensatie beperkt door de inherente ruis van het model.
• Robuustheid bij OOD (RQ3): Bij overgang naar OOD-datasets (AdVQA, VizWiz) nemen zowel prestaties als betrouwbaarheid af.
  • Quantization versterkt deze dalingen maar verandert de fundamentele trend niet.
  • MBQ behoudt een soepelere afname en betere betrouwbaarheid dan HQQ.
  • De Selector verbetert de dekking en effectieve betrouwbaarheid gedurende deze verschuivingen, maar kan een volledige ineenstorting onder extreme OOD-omstandigheden niet volledig voorkomen.

Betekenis en Conclusie

De studie concludeert dat Post-Training Quantization een voorspelbare daling in nauwkeurigheid en betrouwbaarheid introduceert, maar dat deze daling niet catastrofaal is. De optimale balans tussen efficiëntie en betrouwbaarheid wordt bereikt door de combinatie van int4MBQ (datagerichte quantization op 4-bit) en de Selector.

• Efficiëntie: Deze combinatie reduceert het geheugenvraagstuk met ongeveer 75% (van bf16 naar int4).
• Prestatie: Het behoudt ongeveer 98% van de bf16-nauwkeurigheid en handhaaft een kalibratie en selectieve prestatie die bijna identiek is aan de ongecomprimeerde baseline.

Dit bewijst dat het mogelijk is om betrouwbare, efficiënte multimodale AI-systemen op randapparaten te deployen zonder de integriteit van de beslissingen te compromitteren, mits de juiste quantization-strategie en betrouwbaarheidsmodulatie worden toegepast.