Technische Samenvatting: Heroverweging van Kwantisatie bij Kleine VLM's

Probleemstelling

De opkomst van kleine vision-language modellen (sVLM's) met minder dan 3 miljard parameters heeft het potentieel voor multimodale intelligentie op apparaten in mobiele, offline en energiezuinige omgevingen versneld. Echter, de implementatie van deze modellen op heterogene edge System-on-Chip (SoC) platforms, zoals de NVIDIA Jetson Orin-serie, wordt geconfronteerd met fundamentele beperkingen wat betreft geheugenbandbreedte en VRAM-capaciteit. Hoewel modelkwantisatie een standaard compressietechniek is, richt bestaand onderzoek zich voornamelijk op end-to-end evaluatie in hoogwaardige server-grade GPU-omgevingen. Er is een gebrek aan systematische, component-gewijze analyse om ingenieurs te begeleiden over welke specifieke modelcomponenten (vision encoder, projector of LLM-backbone) gekwantiseerd moeten worden en hoe bitbreedtes toegewezen moeten worden om een balans te vinden tussen nauwkeurigheid, latentie en energie-efficiëntie op edge-hardware.

Methodologie

De auteurs stellen een systematisch evaluatiekader voor om vijf hypothesen met betrekking tot component-gewijze kwantisatie empirisch te valideren. De studie maakt gebruik van vijf architecturaal diverse sVLM's (Qwen3-VL-2B, DeepSeek-VL2-Tiny, PaliGemma2-3B, LLaVA-OV-0.5B en Kosmos-2.5) en evalueert deze op twee heterogene edge-platforms: Jetson Orin NX (16 GB VRAM, 102,4 GB/s bandbreedte) en Jetson Orin AGX (64 GB VRAM, 204,8 GB/s bandbreedte).

Experimenteel Ontwerp:

• Configuraties: Zes kwantisatieconfiguraties werden gedefinieerd om component-effecten te isoleren:
  • Single-component ablaties: Alleen de LLM (cfg1), de Projector (cfg2) of de Vision Encoder (cfg4) kwantiseren terwijl de overige componenten op FP16 blijven.
  • Composiet configuraties: Tegelijkertijd de Projector en de LLM kwantiseren (cfg3), of de Vision Encoder en de LLM (cfg5).
• Kwantisatiestrategie: INT4-kwantisatie werd uitsluitend toegepast op de LLM-backbone om VRAM te reduceren, terwijl visie-gerelateerde componenten op INT8 of hoger werden gehouden om de modaliteits-alignering te behouden. Het BitsAndBytes-framework werd gebruikt voor de kwantisatie.
• Metrieken: De evaluatie omvatte MME benchmark scores (Perceptie en Cognitie), piek VRAM-gebruik, component-gewijze latentie (Vision Encoder, Projector en Token Per Output Time - TPOT) en Intelligence-per-Joule (IPJ).

Belangrijkste Bijdragen

1. Systematische Component-Gewijze Analyse: Dit is de eerste studie die de gevoeligheid van de vision encoder, de projector en de LLM-backbone onafhankelijk van elkaar scheidt en kwantificeert in sub-3B sVLM's, waarbij verder wordt gekeken dan holistische modelevaluatie.
2. Cross-Hardware Empirische Validatie: Door te testen op zowel Jetson Orin NX als AGX, onderscheidt de studie platform-invariante nauwkeurigheidsrangschikkingen van hardware-specifieke latentie- en energieprofielen.
3. Identificatie van Frictie in de Hardware-Software Stack: Het artikel identificeert en analyseert abnormale latentie-fenomenen die specifiek zijn voor SigLIP-gebaseerde architecturen bij het gebruik van INT8-kwantisatie op Ampere-gebaseerde edge SoC's.
4. Praktische Implementatierichtlijnen: De studie biedt op bewijs gebaseerde richtlijnen voor precisie-allocatiestrategieën in edge-omgevingen, wat de aanname uitdaagt dat kleinere modellen inherent gevoeliger zijn voor kwantisatie.

Belangrijkste Resultaten en Bevindingen

1. Kwantisatiesensitiviteit is Architectuurafhankelijk, Niet Alleen Schaalafhankelijk (H1)

In tegen tegenstelling tot de hypothese dat kleinere modellen zwaarder degraderen onder INT4-kwantisatie, laten de resultaten zien dat het structurele paradigma (MoE vs. Dense) de bepalende factor is.

• MoE Backbones: Modellen zoals Qwen3-VL (MoE-gebaseerd) en DeepSeek-VL2 (MoE-gebaseerd) vertoonden zelfs verbeteringen in MME-nauwkeurigheid (bijv. +56,04 punten voor Qwen3-VL) wanneer de LLM naar INT4 werd gekwantiseerd.
• Dense Backbones: Dense modellen zoals PaliGemma2 en LLaVA-OV leden onder significante degradatie in nauwkeurigheid (bijv. -220,02 punten voor LLaVA-OV).
• Conclusie: MoE-architecturen verzachten de INT4-ruis, terwijl dense backbones degraderen, ongeacht de parameter schaal.

2. SigLIP-Specifieke Latentie-Anomalie (H2)

Het toepassen van INT8-kwantisatie op SigLIP-gebaseerde vision encoders resulteerde in een disproportionele toename van de latentie (2,43x tot 4,66x) op Jetson Orin-platforms, ondanks een minimale impact op de nauwkeurigheid.

• Oorzaak: Dit wordt toegeschreven aan een incompatibiliteit tussen de hardware- en softwarestack, waarbij de BitsAndBytes INT8-kernel er niet in slaagt de specifieke computationele patronen van SigLIP vision transformers op de Ampere-architectuur efficiënt te versnellen.
• Contrast: Non-SigLIP encoders (bijv. Kosmos-2.5) vertoonden veel kleinere latentie-toenames (1,15x–1,20x).

3. Afweging tussen VRAM-besparing en Inferentie-efficiëntie (H3)

Hoewel INT4-kwantisatie van de LLM-backbone het VRAM-verbruik met 21,8%–47,5% verminderde, verhoogde het consequent de Token Per Output Time (TPOT) met 10,4%–56,3%.

• Mechanisme: De dekwantisatie-overhead geïntroduceerd door BitsAndBytes weegt zwaarder dan de natuurlijke computationele versnelling van INT4 op de Ampere-architectuur.
• Impact op Energie: Voor grotere modellen (bijv. Qwen3-VL) leidde de verhoogde inferentietijd tot een significante stijging van het energieverbruik (+45% tot +55%), terwijl kleinere modellen (LLaVA-OV) een verwaarloosbare energie-toename lieten zien. INT4 via BitsAndBytes moet daarom worden beschouwd als een VRAM-besparingstechniek in plaats van een strategie voor latentiereductie.

4. Niet-Additieve Interactie in Composiet Kwantisatie (H4)

• Projector + LLM (cfg3): De degradatie in nauwkeurigheid was grotendeels additief en kwam nauw overeen met de lineaire som van de individuele componentfouten.
• Vision + LLM (cfg5): De interactie was niet-additief en architectuurafhankelijk. Zo vertoonde PaliGemma2 bijvoorbeeld een significante extra degradatie (residue van -16,33), terwijl DeepSeek-VL2 een super-additief patroon vertoonde. Dit suggereert dat het pad van de modaliteits-alignering een kritieke bottleneck is die gevoelig is voor specifieke architecturale combinaties.

5. Platform-Invariantie van Nauwkeurigheid vs. Specificiteit van Efficiëntie (H5)

• Nauwkeurigheid: De rangschikking van modelprestaties (Qwen3-VL > DeepSeek-VL2 > PaliGemma2 > LLaVA-OV > Kosmos-2.5) bleef strikt consistent over zowel de Jetson NX als AGX platforms, ongeacht de kwantisatieconfiguratie.
• Efficiëntie: Energie-efficiëntie (IPJ) en latentie waren zeer platformspecifiek. Zo behaalde Qwen3-VL tot wel 2,5x een hogere IPJ op AGX vergeleken met NX, omdat de bredere geheugenbandbreedte de bottlenecks verlichtte, terwijl andere modellen dergelijke winsten niet lieten zien.

Betekenis en Claims

Het artikel claimt het eerste systematische, gecontroleerde bewijs te leveren dat de algoritmische architectuur (MoE vs. Dense) een belangrijkere determinant is voor kwantisatiestabiliteit dan de model schaal voor sVLM's. Het benadrukt dat standaard kwantisatie-instrumenten (zoals BitsAndBytes) ernstige, architectuur-specifieke latentie-straf kunnen introduceren op edge-hardware die niet zichtbaar is in server-grade evaluaties.

De auteurs concluderen dat het bereiken van piek-efficiëntie voor edge-AI een geïntegreerde hardware-software co-design strategie vereist in plaats van enkel te vertrouwen op standalone modelcompressie. Ze benadrukken dat beslissingen over implementatie rekening moeten houden met specifieke interacties tussen de hardware- en softwarestack (bijv. SigLIP op Ampere) en dat nauwkeurigheidsrangschikkingen overdraagbaar zijn naar edge-platforms, terwijl efficiëntieprofielen dat niet zijn. De studie dient als een waarschuwingsgids voor ingenieurs, met de suggestie dat het blindelings toepassen van kwantisatie zonder component-gewijze analyse kan leiden tot onverwachte prestatiedegradatie of latentiepieken.