WSVD: Weighted Low-Rank Approximation for Fast and Efficient Execution of Low-Precision Vision-Language Models

Probleemstelling

Vision-Language Models (VLMs) zoals LLaVA en SmolVLM zijn krachtig voor taken zoals beeldbeschrijving en visuele vraagbeantwoording, maar ze zijn computationeel zeer intensief. De autoregeneratieve generatie van tokens leidt tot grote geheugenbandbreedte-vereisten, vooral tijdens het decoding-stadium waar de KV-cache (Key-Value cache) steeds groter wordt.

Hoewel Singular Value Decomposition (SVD) eerder is gebruikt om modelgewichten te comprimeren en de KV-cache te verkleinen, bleek uit praktische implementaties dat dit vaak geen verbetering in latentie opleverde, en soms zelfs slechter presteerde dan het oorspronkelijke model. De hoofdoorzaak hiervan is de reconstructie-overhead: bij conventionele SVD worden de volledige K- en V-matrices ontbonden, wat tijdens het inferentieproces vereist dat er grote gedeelde latente vectoren worden opgehaald en herhaaldelijk worden gebruikt om de oorspronkelijke vectoren te reconstrueren. Dit creëert een nieuwe I/O-flesnek (memory traffic) die de voordelen van compressie tenietdoet.

Methodologie: WSVD Framework

De auteurs introduceren WSVD (Weighted SVD), een framework dat drie kerncomponenten combineert om zowel de latentie te verlagen als de nauwkeurigheid te behouden:

1. Fine-Grained Per-Head SVD (Vermindering van Latentie):

   • In plaats van de volledige Q, K en V-projectiematrices te decomponeren, past WSVD SVD toe op submatrices per attention-head.
   • Voor een head $h$ wordt de matrix $W_{Kh}$ ontbonden in $A_{Kh}B_{Kh}$ met een veel lagere rang $r$ (aangezien de head-dimensie $H$ veel kleiner is dan de embedding-dimensie $E$).
   • Voordeel: De cache bevat nu per head een klein latente vector $CK_h$ in plaats van één grote gedeelde vector. Dit elimineert de noodzaak om grote blokken geheugen te laden voor reconstructie, waardoor de memory footprint en I/O-traffic drastisch dalen.

2. Gewogen Lokaal Finetunen (Behoud van Nauwkeurigheid):

   • Standaard SVD behoudt alle gewichten gelijkwaardig, wat kan leiden tot fouten bij het verwijderen van belangrijke "superweights".
   • WSVD gebruikt Fisher-informatie om de belangrijkheid van elk gewichtselement te schatten. Een importance score wordt berekend op basis van de gradiëntgrootte ten opzichte van de verliesfunctie.
   • Tijdens de decompositie wordt een gewogen verliesfunctie geoptimaliseerd: $\min ||F^{1/2} \odot (W - AB)||^2_F$. Dit zorgt ervoor dat kritieke gewichten beter behouden blijven tijdens de rangreductie.

3. Quantization-Aware Training (QAT) en Fused Kernel:

   • Om de efficiëntie verder te verhogen, worden zowel de gewichten als de activaties gekwantiseerd (bijv. W8A8).
   • Om fouten door kwantisatie te compenseren, wordt een lokaal QAT-proces toegepast waarbij rotatiematrices en de lage-rang factoren gezamenlijk worden geoptimaliseerd.
   • Systeemimplementatie: De auteurs implementeren een fused kernel in Triton die de reconstructie van K en V direct integreert in de Flash Decoding-pipeline. In plaats van de volledige gereconstrueerde vectoren naar het VRAM (globaal geheugen) te schrijven, blijven de tussenresultaten in het on-chip geheugen (registers/shared memory). Dit elimineert redundante geheugentoegang en maximaliseert de GPU-uitvoer.

Belangrijkste Bijdragen

• Nieuwe Berekeningspatroon: De introductie van per-head SVD in plaats van globale SVD, wat fundamenteel de memory access-patterns tijdens decoding verandert en de latentie verlaagt.
• Adaptieve Gewogen Decompositie: Een methode om Fisher-gebaseerde importance scores te gebruiken tijdens SVD om de nauwkeurigheid te behouden zonder end-to-end finetuning.
• Systeem-Optimalisatie: De integratie van lage-rang reconstructie in de Flash Decoding kernel, wat de I/O-bottleneck volledig wegneemt.
• Open Source: De volledige code en scripts zijn beschikbaar gesteld.

Resultaten

De methode is geëvalueerd op diverse VLMs (LLaVA-v1.5, LLaVA-Next, SmolVLM) op benchmarks zoals ScienceQA en SEED-Bench.

• Snelheid: WSVD bereikt een decoding-snelheidswinst van meer dan 1.8x ten opzichte van Flash Decoding (de huidige state-of-the-art voor efficiënt inferentie). Op lagere-end hardware (RTX 3060) is de winst zelfs groter (tot 2.6x) vanwege de beperkte geheugenbandbreedte.
• Nauwkeurigheid: Ondanks agressieve compressie (tot 50% van de parameters) en kwantisatie (W8A8), behoudt WSVD de nauwkeurigheid bijna volledig. In sommige gevallen (bijv. LLaVA-Next 13B met 70% parameters) presteert het zelfs iets beter dan het FP16-basismodel, mogelijk door een implicit mitigatie van hallucinaties.
• Vergelijking: WSVD overtreft bestaande SVD-methoden (zoals ASVD, SVD-LLM) en kwantisatiemethoden (DuQuant, QVLM) zowel in snelheid als in nauwkeurigheid.
• Ablatie: Experimenten tonen aan dat zowel de gewogen finetuning als de lokale QAT essentieel zijn; zonder deze stappen daalt de nauwkeurigheid significant.

Betekenis

WSVD is een doorbraak in het efficiënt draaien van multimodale modellen op beperkte hardware. Het paper lost het fundamentele probleem op waarbij compressietechnieken vaak leiden tot hogere latentie door slechte geheugentoegang. Door algoritmen (per-head SVD, gewogen loss) en systeemoptimalisatie (fused kernels) te combineren, maken de auteurs het mogelijk om krachtige VLMs in real-time toe te passen op consumer-grade GPU's, wat de toegankelijkheid van AI voor visuele taken vergroot en de operationele kosten verlaagt.