Technische Samenvatting: LASER (Loss-Aware Singular-value Decomposition and Rank Allocation)

Probleemstelling

Vision-Language Models (VLM's) hebben sterke multimodale redeneervaardigheden aangetoond, maar kampen met aanzienlijke implementatieuitdagingen vanwege hun enorme computationele kosten, hoge aantal parameters en substantiële geheugenbandbreedtevereisten tijdens autoregressieve decodering. Hoewel low-rank decompositie een veelbelovende compressietechniek is geworden, lijden bestaande methoden onder drie primaire beperkingen:

1. Lokale Optimalisatie: De meeste methoden optimaliseren voor de lokale matrix-reconstructiefout of laag-specifieke outputfout, waarbij het end-to-end effect op de modelverlies (loss) wordt genegeerd.
2. Inefficiënte Rangallocatie: Huidige benaderingen vertrouwen vaak op uniforme of heuristische rangallocatie, waarbij geen rekening wordt gehouden met de variërende gevoeligheid van verschillende lagen en attention heads voor compressie.
3. Beperkte Scope: Bestaande inspanningen richten zich primair op attention projecties (Q, K, V), waardoor Feed-Forward Networks (FFN's) — die een groot deel van de modelparameters en opslag uitmaken — grotendeels onderbelicht blijven voor low-rank compressie.

Methodologie

Het artikel stelt LASER (Loss-Aware Singular-value dEcomposition and Rank allocation) voor, een framework dat is ontworpen om low-rank compressie af te stemmen op de downstream VLM-prestaties in plaats van louter op reconstructietrouw. De methodologie bestaat uit vier kerncomponenten:

1. Loss-Aware Singular Value Decomposition (SVD)

In plaats van de Frobenius-norm van de gewichtsreconstructiefout te minimaliseren, leidt LASER een krommingsgewogen (curvature-weighted) SVD-doelstelling af vanuit een tweede-orde benadering van de modelverlies.

• K-FAC Surrogaat: Door gebruik te maken van Kronecker-factored Approximate Curvature (K-K-FAC), benadert de methode de toename in modelverlies veroorzaakt door gewichtstoevoeging $\Delta W$ als $\Delta L \approx \frac{1}{2}\text{vec}(\Delta W)^\top (G \otimes X)\text{vec}(\Delta W)$, waarbij $X$ en $G$ de activatie- en gradiëntcovariantie-matrices zijn, geschat op een kalibratieset.
• Transformatie: De gewichtsmatrix $W$ wordt getransformeerd naar een krommingsgewogen ruimte $\tilde{W} = S_x W S_g$ (waarbij $S_x$ en $S_g$ de Cholesky-factoren van $X$ en $G$ zijn). SVD wordt uitgevoerd op $\tilde{W}$, en de resulterende low-rank factoren worden teruggekaatst naar de oorspronkelijke ruimte. Dit zorgt ervoor dat de afgetrunken componenten overeenkomen met de kleinste geschatte toename in de modelverlies.
• Quantization-Aware Whitening (QAW): Om lage-precisie inferentie mogelijk te maken, schat de methode K-FAC-factoren met gekwantiseerde kalibratie-activaties, waardoor het whitening-doel wordt afgestemd op de uitgerolde low-precision laag.

2. Loss-Aware Cross-Layer Rank Allocation

Het artikel identificeert dat singular-waarden afgeleid van K-FAC niet direct vergelijkbaar zijn tussen verschillende lagen of attention heads vanwege variërende schaleringsfactoren in de krommingsschatting.

• Empirical-Fisher Belangrijkheidsscore: Om globale rangallocatie mogelijk te maken, introduceert LASER een belangscore gebaseerd op kalibratiegradiënten. Voor elke singular-component meet de score de bijdrage aan de empirical-Fisher kwadratische verliesbenadering, waarbij de magnitude van de singular-waarde wordt gecombineerd met de uitlijning met de kalibratiegradiënten in de oorspronkelijke parameterruimte.
• Globale Optimalisatie: Rangen worden toegewezen door greedily de singular-componenten te selecteren met de hoogste belangscores per parameterkosten totdat een doelparameterbudget is bereikt, wat een niet-uniforme rangverdeling over lagen en heads mogelijk maakt.

3. Hybride SVD-Quantization voor FFN's

Door in te zien dat uniforme low-rank decompositie van FFN's ernstige nauwkeurigheidsdegradatie kan veroorzaken, hanteert LASER een hybride schema:

• Kanaalselectie: Een tijdelijke SVD wordt toegepast op gate en up projecties om "SVD-vriendelijke" verborgen kanalen te identificeren (die een lage reconstructiefout hebben).
• Hybride Architectuur: Geselecteerde kanalen worden gecomprimeerd via SVD, terwijl de resterende kanalen dicht (dense) blijven.
• Quantization: Een orthogonale rotatie wordt ingevoegd tussen de SVD-factoren om uitschieters te verzachten, gevolgd door Round-to-Nearest (RTN) kwantisatie voor zowel de low-rank als de dense takken.

4. Systeemimplementatie

Om latentievoordelen te realiseren, implementeren de auteurs gefuseerde Triton-kernels voor de hybride low-rank FFN en low-precision Self-Attention (SA) lagen. Deze kernels fuseren input projecties, latente activatiegeneratie, SwiGLU-operaties, en kwantisatie/dekwantisatiestappen, wat de geheugentransporten en kernel launch overhead aanzienlijk vermindert.

Belangrijkste Bijdragen

1. Loss-Aware Doelstelling: Afleiding van een krommingsgewogen SVD-doelstelling die decompositie afstemt op downstream VLM-prestaties met behulp van K-FAC, waarmee verder wordt gegaan dan lokale reconstructiefout.
2. Robuuste Rangallocatie: Identificatie van de onvergelijkbaarheid van K-FAC singular-waarden tussen lagen en de introductie van een kalibratie-gradiënt-gebaseerde belangscore voor betrouwbare globale rangallocatie.
3. FFN Extensie: Een hybride SVD-kwantisatieschema dat low-rank compressie uitbreidt naar FFN-lagen door selectief SVD toe te passen op tolerante kanalen terwijl de dense berekening voor gevoelige kanalen behouden blijft.
4. Systeemoptimalisatie: Ontwikkeling van gefuseerde Triton-kernels die low-rank reconstructie, kwantisatie en niet-lineaire operaties integreren, wat aanzienlijke versnellingen in decodering oplevert.

Experimentele Resultaten

Het framework werd geëvalueerd op vijf VLM's (LLaVA-v1.5 7B, LLaVA-Next 7B/13B, Qwen2-VL 7B, SmolVLM 2B) over ScienceQA-IMG, SEED-Bench-IMG en MMBench.

• Behoud van Nauwkeurigheid: Onder FP16 inferentie presteerde LASER-noQ (alleen SVD) consistent beter dan baselines (SVD-LLM, QSVD, WSVD) over diverse parameterverhoudingen ($\rho_1$). Op LLaVA-Next 13B met $\rho_1=50\%$ behield LASER een nauwkeurigheid die vergelijkbaar is met het volledige FP16-model, met minder dan 1% verlies.
• Low-Precision Prestaties: In W8A8 gekwantiseerde settings behaalde LASER een gemiddelde nauwkeurigheidsdaling van slechts ~0,5% ten opzichte van FP16-baselines, terwijl de KV-cache grootte werd teruggebracht tot 25% van het FP16-model. Het presteerde beter dan andere kwantisatie-bewuste SVD-methoden (QSVD, WSVD) en pure kwantisatiemethoden (DuQuant, QVLM).
• Latentie en Versnelling: Systeem-evaluaties op RTX 4090 en 5090 GPU's toonden aan dat LASER een 4,7× decoderingsversnelling bereikt ten opzichte van Flash Decoding en een 2,3× versnelling ten opzichte van WSVD, toegeschreven aan de gefuseerde kernels en verminderd geheugentransport.

Betekenis en Claims

Het artikel claimt dat LASER een fundamentele aanpak biedt voor low-rank compressie voor VLM's door de focus van optimalisatie te verschuiven van lokale reconstructie naar globale verliesgevoeligheid. Door de beperkingen van uniforme rangallocatie en de verwaarlozing van FFN-lagen aan te pakken, maakt LASER efficiënte, low-precision inferentie op middelen-beperkte apparaten mogelijk zonder de multimodale redeneervaardigheden op te offeren. Het werk demonstreert dat het combineren van loss-aware decompositie, gradiënt-gebaseerde rangallocatie en hybride compressiestrategieën aanzienlijke winsten kan opleveren in zowel behoud van nauwkeurigheid als inferentiesnelheid.