🤖 machine learning

Activation- and Influence-Aware Ranks (AIR): Function-Preserving SVD Compression for LLMs

Dit artikel introduceert Activation- en Influence-Aware Ranks (AIR), een nieuw op SVD gebaseerd framework dat de compressie van LLM's verbetert door een backward-signal invloedmetriek te integreren in een enkele gesloten vorm ALS-sweep, waarmee superieure winsten in perplexiteit, data-efficiëntie en latentie worden behaald vergeleken met bestaande methoden zoals SVD-LLM en ACIP.

Oorspronkelijke auteurs: Nico Harder, Daniel Becking, Karsten Mueller, Wojciech Samek

Gepubliceerd 2026-06-19

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Nico Harder, Daniel Becking, Karsten Mueller, Wojciech Samek

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, ongelooflijk gedetailleerde bibliotheek hebt (een Large Language Model, of LLM) die weet hoe hij moet schrijven, redeneren en chatten. Maar deze bibliotheek is zo groot dat hij niet op je telefoon past, en het duurt eeuwen voordat je een boek hebt gevonden. Je wilt de bibliotheek verkleinen zodat hij in je broekzak past, zonder de verhalen binnenin te verliezen.

Dit artikel introduceert een nieuwe manier om deze bibliotheken te verkleinen, genaamd AIR (Activation- and Influence-Aware Ranks). Zie dit als een "slimme redacteur" die precies weet welke pagina's hij moet wegsnijden en welke hij moet bewaren.

Zo werkt het, met behulp van eenvoudige analogieën:

1. Het Probleem: De "Blinde" Schaar

Eerdere methoden probeerden de bibliotheek te verkleinen door te kijken naar de grootte van de woorden of hoe vaak ze voorkwamen (Activation-awareness).

De Analogie: Stel je een bibliothecaris voor die alleen naar de dikte van het boek kijkt. Hij besluit alle dunne boeken weg te gooien omdat ze minder ruimte innemen.
De Fout: Een dun boek kan de belangrijkste plotwending bevatten! Door alleen naar de grootte te kijken, snijden deze oude methoden per ongeluk de meest cruciale informatie weg, waardoor het verhaal onzinnig wordt.

2. De AIR-Oplossing: De "Slimme Redacteur"

AIR is anders. Het kijkt niet alleen naar de grootte van de woorden; het kijkt naar hoe belangrijk ze zijn voor het uiteindelijke verhaal. Het gebruikt een tweestaps-proces:

Stap A: De Forward Pass (De "Wat is er aan de hand"-scan)
De redacteur leest het boek om te zien welke woorden er daadwerkelijk worden gebruikt in de huidige zin. Dit is alsof je controleert welke pagina's er momenteel openliggen op de tafel.
Stap B: De Backward Pass (De "Waarom het ertoe doet"-scan)
Dit is het magische deel. De redacteur vraagt zich af: "Als ik dit specifieke woord verwijder, verandert de afloop van het verhaal dan?"
- Als het verwijderen van een woord de betekenis van de zin verandert, is dat woord van hoge invloed. Hou het!
- Als het verwijderen van een woord niets verandert, is dat woord van lage invloed. Je kunt het veilig wegsnijden.

3. De Magische Truc: De "Herschikking"

Zodra AIR de "belangrijke" woorden en de "onbelangrijke" woorden heeft geïdentificeerd, verwijdert het de onbelangrijke woorden niet zomaar. Het voert een slimme wiskundige schudbeurt uit (genoemd SVD en ALS).

De Analogie: Stel je voor dat je een legpuzzel hebt. Je wilt de afbeelding kleiner maken.
- Oude Methode: Gooi gewoon de stukjes met de minste kleur weg. De afbeelding wordt wazig en kapot.
- AIR-Methode: Het realiseert zich dat sommige stukjes klein lijken, maar het hele plaatje bij elkaar houden. Het herschikt de puzzel zodat de "belangrijke" stukjes compact in het midden worden geplaatst, en de "onbelangrijke" stukjes naar de randen worden geduwd waar ze veilig kunnen worden afgesneden zonder de afbeelding te verruineren.

4. De Resultaten: Kleiner, Sneller en Slimmer

Het artikel beweert dat door deze "Slimme Redacteur"-aanpak te gebruiken:

Betere Kwaliteit: De verkleinde bibliotheek vertelt het verhaal nog steeds perfect, zelfs wanneer deze is teruggebracht tot 60% van de oorspronkelijke grootte. Het maakt minder fouten dan andere inkrimingsmethoden.
Minder Data Nodig: Het hoeft niet de hele bibliotheek te lezen om te begrijpen wat er moet worden weggehaald; het kan leren van een kleine steekproef (ongeveer 90% minder data dan andere methoden).
Echte Snelheid: Omdat de bibliotheek kleiner is, past hij op kleinere apparaten (zoals een telefoon of een enkele computerkaart) en draait hij sneller. Het is niet alleen kleiner in bestandsgrootte; het laadt ook daadwerkelijk sneller en gebruikt minder geheugen.

5. De "Bonus" Functies

Het artikel merkt op dat AIR goed samenwerkt met andere tools.

De "Fine-Tuning" Toevoeging: Je kunt de verkleinde bibliotheek nemen en een korte "opfriscursus" geven (genoemd LoRA) om het nog beter te maken. AIR + Opfriscursus werkt beter dan welke andere combinatie dan ook.
De "Compressie" Toevoeging: Je kunt de getallen binnen de bibliotheek ook nog verder samendrukken (quantization) zonder de boel te breken.

Samenvatting

Kortom, AIR is een compressietechniek die werkt als een wijze redacteur. In plaats van blind te snijden op basis van grootte, kijkt het naar de belangrijkheid van elk afzonderlijk onderdeel van het model. Het behoudt de cruciale delen die de intelligentie van het model aansturen en gooit de overbodige zaken weg, wat resulteert in een veel kleinere, snellere en slimmere AI die de wereld nog net zo goed begrijpt als de gigantische versie.

Technische Samenvatting: Activation- en Influence-Aware Ranks (AIR)

1. Probleemstelling

Large Language Models (LLMs) vertrouwen op schaal voor prestaties, wat post-training compressie noodzakelijk maakt voor efficiënte implementatie. Singular Value Decomposition (SVD) is een primaire kandidaat voor compressie vanwege de impliciete laag-rang structuur van transformer-gewichten en de theoretische optimaliteit van rank- $k$ benaderingen (Eckart–Young stelling). Echter, standaard "Vanilla SVD" negeert de functionele rol van individuele gewichten, wat vaak leidt tot ernstige degradatie in downstream prestaties.

Bestaande "functie-behoudende" methoden proberen dit te verzachten met behulp van kalibratiedata, maar kampen met een dichotomie:

Forward-activation benaderingen (bijv. ASVD, SVD-LLM(W)) zijn computationeel goedkoop en laag-lokaal, maar zijn agnostisch voor de vraag of de behouden activaties daadwerkelijk de uiteindelijke voorspelling beïnvloeden.
Backward-signal benaderingen (bijv. FWSVD, ACIP) integreren taakverlies of output-invloed, maar presteren ofwel slechter dan activatie-alleen baselines, of vereisen kostbare end-to-end optimalisatie (volledige hertraining of gradiëntafdaling).

De kernuitdaging die dit artikel aanpakt, is hoe een backward-signaal invloedmetriek kan integreren in SVD-compressie zonder de computationele kosten van end-to-end optimalisatie te dragen, terwijl de efficiëntie van laag-lokale, gesloten-vorm oplossingen behouden blijft.

2. Methodologie: Activation- en Influence-Aware Ranks (AIR)

AIR stelt een hybride framework voor dat forward-pass activatie-bewustzijn combineert met backward-pass invloeds-bewustzijn via een enkele, gesloten-vorm Alternating Least Squares (ALS) sweep.

2.1 Forward-Backward Analyse

De methode werkt laag-voor-laag op een gewichtsmatrix $W \in \mathbb{R}^{m \times n}$ :

Forward Pass (Activation Awareness): Volgens SVD-LLM(W) verzamelt de methode hidden states $X$ van kalibratiedata om een profileringsmatrix $S = \text{cholesky}(\sum XX^\top)$ te construeren. De gewichtsmatrix wordt getransformeerd naar een latente ruimte: $W' = WS$. Deze stap levert de optimale activatie-bewuste rank- $k$ oplossing via standaard SVD op $W'$ .
Backward Pass (Influence Awareness): Een backward-signaal wordt gebruikt om een element-gewijze invloedmatrix $I \in \mathbb{R}^{m \times n}$ te berekenen. Dit signaal kwantificeert de functionele bijdrage van elk gewicht aan de output van het model. Het artikel accepteert elk element-gewijs score-type uit de familie van invloedsmetrieken (bijv. Gewicht $\times$ Gradiënt, Empirical Fisher, of Layer-wise Relevance Propagation (LRP)). De auteurs gebruiken standaard AttnLRP met een $\epsilon$ -regel voor ruisonderdrukking. De matrix $I$ wordt geaccumuleerd over kalibratiedata en genormaliseerd naar een eenheidsgemiddelde.

2.2 De Hybride Doelfunctie

AIR definieert een hybride verliesfunctie die de reconstructiefout op hoog-invloedrijke gewichten zwaarder bestraft dan op laag-invloedrijke gewichten:
$\mathcal{L}_{act,infl} = \left\| \sqrt{1 + \delta \cdot I} \odot (W' - U'_k \Sigma'_k V'^\top_k) \right\|_F^2$
waarbij $\delta$ de sterkte van de invloeds-weging controleert, $\odot$ de Hadamard-product is, en de wortel element-gewijs wordt toegepast. De term $(1 + \delta \cdot I)$ zorgt ervoor dat de activatie-bewuste benaderingsfout niet wordt verwaarloosd voor gewichten met een lage invloed.

2.3 Gesloten-vorm ALS Oplossing

Omdat de invloed-gewogen doelfunctie over het algemeen geen gesloten-vorm SVD oplossing toelaat, gebruikt AIR een enkele Alternating Least Squares (ALS) sweep.

Initialisatie: Het proces start met het globale optimum van de activatie-bewuste doelfunctie (standaard SVD van $W'$ ).
Update Regel: Het algoritme iterereert door rangen $r = k-1$ naar beneden tot $0$. Voor elke rang voert het een gesloten-vorm update uit van de enkelvoudige vectoren ( $u'_r, v'_r$ ) en de enkelvoudige waarde ( $\sigma'_r$ ) om de geperturbeerde doelfunctie te minimaliseren.
Monotone Descent: De auteurs bewijzen dat, beginnend vanaf het activatie-bewuste optimum, deze enkele backward sweep een niet-stijgende (monotone descent) van de hybride doelfunctie $\mathcal{L}_{act,infl}$ garandeert.
Efficiëntie: Deze aanpak vermijdt de onhandelbaarheid van element-gewijzigde laag-rang benadering door voor elke rangcomponent sequentieel te werken. Het vereist slechts één pass over de rangen, wat het computationeel efficiënt maakt (ongeveer 12 minuten voor LLaMA-7B op een A100).

2.4 Systeem-niveau Implementatie

Om daadwerkelijke runtime-winsten te realiseren, integreert AIR specifieke inferentie-optimalisaties:

Sequentiële Propagatie: Het berekenen van $y = U_k(V^\top_k x)$ in plaats van het reconstrueren van $W$ .
KV Cache Optimalisatie: Het cachen van laag-rang tussenliggende waarden en het toepassen van Rotary Position Embeddings (RoPE) pre-caching om geheugenexpansie te voorkomen.
Buffer Beheer: Pre-gealloceerde buffers om per-token dynamische geheugenallocaties te elimineren.

3. Belangrijkste Bijdragen

Prestatie-Efficiëntie Afruil: Op LLaMA-7B bereikt AIR 18%/33%/45% lagere perplexiteit dan SVD-LLM(W) bij respectievelijk 60%/40%/20% parameterbehoud. Het generaliseert over de LLaMA, Mistral en Vicuna families.
Data Efficiëntie: AIR evenaart de kwaliteit van SVD-LLM(W) met ~90% minder kalibratiedata.
Complementariteit met End-to-End Methoden: AIR is laag-lokaal en orthogonaal aan end-to-end fine-tuning.
- AIR + LoRA presteert beter dan ACIP (een state-of-the-art end-to-end methode) bij elke compressieratio, met een verschil van tot 59% bij 20% behoud.
- Het artikel toont aan dat lokale invloeds-proxies (AIR) en globale parameter-updates (LoRA/Hertraining) onafhankelijke, additieve winsten bieden.
Systeem-niveau Winsten: Bij 60% parameterbehoud vertaalt AIR parameterbesparingen naar ~64% piek GPU-geheugenreductie en ~53% per-token latentie-reductie op een 40 GB A100, wat inferentie-configuraties mogelijk maakt (bijv. grotere batch sizes of sequentielengtes) die anders Out-Of-Memory (OOM) fouten zouden veroorzaken in het basismodel.
Signaal Agnosticisme: De integratiemechanisme (ALS update regel) domineert de keuze van het signaal. Geprincipeerde backward signalen (LRP, Weight $\times$ Gradient, Fisher) leveren identieke perplexiteit op, terwijl oninformatieve baselines (gewicht magnitude, enen) falen.

4. Resultaten en Evaluatie

Perplexity: AIR presteert consistent beter dan Vanilla SVD, FWSVD, ASVD en SVD-LLM(W) over de WikiText-2 en C4 datasets. Het prestatieverschil wordt groter naarmate de compressie agressiever wordt (lagere parameter rates).
Redeneringstaken: AIR behoudt of verbetert de gemiddelde redeneernauwkeurigheid op benchmarks (OpenBookQA, ARC-E, WinoGrande, etc.) vergeleken met baselines.
Quantisatie: AIR-gecomprimeerde modellen zijn geschikt voor post-training quantisatie (RTN, GPTQ). Bij 60% behoud met 4-bit GPTQ behoudt AIR 11.99 perplexiteit (vs. 11.27 ongekwantiseerd).
Runtime: Terwijl standaard SVD-implementaties vaak falen om latentie te verminderen door geheugenbandbreedte-bottlenecks en KV cache overhead, zetten de specifieke optimalisaties van AIR (O1-O3) parameterreductie succesvol om in latentiewinst, vooral onder hoge bandbreedte druk (grote batch sizes/sequentielengtes).

5. Betekenis en Claims

Het artikel claimt het gat te dichten tussen goedkope, activatie-bewuste SVD-compressie en dure, end-to-end hertraining.

Laag-Lokaal vs. End-to-End: De auteurs stellen dat laag-lokale optimalisatie (AIR) en end-to-end optimalisatie (LoRA/Hertraining) complementair zijn, niet redundant. AIR biedt een sterke, invloeds-bewuste initialisatie waarop daaropvolgende fine-tuning kan voortbouwen.
Mechanisme boven Signaal: Een belangrijke bevinding is dat het integratiemechanisme (de ALS update regel) belangrijker is dan de specifieke keuze van het backward-signaal. Dit maakt de methode robuust en signaal-agnostisch.
Praktische Implementatie: Het artikel benadrukt dat theoretische FLOP-reducties niet automatisch vertalen naar runtime-winsten. Door systeem-niveau bottlenecks (KV cache, geheugenallocatie) aan te pakken, levert AIR tastbare implementatievoordelen, waardoor de "OOM-frontier" verschuift om grotere inferentie-workloads mogelijk te maken.

6. Beperkingen

De auteurs merken op dat het schalen naar modellen groter dan 70B parameters en naar encoder-decoder of Mixture-of-Experts (MoE) architecturen een openstaand vraagstuk blijft. Daarnaast gebruikt de huidige methode een uniforme per-layer rank rate, waarbij dynamische rank-allocatie en token-niveau adaptatie potentiële toekomstige uitbreidingen zijn.