Low-Rank Compression of Pretrained Models via Randomized Subspace Iteration

Titel: Low-Rank Compressie van Voortrainde Modellen via Randomized Subspace Iteration

Auteur: Farhad Pourkamali-Anaraki (University of Colorado Denver)

---

1. Probleemstelling

De schaal van voortrainde deep learning-modellen (zoals VGG en Vision Transformers) is de afgelopen jaren explosief gegroeid, wat leidt tot modellen met honderden miljoenen tot miljarden parameters. Dit creëert aanzienlijke uitdagingen voor de implementatie op hulpbronnenbeperkte apparaten (zoals mobiele telefoons en edge devices) vanwege de hoge opslag- en geheugeneisen.

Hoewel low-rank decompositie (via Singuliere Waarde Decompositie of SVD) een theoretisch onderbouwde methode is voor modelcompressie, stuit deze aanpak op twee praktische beperkingen:

1. Berekeningskosten: Het exact berekenen van de SVD van grote gewichtsmatrices is computatief zwaar en geheugenintensief ($O(DC^2)$).
2. Spectrale verval: Bestaande snelle alternatieven, zoals Randomized SVD (RSVD), presteren goed wanneer het spectrum van singuliere waarden snel afneemt. Echter, bij moderne voortrainde modellen vervaagt het spectrum vaak traag (slow decay). In dit regime faalt RSVD om de dominante deelruimte nauwkeurig te vangen, wat leidt tot grote benaderingsfouten en een daling in voorspellende nauwkeurigheid.

2. Methodologie

De auteur stelt een nieuwe aanpak voor die zowel theoretische inzichten als een verbeterd algoritme combineert.

A. Theoretische Analyse: Softmax Perturbatie

De paper legt een directe link tussen de kwaliteit van de low-rank benadering en de prestaties van het model.

• Er wordt bewezen dat afwijkingen in de voorspelde klas-kansverdelingen (softmax-uitvoer) begrensd worden door de spectrale benaderingsfout van de gecomprimeerde gewichtsmatrix.
• Specifiek wordt aangetoond dat de fout in de waarschijnlijkheid ($\|\hat{p} - p\|_\infty$) lineair afhankelijk is van de spectrale norm van het verschil tussen de originele matrix $W$ en de benadering $\hat{W}$, vermenigvuldigd met de norm van de inputfeatures.
• Dit impliceert dat het minimaliseren van de spectrale fout (dicht bij de optimale SVD) essentieel is voor het behoud van de classificatie-accuraatheid.

B. Het Algoritme: Randomized Subspace Iteration (RSI)

Om de beperkingen van RSVD op te lossen bij traag vervalende spectra, wordt Randomized Subspace Iteration (RSI) voorgesteld.

• Principe: RSI is een generalisatie van RSVD die krachtiteraties (power iterations) introduceert. In plaats van de matrix $W$ slechts één keer toe te passen op een willekeurige projectie, wordt de iteratie $q$ keer uitgevoerd.
• Mechanisme: Door herhaaldelijk $W$ en $W^T$ toe te passen (bijv. $Y = (WW^T)^{q-1}W\Omega$), worden de bijdragen van de grotere singuliere waarden versterkt en de kleinere waarden onderdrukt. Dit vergroot de spectrale scheiding en verbetert de kwaliteit van de laag-rang benadering, zelfs bij traag vervalende spectra.
• Complexiteit: Hoewel extra matrixvermenigvuldigingen nodig zijn, is de kostenstructuur ($O(CDk)$) nog steeds lineair in de dimensies en goed geoptimaliseerd voor moderne GPU-architecturen.

3. Belangrijkste Bijdragen

1. Theoretische Koppeling: Een rigoureuze afleiding die aantoont dat de degradatie in classificatieprestaties direct gekoppeld is aan de spectrale fout van de gewichtsbenadering.
2. RSI als Superieur Alternatief: De introductie van RSI als een robuustere methode dan RSVD voor het comprimeren van voortrainde modellen, met name in scenario's met traag vervalende singuliere waarden.
3. Empirische Validatie: Uitgebreide experimenten op zowel convolutionele netwerken (VGG19) als transformer-architecturen (ViT-B/32) die aantonen dat RSI de voorspellende nauwkeurigheid behoudt onder agressieve compressie, terwijl RSVD faalt.

4. Resultaten

De experimenten zijn uitgevoerd op de Imagenette-dataset (een subset van ImageNet) zonder hertraining (zero-shot fine-tuning), om het pure effect van de compressie te isoleren.

• Enige Laag Analyse:

  • Bij een VGG19-laag ($4096 \times 25088$) leverde RSVD ($q=1$) een genormaliseerde spectrale fout van ~2 op. Met RSI ($q=4$) daalde deze naar ~1.1 (bijna optimaal, waarbij 1 de theoretische ondergrens is).
  • Bij ViT lagen de fouten voor RSVD zelfs boven de 4, terwijl RSI ($q=3,4$) fouten onder de 1.2 hield.
  • Snelheid: RSI is aanzienlijk sneller dan exacte SVD (tot 76x sneller voor VGG19) en behoudt een snelheidswinst van een orde van grootte ten opzichte van de exacte decompositie.

• End-to-End Compressie:

  • VGG19: Bij agressieve compressie ($\alpha=0.2$, wat betekent dat slechts 20% van de rang behouden blijft), daalde de Top-1 nauwkeurigheid van RSVD ($q=1$) tot 59%, terwijl RSI ($q=4$) 78.6% behaalde (dicht bij de originele 82.6%).
  • ViT: RSVD faalde volledig bij hoge compressie (Top-1 < 1%), terwijl RSI met $q=4$ een Top-1 van 77% behaalde.
  • Efficiëntie: De totale compressietijd voor alle lineaire lagen in beide modellen was minder dan één seconde voor de beste configuraties.

5. Betekenis en Conclusie

Dit werk demonstreert dat Randomized Subspace Iteration (RSI) een cruciale verbetering is ten opzichte van standaard RSVD voor de compressie van moderne AI-modellen.

• Praktische Impact: Het stelt ontwikkelaars in staat om zeer grote modellen efficiënt te comprimeren zonder significante verlies in nauwkeurigheid, wat essentieel is voor deployen op edge devices.
• Complementair: De methode is compatibel met andere technieken zoals LoRA (Low-Rank Adaptation). Men kan eerst de backbone comprimeren met RSI en vervolgens LoRA toepassen voor fine-tuning, waardoor zowel opslag- als rekenefficiëntie wordt gemaximaliseerd.
• Toekomst: De auteurs suggereren dat adaptieve strategieën voor het kiezen van rangen per laag en de toepassing op multimodale modellen belangrijke volgende stappen zijn.

Kortom, RSI biedt een theoretisch onderbouwde en empirisch bewezen route om de "slow decay" beperking van bestaande randomisatie-methoden te overwinnen, waardoor hoogwaardige modelcompressie haalbaar wordt voor de volgende generatie AI-toepassingen.