🤖 machine learning

Learning Fine-grained Parameter Sharing via Sparse Tensor Decomposition

Dit artikel introduceert Fine-grained Parameter Sharing (FiPS), een unify framework dat transformer-MLP's comprimeert door gezamenlijke optimalisatie van cross-block parameter sharing, low-rank factorisatie en sparsiteit, waardoor een aanzienlijke verkleining van het model mogelijk wordt met minimaal verlies aan nauwkeurigheid, zowel voor Vision Transformers als voor Large Language Models.

Oorspronkelijke auteurs: Cem Üyük, Mike Lasby, Mohamed Yassin, Utku Evci, Yani Ioannou

Gepubliceerd 2026-05-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Cem Üyük, Mike Lasby, Mohamed Yassin, Utku Evci, Yani Ioannou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek met boeken hebt (een groot AI-model) die ongelooflijk slim is, maar zo veel ruimte inneemt dat hij niet op een gewone boekenplank past (een telefoon of kleine computer). Je wilt de bibliotheek verkleinen zonder de verhalen erin te verliezen.

Lange tijd probeerden wetenschappers deze bibliotheken te comprimeren door simpelweg pagina's weg te laten (pruning) of de boeken in een kleiner lettertype te schrijven (quantization). Maar dit paper introduceert een nieuwe, slimme strategie genaamd FiPS (Fine-grained Parameter Sharing).

Hier is hoe FiPS werkt, uitgelegd via eenvoudige analogieën:

1. Het Probleem: Te Veel Identieke Kamers

Stel je een Transformer-model (zoals die moderne AI aandrijven) voor als een enorm hotel met veel identieke verdiepingen. Op elke verdieping is er een "keuken" (een MLP-laag) waar het koken plaatsvindt.

De Oude Manier: Meestal heeft elke verdieping zijn eigen unieke set van 100 koks, elk met hun eigen unieke recepten. Hoewel de verdiepingen er hetzelfde uitzien, praten de koks niet met elkaar. Dit verspill veel ruimte.
Het FiPS-Idee: FiPS zegt: "Waarom heeft elke verdieping 100 unieke koks nodig? Laten we een Gedeelde Hoofdkok (een shared basis) in dienst nemen die de kernrecepten kent, en vervolgens een paar Lokale Assistenten (sparse projection matrices) op elke verdieping hebben die die recepten iets aanpassen voor die specifieke verdieping."

2. De Geheime Ingrediënten: De "Gedeelde Hoofdkok" en "Sparse Assistenten"

FiPS doet drie dingen tegelijk om het model te verkleinen:

De Gedeelde Hoofdkok (Low-Rank Factorization): In plaats van 100 unieke koks per verdieping, creëert FiPS één "Hoofdkok" die de fundamentele technieken kent. Deze kok wordt gedeeld over een groep verdiepingen.
De Sparse Assistenten (Sparsity): De Lokale Assistenten op elke verdieping hoeven niet elk recept te kennen dat de Hoofdkok kent. Ze hoeven er maar een paar specifieke te kennen om het gerecht voor die verdieping te maken. FiPS dwingt deze assistenten om "sparse" te zijn, wat betekent dat ze alleen de essentiële verbindingen behouden en de rest negeren. Het is alsof je een assistent een menu geeft met slechts 3 items in plaats van 100.
Het Samenwerken (Cross-Block Sharing): FiPS groepeert deze verdiepingen samen. Het kijkt naar de Hoofdkok en de Assistenten voor een hele groep verdiepingen en bedenkt de beste manier om de werklast te delen zodat het hele hotel efficiënt draait.

3. Hoe Ze Het Bouwden (Het Bouwproces)

De onderzoekers gokten niet zomaar; ze gebruikten een wiskundig hulpmiddel genaamd SVD (Singular Value Decomposition) om de "Hoofdkok" automatisch te vinden.

Stel je voor dat je alle recepten van een groep verdiepingen neemt, ze door elkaar mengt en de meest voorkomende, essentiële ingrediënten vindt.
Vervolgens wezen ze deze ingrediënten toe aan de Hoofdkok.
Tot slot trainden ze de Lokale Assistenten om alleen de specifieke ingrediënten te gebruiken die ze nodig hadden, en gooiden ze de rest weg (pruning).

4. De Resultaten: Kleiner, Sneller en Nog Steeds Slim

Het paper testte dit op twee soorten AI:

Vision Transformers (ViTs): Dit zijn AI's die naar afbeeldingen kijken.
- Resultaat: Ze verkleinden het model met maximaal 33% (en tot 57% met wat extra afstemming) zonder dat de AI vergat hoe het objecten moet herkennen. Het is alsof je een koffer met een derde verkleint, maar toch al je kleding erin past.
Large Language Models (LLMs): Dit zijn AI's die schrijven en praten.
- Resultaat: Ze verkleinden deze modellen met 20% en maakten ze slimmer dan andere verkleiningsmethoden.
- De "Magische Truc": Toen ze FiPS combineerden met een techniek genaamd "Quantization" (cijfers schrijven in een zeer compacte code), bereikten ze een 8x compressie (het model 8 keer kleiner maken) terwijl ze de taalkundige vaardigheden van de AI veel beter behielden dan wanneer ze alleen compressie hadden gebruikt.

5. Waarom Dit Belangrijk Is

Het paper beweert dat FiPS een praktische, "plug-and-play" manier is om grote AI-modellen klein genoeg te maken om te draaien op apparaten zoals telefoons of laptops zonder hun intelligentie te verliezen. Het bewijst dat door het "breinvermogen" (parameters) te delen tussen verschillende delen van de AI en zeer selectief te zijn over welke informatie wordt bewaard (sparsity), we efficiënte AI kunnen bouwen die geen supercomputer nodig heeft om te draaien.

Kortom: FiPS is als het beseffen dat in plaats van dat elke kamer in een huis zijn eigen volledige set gereedschap nodig heeft, je één gedeelde gereedschapskist in de hal kunt hebben en slechts een paar specifieke gereedschappen in elke kamer. Het huis werkt net zo goed, maar neemt veel minder ruimte in beslag.

Technische Samenvatting: Fijnmazige Parameterdeling via Sparse Tensor Decompositie (FiPS)

Probleemstelling

Grote neurale netwerken, met name Transformers, bereiken state-of-the-art prestaties, maar ondervinden aanzienlijke barrières voor implementatie op apparaten met beperkte middelen vanwege hun enorme omvang. Hoewel er diverse compressietechnieken bestaan (bijvoorbeeld kwantisatie, distillatie, tensor decompositie), blijft cross-layer parameterdeling relatief onontgonnen voor Transformer-modellen. Bestaande methoden delen vaak volledige blokken (bijvoorbeeld ALBERT), wat de representatieve capaciteit beperkt, of vertrouwen op dichte coëfficiënten voor deling, wat de compressie-efficiëntie beperkt. Er is behoefte aan een methode die het aantal parameters aanzienlijk reduceert terwijl er een hoge representatieve flexibiliteit en minimale nauwkeurigheidsverlies worden behouden.

Methodologie: Fijnmazige Parameterdeling (FiPS)

FiPS is een unificerend raamwerk dat is ontworpen om Transformer Multi-Layer Perceptrons (MLP's) te comprimeren door cross-block parameterdeling, low-rank factorisatie en sparsiteit te combineren in één optimalisatieproces.

Kernmechanisme

De methode werkt op basis van de observatie dat Transformer MLP's bestaan uit herhaalde, homogene blokken met identiek gevormde fully connected (FC) lagen. In plaats van onafhankelijke gewichten te leren voor elke laag, doet FiPS het volgende:

Concateneert gewichtsmatrices ( $W_1, \dots, W_N$ ) uit een groep van $N$ transformer-blokken langs hun output-dimensie (de "lange as").
Factoriseert deze geconcateneerde tensor in een gedeelde basis $U \in \mathbb{R}^{d \times r}$ en laagspecifieke sparse projectiematrices $V_i \in \mathbb{R}^{r \times p}$ .
Reconstrueert de oorspronkelijke gewichten als $W'_i = U V_i$ .

Belangrijke Technische Componenten

Initialisatie: De gedeelde basis $U$ en projectiematrices $V_i$ worden geïnitieerd via Truncated Singular Value Decomposition (SVD) van de geconcateneerde gewichten. Als de doel-rang $r$ de modeldimensie $d$ overschrijdt (vanwege hoge parameterbudgetten), wordt een "hybride initialisatie" gebruikt: nieuwe dimensies in $U$ worden op nul gezet, en de overeenkomstige dimensies in $V$ worden afgeleid van de top singuliere vectoren, geschaald met een dempingsfactor $\tau$ om geleidelijk leren mogelijk te maken.
Sparsiteitsinductie: Een cruciaal inzicht van het artikel is dat het afdwingen van sparsiteit op de projectiematrices $V$ essentieel is. In tegenstelling tot methoden die dichte coëfficiënten gebruiken, snoeit FiPS waarden met lage magnitude in $V$ weg. Het optimale sparsiteitsniveau bleek ongeveer 75% te zijn, vooral wanneer dit wordt toegepast op de grotere factormatrix.
Optimalisatiestrategie:
1. Gedeelde Initialisatie: SVD-decompositie van geconcateneerde gewichten.
2. Lokale Foutminimalisatie: Met behulp van een kleine kalibratiedataset worden $U$ en $V_i$ geoptimaliseerd om de $\ell_2$ reconstructiefout tussen oorspronkelijke en gecomprimeerde activaties te minimaliseren. Sparsiteit wordt afgedwongen via Gradual Magnitude Pruning (GMP).
3. Globale Foutminimalisatie (Optioneel): Een end-to-end fine-tuning-fase met dynamische sparse training (RigL) om prestaties bij hogere compressieratio's te herstellen.
Groeperingsstrategie: Het artikel identificeert dat aangrenzende lagen de meeste redundantie delen. Optimale prestaties worden bereikt door opeenvolgende blokken te groeperen (bijvoorbeeld groepen van 4 voor DeiT-B) en een "aflopende" groeperingsstrategie te gebruiken voor LLM's (kleinere groepen aan de uitersten van het netwerk, grotere in het midden).

Belangrijkste Bijdragen

Systematische Analyse van Cross-Block Deling: De auteurs hebben systematisch de delingsgranulariteit, concatenatieschema's en sparsiteitspatronen onderzocht, en geconstateerd dat concatenatie langs de lange as en sparsiteit op de projectiefactoren de laagste reconstructiefout opleveren.
Het FiPS-algoritme: Een nieuw algoritme dat initialiseert via SVD en gezamenlijk een gedeelde basis en sparse, laagspecifieke projecties optimaliseert. Het combineert uniek low-rank factorisatie met sparsiteit op de projectiefactoren in plaats van op de basis.
State-of-the-Art Compressieresultaten:
- Vision Transformers (ViTs): Comprimeert DeiT-B en Swin-L met tot 33% met minder dan 1% verlies in top-1 nauwkeurigheid op ImageNet-1k. Met fine-tuning bereikt compressie 57%.
- Large Language Models (LLM's): Comprimeert Llama-7B en Llama-3.1-8B met tot 20%, en presteert beter dan bestaande op SVD gebaseerde baselines (ASVD, SVD-LLM, SVD-LLM V2) op perplexiteit en downstream benchmarks.
- Synergie met Kwantisatie: In combinatie met Quantization-Aware Training (QAT) bereikt 3-bit FiPS op Gemma-2-2B dezelfde 8× compressie als 2-bit QAT alleen, maar met aanzienlijk lagere perplexiteit (35,43 versus 41,86).
Hardware-efficiëntie: De methode ondersteunt gestructureerde sparsiteit (bijvoorbeeld 2:4 patronen), wat meetbare versnellingen in inferentie mogelijk maakt (1,31× op NVIDIA A4000) en geheugenreducties (0,79× piek VRAM) zonder significante degradatie van de nauwkeurigheid.

Resultaten

ViT-prestaties: Op ImageNet-1k presteert FiPS consistent beter dan baselines zoals Adaptive Atomic Feature Mimicking (AAFM) en Global Feature Mimicking (GFM) over verschillende parameterbudgetten (10% tot 75%). Bijvoorbeeld, bij een parameterbudget van 40% bereikt FiPS 81,69% nauwkeurigheid op DeiT-B, en overtreft GFM (81,28%) ondanks de hogere rekenkosten van GFM.
LLM-prestaties: Op WikiText-2 en C4-datasets bereikt FiPS de laagste perplexiteit onder op factorisatie gebaseerde methoden bij 20% compressie. Het toont ook superieure transferleercapaciteiten op CIFAR-100, Flowers102 en andere visuele benchmarks in vergelijking met GFM.
Ablatiestudies: Het artikel bevestigt dat:
- Sparsiteit op de projectiematrix $V$ kritiek is; dichte baselines breken in bij lage parameterbudgetten.
- SVD-initialisatie beter presteert dan willekeurige initialisatie.
- Globale pruning (toewijzing van parameters adaptief over lagen) betere resultaten oplevert dan lokale pruning.
- Een sparsiteitsniveau van 75% optimaal is voor de projectiematrices.

Betekenis en Claims

Het artikel vestigt fijnmazige parameterdeling als een praktische en effectieve aanpak voor Transformer MLP-compressie. De auteurs claimen dat FiPS orthogonaal is ten opzichte van andere compressietechnieken zoals Quantization-Aware Training (QAT) en LoRA, wat betekent dat het met hen kan worden gecombineerd voor verdere winst.

De betekenis ligt in het aantonen dat het delen van parameters over lagen niet vereist dat er wordt geofferd aan representatieve capaciteit als dit gebeurt met een gedeelde basis en sparse, leerbare projecties. Deze aanpak biedt een concurrerend alternatief voor bestaande strategieën, waarbij aanzienlijke compressie wordt bereikt (tot 57% op ViT's en 20% op LLM's) met minimaal prestatieverlies, waardoor de implementatie van grote modellen op apparaten met beperkte middelen wordt vergemakkelijkt. De methode is vooral opmerkelijk omdat deze niet vertrouwt op distillatie of aanvullende supervisie-signalen, maar in plaats daarvan vertrouwt op blokgewijze reconstructiefout-minimalisatie.