SOLAR: Communication-Efficient Model Adaptation via Subspace-Oriented Latent Adapter Reparametrization

1. Het Probleem

Hoewel Parameter-Efficient Fine-Tuning (PEFT) methoden zoals LoRA (Low-Rank Adaptation) de kosten voor het aanpassen van grote basismodellen (foundation models) hebben verlaagd door slechts een klein aantal parameters bij te werken, blijven er aanzienlijke uitdagingen bestaan in communicatie- en opslagkosten.

• Bottleneck in gedistribueerde systemen: In scenario's zoals Federated Learning (FL) of bij het deployen op randapparaten (edge devices), moeten aangepaste adapters (vaak miljoenen parameters) worden getransporteerd en opgeslagen.
• Onderschatte overhead: Hoewel PEFT minder parameters traint dan full fine-tuning, is de cumulatieve grootte van deze adapters nog steeds een kritieke bottleneck voor bandbreedte en geheugen.
• Beperkingen van bestaande compressie: Bestaande methoden die adapters comprimeren (zoals NOLA, VeRA, SVFT) zijn vaak niet "post-hoc" (ze vereisen een aanpassing van het trainingsproces) of gebruiken willekeurige bases die niet zijn afgestemd op de structuur van het model, wat leidt tot inefficiëntie.

2. Methodologie: SOLAR

SOLAR (Subspace-Oriented Latent Adapter Reparametrization) is een post-training compressieframework. Het is model-agnostisch en werkt zonder het oorspronkelijke trainingsproces te wijzigen. Het doel is om de grootte van de adapter drastisch te verkleinen door deze te herparametriseren als een lineaire combinatie van gestructureerde basisvectoren.

De methode bestaat uit drie stappen:

Stap 1: Subspace-georiënteerde Randomized Basis Set

In plaats van volledig willekeurige matrices te gebruiken, exploiteert SOLAR de empirische observatie dat updates van het model ($\Delta W$) voornamelijk liggen in de deelruimte (subspace) die wordt opgespannen door de singuliere vectoren van de oorspronkelijke modelgewichten ($W$).

• Er wordt een SVD (Singular Value Decomposition) uitgevoerd op de basisgewichten $W = U\Sigma V^T$.
• Er wordt een pool van kandidaat-basisvectoren gegenereerd door slices van de singuliere vectoren ($U$ en $V$) te perturberen met kleine, gestructureerde ruis (Gaussian noise).
• Dit creëert een flexibele pool van bases die inherent zijn afgestemd op de richting van de taak-specifieke updates.

Stap 2: Sparse Selectie van Bases

De getrainde adapter-matrices ($A$ en $B$ in LoRA) worden geprojecteerd op deze subspace.

• Het probleem wordt geformuleerd als het vinden van een spare lineaire combinatie van de basisvectoren die de oorspronkelijke adapter zo goed mogelijk benadert, binnen een strikt communicatiebudget ($k$).
• Dit wordt opgelost door eerst de onbeperkte least-squares oplossing te berekenen en vervolgens hard thresholding toe te passen om alleen de $k$ belangrijkste coëfficiënten (top-$k$) te behouden.

Stap 3: Budget-bewuste Reconstructie

De gecomprimeerde adapter wordt gereconstrueerd met behulp van alleen:

1. De geselecteerde top-$k$ coëfficiënten ($\alpha$ en $\beta$).
2. Een enkele random seed (om de basisvectoren deterministisch opnieuw te genereren).
3. De indexen van de geselecteerde bases.

De oorspronkelijke basisvectoren en de volledige adaptermatrices hoeven nooit te worden opgeslagen of verzonden.

3. Belangrijkste Bijdragen

1. Subspace Similariteit: Het paper benut de theoretische en empirische alignatie tussen de singuliere vectoren van het basismodel en de fine-tuning updates om een compactere representatie te creëren die losstaat van de oorspronkelijke modelarchitectuur.
2. Post-Training Framework: SOLAR is een plug-and-play oplossing die werkt op reeds getrainde adapters (LoRA, AdaLoRA, etc.) zonder retraining.
3. Theoretische Garantie: Er wordt een formele bovengrens bewezen voor de reconstructiefout. De fout wordt opgesplitst in trainingsfout en compressiefout, waarbij de compressiefout kan worden geminimaliseerd door het vergroten van de basispool ($N$) en het budget ($k$).
4. Extreme Compressie: De methode toont aan dat adaptergroottes met wel 98% kunnen worden gereduceerd zonder significante verlies in taakprestaties.

4. Resultaten

De auteurs hebben SOLAR getest op diverse visuele en taaltaken met modellen zoals ViT, GPT-2, en LLaMA.

• Visie (ViT): Op CIFAR-10/100 en ImageNet behaalde SOLAR vergelijkbare top-1 nauwkeurigheid als LoRA en NOLA, maar met tot 74% minder parameters. Bij extreme compressie (van 74KB naar 8KB, een reductie van 89%) bleef de nauwkeurigheid nauwelijks dalen.
• Taal (LLaMA): Op LLaMA-3 modellen (1B tot 13B) reduceerde SOLAR de adaptergrootte van 819K naar 51K parameters (94% reductie) op de 13B-modellen, terwijl de validatie-verlies en MMLU-accuraatheid gelijk bleven aan de oorspronkelijke LoRA.
• Generatie (GPT-2): Op de E2E NLG dataset werd een reductie van 393K naar 30K parameters bereikt (92% reductie) met minimale impact op de METEOR-score.
• Efficiëntie: De post-training compressie voegt minder dan 2% overhead toe aan de totale runtime (bijv. 15 seconden extra op een trainingstijd van 2081 seconden).
• Robuustheid: SOLAR presteert goed onder kwantisatie (tot 4-bit) en in gedistribueerde Federated Learning scenario's, waar de communicatiekosten drastisch worden verlaagd zonder de aggregatieprestaties te schaden.

5. Betekenis en Impact

SOLAR biedt een cruciale oplossing voor de schaalbaarheid van Large Language Models (LLMs) en Vision Transformers in real-world omgevingen:

• Federated Learning: Het maakt het mogelijk om duizenden clients te laten participeren in fine-tuning zonder dat de bandbreedte wordt overbelast door het verzenden van grote adapterbestanden.
• Edge Computing: Het stelt apparaten met beperkt geheugen (zoals smartphones of IoT-apparaten) in staat om gespecialiseerde modellen lokaal te hosten door de opslagvereisten van adapters extreem te verlagen.
• Flexibiliteit: Omdat het een post-hoc methode is, kan het worden toegepast op bestaande modellen en adapters, wat het een universeel hulpmiddel maakt voor het optimaliseren van de deployment van AI-modellen.

Kortom, SOLAR lost het "communicatieprobleem" van PEFT op door slimme wiskundige reparametrisatie, waardoor het mogelijk wordt om de voordelen van fine-tuning op grote schaal te benutten zonder de infrastructuurkosten te verhogen.