Technische Samenvatting: FedSLM – Federated Foundation Models Fine-Tuning met Heterogene Gecomprimeerde Clients

1. Probleemstelling

Federated Learning (FL) van Foundation Models (FMs) staat voor een fundamentele resource-asymmetrie-paradox: instellingen die over de meest waardevolle domeinspecifieke data beschikken (bijv. ziekenhuizen, financiële firma's), missen vaak het vereiste GPU-geheugenbudget om miljardenparameters tellende modellen te hosten of te finetunen. Bestaande heterogene FL-benaderingen proberen dit gat te overbruggen, maar slagen er niet in om gelijktijdig aan drie kritieke vereisten te voldoen:

1. Implementatie haalbaarheid: Client-modellen moeten compact genoeg zijn voor middelenbeperkte apparaten.
2. Structurele uitlijning: Heterogene client-updates moeten fuseerbaar zijn in een coherent globaal model zonder architecturale incompatibiliteit.
3. Getrouwheid (Fidelity): De server moet federatieve domeinkennis absorberen zonder compressie-artefacten over te nemen of te lijden onder de "imitatie-dwaasheid" (waarbij een sterk model degradeert door een ruisende zwakke supervisor na te bootsen).

Huidige methoden leveren concessies op deze eigenschappen: Parameter-Efficient Fine-Tuning (PEFT) zoals LoRA vermindert het aantal trainbare parameters, maar vereist nog steeds het laden van het volledige basismodel; architecturale extractie (bijv. HeteroFL) verstoort de vooraf getrainde aandachtspatronen in Transformers; en datacentrische benaderingen worstelen met vocabulaire-misalignement en verlies van verborgen representaties.

2. Methodologie: FedSLM

De auteurs stellen FedSLM voor, een parameter-centrisch framework dat het probleem behandelt als een gekoppelde optimalisatie over drie variabelen: client-zijde adapters, server-zijde gereconstrueerde globale gewichten, en het uiteindelijke sterke servermodel. Het framework werkt in vier afzonderlijke stadia:

A. SVD-gebaseerde Modelafleiding (Stap 1)

In plaats van willekeurige initialisatie, leidt de server een familie van structureel compatibele gecomprimeerde modellen af van het pre-trained Foundation Model (FM) met behulp van Singular Value Decomposition (SVD).

• Proces: Voor geselecteerde lagen wordt de gewichtsmatrix $W$ ontbonden in low-rank factoren $U$ en $V$ bij verschillende compressieratio's ($r_i$).
• Structuur: Clients in groep $C_i$ ontvangen vaste low-rank bases $\{U_i, V_i\}$ en een trainbare adapter $\Sigma_{i,c} \in \mathbb{R}^{r_i \times r_i}$. De effectieve laag is $W \approx U_i \Sigma_{i,c} V_i$.
• Kerneigenschap: Omdat alle varianten via geneste SVD-truncatie van dezelfde servergewichten zijn afgeleid, delen ze een geneste low-rank manifold-structuur, wat structurele compatibiliteit voor aggregatie waarborgt ondanks verschillende rangen.

B. Heterogene Federatieve Aggregatie (Stappen 2 & 3)

FedSLM maakt gebruik van een tweestaps-aggregatieprotocol om rang-heterogeniteit te behandelen:

1. Stap 1: Intra-groep Adapter Aggregatie: Clients binnen dezelfde compressiegroep (dezelfde rang $r_i$) optimaliseren hun lokale adapters $\Sigma_{i,c}$ via lokale SGD. De server aggregeert deze adapters via standaard FedAvg binnen de groep.
2. Stap 2: Cross-groep Model Fusie: De server reconstrueert full-rank gewichtsmatrices voor elke groep ($W_i = U_i \Sigma_i V_i$) in de gemeenschappelijke ambient ruimte $\mathbb{R}^{m \times n}$. Deze gereconstrueerde modellen worden vervolgens gefuseerd via gewogen middeling om een globaal zwak model $W_g$ te produceren. Deze stap maakt gebruik van het feit dat alle groepen een gemeenschappelijke pre-trained anker delen, waardoor fusie in de full-rank ruimte mogelijk is.

C. Weak-to-Strong Elicitatie (Stap 4)

Om kennis over te dragen van het gecomprimeerde, geaggregeerde model ($W_g$) naar het full-scale servermodel ($W_s$) zonder compressie-artefacten over te nemen, introduceren de auteurs een Weak-to-Strong verfijningsstap.

• Mechanisme: De server verfijnt $W_s$ met behulp van een ongelabelde serverdataset $D_{server}$.
• Loss Functie: Er wordt een Auxiliary Confidence Loss gebruikt:
  $$\mathcal{L}_{conf} = (1-\alpha) \ell_{CE}(f_w, f_s) + \alpha \ell_{CE}(\hat{f}_s, f_s)$$
  waarbij $f_w$ de zwakke supervisor is, $f_s$ de sterke student, en $\hat{f}_s$ de zelf-predictie van het sterke model met gestopte gradiënten.
• Rol van $\alpha$: Deze term balanceert het imiteren van het zwakke model tegenover de eigen vertrouwelde voorspellingen van het sterke model. De zelf-verankeringsterm ($\alpha$) mitigeert de "imitatie-dwaasheid" door te voorkomen dat het sterke model regresseert naar de systematische fouten van de zwakke supervisor.

3. Belangrijkste Bijdragen

Theoretische Garanties

Het artikel biedt drie complementaire theoretische analyses:

1. Convergentiesnelheid: Stelt een $O(T^{-1/2})$ convergentiesnelheid vast voor de Stage-1 adapter-niveau aggregatie, rekening houdend met client drift en de spectrale distortie geïntroduceerd door SVD-factoren.
2. Subspace Alignment: Leidt bounds af voor cross-groep aggregatiefouten, waarbij bewezen wordt dat de geneste SVD-subspaces geometrische compatibiliteit waarborgen. De fout wordt begrensd door het data-gewogen gemiddelde van de subspace residuen.
3. Artefact Mitigatie: Karakteriseert hoe de auxiliary confidence loss compressieruis mitigeert. Het demonstreert een bias–variance trade-off waarbij de mix-coëfficiënt $\alpha$ kan worden afgestemd om het risico te minimaliseren dat het sterke model compressie-artefacten leert.

Empirische Resultaten

Experimenten werden uitgevoerd op LLaMA-2-7B/13B (taal) en LLaVA-NeXT-7B (visie-taal) over natuurlijke taalbegrip en medische benchmarks onder zowel IID als non-IID partities.

• Prestaties: FedSLM presteert consistent beter dan bestaande baselines (inclusief FedAvg+LoRA, HetLoRA en FedMKT). Op LLaMA-2-7B bereikte het 71,0% gemiddelde accuratesse (IID) en 68,2% (non-IID), waarmee het de beste baseline met significante marges overtrof.
• Client Efficiëntie: Gecomprimeerde client-modellen opereren op ongeveer 50% van het GPU-geheugen dat vereist is door het volledige model (bijv. ~6,8 GB vs. 13,5 GB voor LLaMA-2-7B) terwijl ze een hogere inference throughput bereiken.
• Herstel: Federatieve adapter-training stelt gecomprimeerde modellen in staat om de zero-shot accuratesse van het ongecomprimeerde pre-trained model te herstellen en zelfs te overtreffen op meerdere benchmarks.

4. Betekenis en Claims

Het artikel claimt dat FedSLM de kernspanning in federated foundation model learning oplost door middelenbeperkte clients in staat te stellen effectief deel te nemen zonder de kwaliteit van het globale model op te offeren.

• Verenigd Framework: Het is het eerste framework dat tegelijkertijd modelcompressie voor deployment, structurele uitlijning voor aggregatie en artefact-mitigatie voor server-verfijning realiseert.
• Praktische Haalbaarheid: Door de geheugeneisen van clients te reduceren tot ~50% van het volledige model terwijl de prestaties gelijk blijven of verbeteren, maakt FedSLM de federatieve fine-tuning van miljardenparameters tellende modellen haalbaar voor instellingen met beperkte hardware.
• Theoretische Grondslag: Het werk biedt rigoureuze garanties op convergentie en foutenbounds, waardoor het verder gaat dan heuristische benaderingen voor heterogene FL.

De auteurs benadrukken dat de methode geen clients vereist om het volledige model te hosten of te vertrouwen op verlieslatende logit-niveau communicatie, maar zich juist richt op het extraheren en versterken van domeinspecifieke kennis verworven via het federatieve proces.