SDFed: Bridging Local Global Discrepancy via Subspace Refinement and Divergence Control in Federated Prompt Learning

Het artikel introduceert SDFed, een heterogeen federatief prompt-leerframework dat de discrepantie tussen lokale en globale modellen overbrugt door variabele lokale prompts te combineren met subspace-verfijning en divergentiecontrole, waardoor de prestaties en robuustheid in privacygevoelige omgevingen met diverse data en resources worden verbeterd.

De kern

SDFed: De slimme manier om AI samen te leren zonder elkaars geheimen te delen

Stel je voor dat je een enorme, superintelligente robot hebt die alles over beelden en taal weet (zoals een digitale supergeheugen). Maar deze robot is erg groot en zwaar. In de echte wereld willen veel mensen (bijvoorbeeld ziekenhuizen of scholen) deze robot samen gebruiken om beter te leren, maar ze mogen hun eigen data (zoals patiëntgegevens of examenvragen) niet delen vanwege privacywetten.

Dit is het probleem waar Federated Learning voor bedacht is: iedereen houdt zijn data thuis, maar de robot leert van de ervaringen van allemaal samen.

Echter, er zijn twee grote struikelblokken:

1. De robot is te zwaar: Het is te duur en te langzaam om de hele robot naar iedereen te sturen.
2. Iedereen is anders: De ene school heeft alleen foto's van honden, de andere alleen van katten. De ene computer is krachtig, de andere niet. Als je één "standaardoplossing" voor iedereen probeert te maken, werkt het voor niemand goed.

SDFed is een nieuwe, slimme oplossing voor precies dit probleem. Hier is hoe het werkt, vertaald in alledaagse taal:

1. De "Standaard" en de "Maatwerk" (De Bril)

Stel je voor dat de robot een bril draagt om de wereld te zien.

• De oude manier: Iedereen kreeg exact dezelfde bril met hetzelfde aantal lenzen. Dit werkte niet goed voor iemand met een heel ander gezicht (andere data).
• De SDFed-methode: Iedereen krijgt een standaardbril (de Global Prompt) die door iedereen wordt gedeeld. Dit zorgt ervoor dat we allemaal op dezelfde basis kunnen communiceren. Maar! Iedereen mag ook een eigen, maatwerk-bril (de Local Prompt) toevoegen.
  • Als je een computer hebt met weinig kracht, maak je je eigen bril korter.
  • Als je heel specifieke data hebt (bijvoorbeeld alleen zeldzame bloemen), maak je je eigen bril langer en gedetailleerder.
  • Het resultaat: Iedereen heeft een bril die perfect past op zijn eigen gezicht, maar ze kunnen nog steeds met elkaar praken via de standaardbril.

2. Het "Filter" (Subspace Refinement)

Nu is er een nieuw probleem: Wat als de maatwerk-bril van de ene persoon precies het tegenovergestelde zegt van de standaardbril? Dan raken ze in de war.

• De analogie: Stel je voor dat de standaardbril zegt: "Kijk naar de lucht." Maar jouw maatwerk-bril zegt: "Kijk naar de grond." Als je beide tegelijk draagt, zie je niets.
• De oplossing van SDFed: Ze gebruiken een slim filter (Subspace Refinement). Dit filter kijkt naar je maatwerk-bril en haalt er precies die stukjes uit die in strijd zijn met de standaardbril. Het houdt alleen de unieke, waardevolle informatie over die niet al door de standaardbril wordt gedekt. Zo voorkom je dat je eigen ideeën elkaar opheffen.

3. De "Afstandsregelaar" (Divergence Control)

Er is nog een valkuil: Als je filter te streng is, wordt je maatwerk-bril misschien te veel op de standaardbril lijken. Dan ben je weer net als iedereen en heb je je eigen specialiteit verloren.

• De analogie: Het is alsof je een vriend hebt die altijd met je meegaat (de standaardbril). Je wilt wel van hem leren, maar je wilt niet dat hij je hele persoonlijkheid overneemt.
• De oplossing: SDFed gebruikt een afstandsregelaar. Deze zorgt ervoor dat je maatwerk-bril dicht genoeg bij de standaard blijft om te kunnen samenwerken, maar ver genoeg weg blijft om je eigen unieke karakter (je eigen data) te behouden. Het is een perfecte balans tussen "samenwerken" en "jezelf blijven".

Waarom is dit zo cool?

In de praktijk betekent dit dat:

• Ziekenhuizen samen een betere AI kunnen maken voor het herkennen van ziektes, zonder dat ze elkaars patiëntendata hoeven te delen.
• Scholen met verschillende soorten leerlingen (bijvoorbeeld alleen wiskunde of alleen kunst) een AI kunnen trainen die voor iedereen werkt, zonder dat de AI verward raakt.
• Snelheid en privacy: Het is snel (want je stuurt alleen kleine "brillen" op, geen hele robot) en veilig (want je data blijft thuis).

Kortom: SDFed is als een slimme groepswerker die zegt: "Laten we allemaal een standaardplan maken, maar laat iedereen zijn eigen unieke ideeën toevoegen. We filteren de ruzie eruit en zorgen dat iedereen zijn eigen specialiteit kan behouden, zodat we samen sterker zijn dan alleen."

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "SDFed: Bridging Local–Global Discrepancy via Subspace Refinement and Divergence Control in Federated Prompt Learning" in het Nederlands.

Probleemstelling

Vision-language pretrained models (VLPMs), zoals CLIP, bieden sterke representaties voor diverse taken. Het aanpassen van deze modellen in privacygevoelige, multi-partij omgevingen via Federated Learning (FL) is echter uitdagend vanwege twee hoofdfactoren:

1. Hoge communicatiekosten: Het direct federeren van grote VLPM-backbones is te kostbaar.
2. Client-heterogeniteit: Bestaande methoden voor federated prompt learning gaan vaak uit van een uniforme prompt-structuur en -lengte voor alle clients. In de praktijk variëren clients echter sterk in:
   • Data-distributie: Non-IID (niet-onafhankelijk en identiek verdeeld) data.
   • Systeemresources: Verschillende rekenkracht en modelcapaciteiten.

Deze rigiditeit leidt tot een conflict tussen globaal gedeelde kennis en lokaal optimale kenmerken. Een enkel globaal gemiddelde van prompts is vaak ontoereikend om de specifieke behoeften van elke client te bedienen, wat resulteert in suboptimale prestaties en beperkte personalisatie.

Methodologie: SDFed

De auteurs stellen SDFed voor, een framework dat lokale en globale discrepanties overbrugt via Subspace Refinement (subruimterefinement) en Divergentiecontrole. Het framework bestaat uit drie kerncomponenten:

1. Prompt-Driven Federated Heterogeneous Framework

In plaats van één vaste prompt voor iedereen, hanteert SDFed een hybride aanpak:

• Globale Prompt: Een prompt met een vaste lengte ($S_s$) die door de server wordt geaggregeerd en naar alle clients wordt uitgezonden voor consistentie.
• Lokale Prompt: Elke client leert een eigen prompt met een variabele lengte ($S_l$) die is afgestemd op de lokale datacomplexiteit en resources.
• Structuur: Beide prompts worden gedeeltelijk gekoppeld via gedeelde tokens (prefix, suffix, klasse-tokens) en een bevroren encoder, zodat ze in een gezamenlijke ruimte kunnen leren terwijl ze lokaal specifiek blijven.

2. Subspace Refinement voor Lokale Prompts (SRLP)

Om te voorkomen dat de lokale prompt conflicteert met de globale kennis, wordt de lokale prompt geprojecteerd op een subruimte die de dominante globale richtingen onderdrukt.

• Techniek: Er wordt Singuliere Waarde Decompositie (SVD) toegepast op de globale prompt $G_s$.
• Projectie: De lokale prompt wordt geprojecteerd op de "null-space" van de dominante singuliere vectoren van de globale prompt. Dit verwijdert componenten die sterk overlappen met de globale representatie, waardoor redundantie en interferentie worden verminderd.
• Parameter $\lambda$: Een hyperparameter bepaalt hoeveel dominante globale richtingen worden uitgesloten.

3. Strategie voor Informatiebehoud en Divergentiecontrole (IRDC)

Na de projectie (die informatie kan verliezen) en om te voorkomen dat de lokale prompt te veel convergeert naar de globale prompt, worden twee regularisatietermen toegevoegd aan de loss-functie:

• Stretch Term (Informatiebehoud): Minimaliseert de Mean Squared Error (MSE) tussen de oorspronkelijke lokale prompt en de geprojecteerde versie. Dit zorgt ervoor dat de belangrijkste lokale semantiek behouden blijft.
• Separate Term (Divergentie): Een margin-constraint (ReLU) die garandeert dat de afstand tussen de lokale en globale prompt groot genoeg blijft. Dit voorkomt dat de personalisatie verloren gaat door de globale prompt te overheersen.

De totale loss-functie combineert de cross-entropy loss voor zowel globale als lokale prompts met deze twee regularisatietermen.

Kernbijdragen

1. SDFed Framework: Een nieuw federated prompt learning framework dat specifiek is ontworpen voor heterogene data en modelomgevingen, met een expliciete focus op het oplossen van conflicten tussen globale en lokale kennis.
2. Subspace Refinement & Divergentiecontrole: De ontwikkeling van een methode om lokale prompts te verfijnen door conflicterende componenten te filteren, terwijl cruciale lokale informatie wordt behouden en de onderscheidendheid van de representaties wordt gewaarborgd.
3. Theoretische Convergentie: Het paper biedt een convergentieanalyse die aantoont dat het algoritme convergeert naar een stationair punt van de eerste orde onder standaard aannames voor FL.
4. Privacy: De methode introduceert geen extra privacylekken bovenop standaard FedAvg, aangezien alle nieuwe berekeningen lokaal plaatsvinden en alleen de globale prompt wordt gedeeld.

Resultaten

SDFed werd getest op diverse datasets (Flowers102, DTD, Food101, OxfordPets, Caltech101, OfficeHome, Office31, CIFAR-10, Tiny-ImageNet) met zowel single-domain als multi-domain heterogeniteit.

• Prestatie: SDFed overtreft consistent state-of-the-art methoden (zoals UOPP, GPT-FL, FedOTP) in zowel homogene als heterogene settings. Op de Flowers102 dataset behaalde het bijvoorbeeld 99,35% nauwkeurigheid, een verbetering van tot wel 3,44% ten opzichte van de beste concurrent.
• Robuustheid: Het framework presteert goed onder extreme non-IID condities en bij model-heterogeniteit (verschillende backbone-architecturen zoals ViT-B16 en ResNet50).
• Few-Shot Learning: SDFed toont superieure prestaties bij lage shot-omstandigheden (weinig trainingsdata), wat aantoont dat het framework efficiënter kan leren van beperkte data.
• Efficiëntie: De extra rekenkosten voor de subspace refinement zijn verwaarloosbaar (<1% van de totale trainingstijd), omdat deze slechts één keer per communicatieronde lokaal wordt uitgevoerd.
• Ablatie-studies: Experimenten bevestigen dat elke component (PFHF, SRLP, IRDC) essentieel is voor de uiteindelijke prestaties; het verwijderen van een component leidt tot een merkbare daling in nauwkeurigheid.

Betekenis

SDFed is een significante doorbraak in het veld van federated learning voor vision-language modellen. Het lost het fundamentele dilemma op tussen generalisatie (via een globale prompt) en personalisatie (via lokale aanpassingen) in heterogene omgevingen. Door variabele prompt-lengtes toe te staan en slimme subruimte-projecties te gebruiken, maakt het het mogelijk om privacy-bewuste samenwerkingen op te zetten zonder in te leveren op prestaties of aanpassingsvermogen aan lokale data-distributies. Dit is cruciaal voor de praktische implementatie van AI in real-world scenario's zoals gezondheidszorg of finance, waar data en resources per organisatie sterk verschillen.