Technische Samenvatting: Gekoppelde Training met Lokale Versterkingsfinetuning in Federated Learning (FedDTL)

Probleemstelling

Federated Learning (FL) in combinatie met voorgetrainde Vision-Language Models (VLM's), zoals CLIP, biedt een veelbelovend paradigma voor aanpassing aan downstream taken terwijl de gegevensprivacy wordt behouden. Echter, bestaande benaderingen die vertrouwen op volledige lokale optimalisatie met eenvoudige parameteraggregatie, staan voor twee kritieke uitdagingen, met name onder heterogene gegevensdistributies en regimes met volledige gegevens:

1. Inconsistentie in Optimalisatie tussen Clients: Onder Non-IID-instellingen (bijvoorbeeld label-scheefheid en kenmerkverschuiving) optimaliseren clients mismatchende lokale doelen. Dit leidt tot misaligneerde lokale gradiënten en "client drift", waarbij clients convergeren naar verschillende coördinatenstelsels van representatie. Bijgevolg faalt eenvoudige parametergemiddelde om een coherente globale semantische update te produceren, wat de globale taakaanpassing verslechtert.
2. Over-specialisatie binnen Clients: In regimes met volledige gegevens en lange lokale trainingspaden neigen lichtgewicht, parameter-efficiënte finetuning (PEFT)-modules om te worden overmatig gespecialiseerd in de bevooroordeelde labelfrequenties en kenmerkstatistieken van een specifieke client. Hoewel dit de lokale fitting verbetert, wordt de generalisatie naar ongezette klassen of verschoven domeinen ernstig ondermijnd.

Huidige methoden adresseren deze problemen vaak via regularisatie of aligneringsbeperkingen, maar blijven ontoereikend omdat ze vertrouwen op optimalisatie uitsluitend lokaal. Bovendien zijn veel evaluaties beperkt tot few-shot-instellingen, wat de gecombineerde negatieve effecten in realistische scenario's met volledige gegevens mogelijk onderschat.

Methodologie: FedDTL

De auteurs stellen FedDTL voor, een nieuw kader dat een ontkoppelde encodertrainingsmethode integreert met een tweestaps lokale finetuning-strategie om globale taakaanpassing en generalisatie in evenwicht te brengen.

1. Ontkoppelde Encodertraining

Geïnspireerd door de modale ontkoppeling in CLIP, scheidt FedDTL de training van beeld- en tekstencoders over de client-server-architectuur:

• Lokale Beeldencoder: De beeldencoder ($V$) verwerkt privé ruwe beelden en wordt lokaal op elke client getraind om gegevensprivacy te behouden.
• Globale Tekstencoder: De tekstencoder ($T$), die werkt op tekstuele beschrijvingen op klassenniveau (bijvoorbeeld "een foto van een [klassenaam]"), wordt centraal op de server geoptimaliseerd.
• Mechanisme: Clients aligneren hun lokale visuele representaties met de wereldwijd consistente tekstuele embedddings van de server. Deze server-client modale alignering fungeert als een semantische beperking, wat de inconsistentie in optimalisatie tussen clients vermindert zonder dat clients lokale tekstencoders hoeven te onderhouden.
• Efficiëntie: Beide encoders gebruiken LoRA (Low-Rank Adaptation)-tuning op bevroren backbones om de rekenkundige overhead en communicatiekosten te minimaliseren.

2. Tweestaps Lokale Finetuning

Om over-specialisatie binnen clients te mitigeren, hanteert FedDTL een sequentieel lokaal trainingsproces:

• Fase 1: SFT-gebaseerde Taakaanpassing (Warm-start): Clients voeren Supervised Fine-Tuning (SFT) uit op hun lokale beeldencoders met behulp van cross-entropy-verlies. Deze fase biedt een snelle en betrouwbare optimalisatie-warm-start, waardoor het model snel wordt aangepast aan de lokale taakdistributie.
• Fase 2: RL-gebaseerde Generalisatieverbetering: Na SFT schakelen clients over naar een Versterkingslering (RL)-fase, geïnspireerd door Group Relative Policy Optimization (GRPO).
  • Injectie van Stochasticiteit: Omdat beeldencoders deterministische embedddings produceren, injecteren de auteurs onbevooroordeelde Gaussisch ruis in de latente embeddingsruimte om stochasticiteit te induceren voor actiesampling.
  • Beloning & Beleid: Het beleidsmodel wordt bijgewerkt op basis van een op nauwkeurigheid gebaseerde beloning (correcte classificatie = 1, anders 0). Het doel minimaliseert een beleidsgradiëntverlies met $\epsilon$-clipping en een KL-divergentie-regularisatieterm tegen een hybride referentiemodel (dat het definitieve SFT-model en het nieuwste globale beleid combineert).
  • Doel: Deze fase verfijnt het lokale update-traject om over-memoriseren van lokale gegevens te voorkomen, waardoor de generalisatie naar ongezette klassen en domeinen wordt verbeterd.

3. Globale Coördinatie

Na lokale finetuning uploaden clients bijgewerkte LoRA-parameters en genormaliseerde beeldembeddings (specifiek class tokens) naar de server. De server aggregeert visuele LoRA-parameters via gewogen gemiddelde en werkt de globale tekstencoder bij met de verzamelde embedddings, waarmee de FL-rondte wordt voltooid.

Belangrijkste Bijdragen

1. Ontkoppelde Trainingsmethode: Een nieuwe architectuur waarbij de beeldencoder lokaal wordt geoptimaliseerd voor privacy, terwijl een centrale tekstencoder fungeert als een globale semantische anker. Dit ontwerp vermindert inconsistentie tussen clients en verbetert de globale taakaanpassing over diverse FL-gegevensdistributies.
2. Tweestaps Lokale Finetuning: Een strategie die SFT combineert voor snelle aanpassing en een GRPO-geïnspireerde RL-fase om over-specialisatie binnen clients te onderdrukken. Deze aanpak stabiliseert lokale training en verbetert generalisatie in heterogene en volledige-gegevensinstellingen.
3. Uitgebreide Evaluatie: Uitgebreide experimenten over negen benchmarks onder zowel few-shot- als volledige-gegevensregimes, die label-scheefheid en kenmerkverschuiving omvatten. De resultaten tonen aan dat FedDTL effectief een evenwicht vindt tussen globale taakaanpassing en generalisatie, en presteert beter dan eerdere federale VLM-baselines.

Experimentele Resultaten

Het artikel evalueert FedDTL op datasets waaronder CIFAR-10/100, EuroSAT, Tiny-ImageNet, Oxford-Pet, Flower102, Caltech101/256, Food101, Office-Caltech10 en DomainNet.

• Label-scheefheid (Generalisatie van Basis naar Nieuw): In volledige-gegevens Non-IID-instellingen bereikt FedDTL de hoogste nauwkeurigheid op basisklassen (bijvoorbeeld 91,64% versus 80,56% voor FedMaPLe op CIFAR-100) terwijl het concurrerende prestaties behoudt op nieuwe klassen. Het voorkomt succesvol de ernstige degradatie van generalisatie die wordt gezien in baselines zoals pFedDC en pFedMMA, die lijden onder over-specialisatie in regimes met volledige gegevens.
• Kenmerkverschuiving: In cross-domein-instellingen (Office-Caltech10, DomainNet) bereikt FedDTL de hoogste gemiddelde nauwkeurigheid in bijna alle configuraties, inclusief die met gecombineerde kenmerkverschuiving en label-scheefheid.
• Ablatiestudies:
  • Het verwijderen van het ontkoppelde encoder-schema leidt tot een aanzienlijke daling van de basisnauwkeurigheid in Non-IID-instellingen, wat bevestigt dat het een rol speelt bij het oplossen van inconsistentie tussen clients.
  • Het verwijderen van de RL-fase leidt tot lagere nauwkeurigheid voor nieuwe klassen, wat de effectiviteit bevestigt bij het behoud van generalisatie.
  • De tweestapsstrategie (SFT + RL) presteert beter dan het gebruik van alleen SFT of alleen RL, wat de complementaire aard van snelle aanpassing en generalisatieverbetering valideert.
• Privacy & Communicatie: Het kader verlaagt de communicatiekosten door alleen class token-embeddings te uploaden. Het toevoegen van ruisverstoring aan deze embedddings biedt extra privacybescherming met minimale prestatieverlies.

Betekenis en Claims

Het artikel claimt dat FedDTL een kritieke kloof in federale VLM-onderzoek aanpakt: het onvermogen van bestaande methoden om tegelijkertijd inconsistentie tussen clients en over-specialisatie binnen clients aan te pakken, met name in realistische scenario's met volledige gegevens.

• Systematische Oplossing: In tegenstelling tot eerdere werken die vertrouwen op eenvoudige parametergemiddelde of lokaal-only regularisatie, lost FedDTL systematisch inconsistentie op via server-client modale alignering en over-specialisatie via RL-gebaseerde verfijning.
• Robuustheid: Het kader toont robuustheid over variërende gegevensdistributies (IID, Dirichlet, Non-IID) en leerregimes (van few-shot tot volledige gegevens).
• Praktijkgeschiktheid: Door gebruik te maken van LoRA en een tweestaps-schema, balanceert de methode modelprestaties met rekenkundige efficiëntie, waardoor het geschikt is voor randapparaten.

De auteurs concluderen dat hun aanpak een stabielere en effectievere weg biedt voor het aanpassen van voorgetrainde VLM's in federale omgevingen, zodat globale modellen zowel aanpasbaar blijven aan specifieke taken als generaliseerbaar naar ongezette scenario's.