ProxyFL: A Proxy-Guided Framework for Federated Semi-Supervised Learning

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat er een groep vrienden is die samen een heel slimme kunstenaar willen worden. Maar er is een probleem: ze mogen hun eigen schetsboeken niet delen, omdat die privé zijn. Ze moeten dus samenwerken zonder hun tekeningen te tonen. Dit is wat Federated Learning (Federatief Leren) doet: computers werken samen om een slim model te maken zonder hun data te delen.

Nu komt het nog lastigere deel: Semi-Supervised Learning. Stel je voor dat elke vriend maar een paar getekende plaatjes heeft met de naam eronder (bijv. "dit is een hond"), maar ze hebben duizenden plaatjes zonder naam. Ze moeten die naamloze plaatjes ook gebruiken om te leren, maar ze weten niet zeker of het een hond of een kat is.

De uitdaging in dit paper, genaamd ProxyFL, is dat deze vrienden allemaal heel verschillend zijn:

Extern verschil: De ene vriend tekent alleen honden, de andere alleen katten. Als ze hun kennis samenvoegen, raakt de groep in de war.
Intern verschil: Bij één vriend zijn de getekende honden heel duidelijk, maar de naamloze plaatjes zijn vaag. Als ze die vaag plaatjes gebruiken, maken ze misschien fouten.

Het oude probleem: "Het gemiddelde is niet goed"

Vroeger deden ze dit zo: ze stuurden hun kennis naar een centrale meester (de server), die alles gemiddeld nam.

Het probleem: Als één vriend heel veel rare, verkeerde plaatjes heeft (uitbijters), verpest die persoon het gemiddelde voor iedereen. Het is alsof je de lengte van een groep mensen meet, maar één persoon is een reus; dan denk je dat de hele groep reuzen is.
Het andere probleem: Om fouten te voorkomen, gooien ze de twijfelachtige plaatjes weg. Maar zo missen ze waardevolle informatie!

De nieuwe oplossing: ProxyFL (De "Virtuele Vrienden")

De auteurs van dit paper, Duowen Chen en Yan Wang, hebben een slimme truc bedacht. In plaats van alleen te kijken naar de getekende plaatjes, kijken ze naar de mentale lijstjes die de vrienden in hun hoofd hebben.

Stel je voor dat elke vriend een lijstje heeft met "ideale voorbeelden" van elke dierensoort. In de wereld van AI noemen we deze lijstjes Proxies (tussenpersonen).

Hier is hoe ProxyFL werkt, in drie simpele stappen:

1. De Meester maakt een "Perfecte Lijstje" (Global Proxy Tuning)

In plaats van de hele tekeningen van de vrienden te middelen (wat foutgevoelig is), vraagt de meester aan iedereen: "Wat is jullie ideale voorbeeld van een hond?"

De vrienden sturen alleen hun lijstje (een paar getallen) naar de meester.
De meester kijkt naar al deze lijstjes en maakt een perfect, centraal lijstje dat niet beïnvloed wordt door de rare, eenzame vrienden.
Dit lijstje wordt teruggestuurd. Nu heeft iedereen een beter idee van hoe een "wereldwijde hond" eruit moet zien, zonder dat iemand zijn privé-tekeningen heeft laten zien.

2. De "Twijfelende" Plaatjes krijgen een Nieuwe Kans (Indecisive-Categories)

Wat doen ze met die naamloze plaatjes waar niemand zeker van is?

Oude manier: "Ik weet het niet zeker, dus ik gooi het weg." (Veel data gaat verloren).
ProxyFL manier: "Oké, je weet niet zeker of het een hond of een kat is? Dan doen we het alsof het beide kan zijn!"
Ze maken een twijfel-lijstje (de indecisive-categories set). In plaats van te zeggen "Dit is een hond", zeggen ze "Dit is waarschijnlijk een hond OF een kat".
Dit voorkomt dat het model fouten maakt door te hard te geloven in een verkeerd antwoord, maar laat het plaatje wel meedoen aan de training. Het is alsof je zegt: "Laten we deze twijfelende tekening gebruiken om te oefenen op het verschil tussen honden en katten, zonder te zeggen welke het precies is."

3. De "Positieve en Negatieve" Spelregels

Om te zorgen dat iedereen goed leert, gebruiken ze een slimme spelregel:

Als een plaatje lijkt op het "ideale hond-lijstje", trekken we het dichter naar de hond.
Als het lijkt op het "ideale kat-lijstje", duwen we het weg van de hond.
Dit gebeurt zelfs met de twijfelachtige plaatjes, maar dan met een beetje meer voorzichtigheid.

Waarom is dit zo cool?

Privacy: Ze delen geen foto's, alleen de "mentale lijstjes". Niemand ziet wat je tekent.
Snelheid: Omdat ze geen plaatjes weggooien, leren ze sneller.
Robuustheid: Het systeem werkt goed, zelfs als sommige vrienden heel rare plaatjes hebben. Het "perfecte lijstje" van de meester corrigeert de fouten.

Kortom: ProxyFL is als een slimme coach die niet kijkt naar wie de meeste fouten maakt, maar die een "ideaal voorbeeld" creëert voor iedereen. En als een speler twijfelt over een regel, geeft de coach niet op, maar zegt: "Oké, het kan A of B zijn, laten we dat samen oefenen." Zo leren ze allemaal sneller en beter, zonder hun geheimen te delen.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

Het paper richt zich op Federated Semi-Supervised Learning (FSSL), een paradigma waarbij clienten samenwerken om een globaal model te trainen met behulp van zowel gelabelde als ongelabelde data, zonder dat de ruwe data de lokale apparaten verlaat. De auteurs identificeren twee kritieke uitdagingen die de prestaties van bestaande FSSL-methoden beperken:

Externe Heterogeniteit: Dit verwijst naar de discrepantie in data-distributie tussen verschillende clienten (non-IID). Bestaande methoden gebruiken vaak een eenvoudige gemiddelde (averaging) van modelgewichten om een globaal model te vormen. De auteurs tonen aan dat deze methode gevoelig is voor uitbijters (outliers) en de ideale globale categorie-distributie niet nauwkeurig kan benaderen.
Interne Heterogeniteit: Dit is de mismatch binnen een enkele client tussen gelabelde en ongelabelde data, vaak veroorzaakt door onevenwichtige steekproefgroottes of distributieverschillen. Bestaande methoden filteren onzeker ongelabelde data (low-confidence samples) vaak weg om foutieve pseudo-labels te voorkomen. Dit leidt echter tot een verlies aan waardevolle trainingsdata en vertraagt de convergentie.

De kernvraag is: Hoe kunnen we de globale distributie nauwkeuriger benaderen zonder privacy te schenden, en hoe kunnen we onzeker ongelabelde data effectiever benutten zonder de modelprestaties te riskeren?

Methodologie: ProxyFL

De auteurs stellen ProxyFL voor, een raamwerk dat een unified proxy (de leerbare gewichten van de classifier) gebruikt om zowel externe als interne heterogeniteit gelijktijdig aan te pakken. In plaats van prototypes (centroïden van data-features) te gebruiken, worden de classifier-gewichten zelf als proxy beschouwd. Dit kost geen extra communicatiebandbreedte en vormt geen privacyrisico, aangezien het deel uitmaakt van de modelparameters.

Het framework bestaat uit twee hoofdcomponenten:

1. Global Proxy Tuning (GPT) – Voor Externe Heterogeniteit

Om de impact van externe heterogeniteit en uitbijters te mitigeren, wordt op de server een Global Proxy Tuning mechanisme geïntroduceerd.

Methode: In plaats van de lokale classifier-gewichten direct te middelen, initialiseert de server een set van globale proxies ( $\Omega_G$ ).
Optimalisatie: Deze globale proxies worden vervolgens fijngestemd (fine-tuned) op de server door een verliesfunctie te minimaliseren die de afstand tussen de globale proxy en de lokale proxies van dezelfde categorie verkleint, terwijl de afstand tot proxies van andere categorieën wordt vergroot.
Doel: Dit creëert een robuuste schatting van de globale categorie-distributie die minder gevoelig is voor uitbijters dan een simpele gemiddelde.

2. Indecisive-Categories Proxy Learning (ICPL) – Voor Interne Heterogeniteit

Om het probleem van het weggooien van onzeker ongelabelde data op te lossen, introduceert ICPL een dynamisch leermechanisme.

Categorie-sets: Voor onzeker ongelabelde data (low-confidence samples) wordt in plaats van één enkel pseudo-label een set van mogelijke categorieën (indecisive-categories set, $\xi_i$ ) gegenereerd. Deze set bevat alle categorieën waarvan de voorspelling een bepaalde drempel overschrijdt, bepaald door een dynamische globale prior-distributie.
Positive-Negative Proxy Pool: Er wordt een relatie-pool opgezet tussen alle samples (gelabeld, hoog-zeker en laag-zeker).
- Positieve proxy: Voor onzeker data is dit een gewogen som van de proxy-gewichten van de categorieën in de set $\xi_i$ .
- Negatieve proxy: Alle andere samples waarvan de categorie-set niet overlapt met die van het huidige sample.
Doel: Door contrastief leren (Contrastive Learning) toe te passen op deze pool, kan het model alle ongelabelde data (inclusief de onzekere) gebruiken voor training, wat de interne heterogeniteit vermindert en de data-participatie maximaliseert.

Belangrijkste Bijdragen

Eerste Unified Proxy: Dit is, voor zover bekend, het eerste werk dat een enkele proxy (classifier-gewichten) gebruikt om zowel externe als interne heterogeniteit in FSSL aan te pakken, zonder extra communicatiekosten of privacyrisico's.
ProxyFL Framework: Een nieuwe methode die de bias van gemiddelde aggregatie wegneemt via expliciete optimalisatie (GPT) en een effectief mechanisme biedt om onzeker ongelabelde data te benutten via categorie-sets (ICPL).
Theoretische en Empirische Validatie: Uitgebreide experimenten en theoretische analyses tonen aan dat de methode convergeert en superioriteit behaalt ten opzichte van state-of-the-art methoden.

Resultaten

De auteurs hebben ProxyFL getest op vier datasets (CIFAR-10, CIFAR-100, SVHN, CINIC-10) met verschillende niveaus van data-heterogeniteit ( $\alpha = 0.1, 0.5, 1$ ) en een label-ratio van 10%.

Prestaties: ProxyFL behaalt state-of-the-art resultaten op alle datasets. Op CIFAR-10 en CIFAR-100 overtreft het de beste bestaande methoden (zoals SAGE en FedDure) met significante marges (bijv. +1.51% tot +3.32% afhankelijk van de dataset en heterogeniteit).
Convergentie: Het model convergeert aanzienlijk sneller dan bestaande FSSL-methoden. Op CIFAR-100 met hoge heterogeniteit ( $\alpha=0.1$ ) bereikt ProxyFL een snelheidswinst van 2.64x tot 3.18x vergeleken met baselines.
Ablatie-studies: Experimenten bevestigen dat zowel de GPT-module als de ICPL-module individueel bijdragen aan de prestaties, maar hun combinatie het beste resultaat oplevert.
Proxy vs. Prototypes: Het gebruik van classifier-gewichten als proxy bleek superieur aan het gebruik van prototypes (die gevoelig zijn voor privacy-aanvallen zoals reconstructie) en vereist minder rekencapaciteit.

Betekenis en Impact

ProxyFL biedt een elegante oplossing voor de fundamentele beperkingen van Federated Semi-Supervised Learning. Door de classifier-gewichten zelf als proxy te gebruiken, omzeilt het de noodzaak voor het uitwisselen van gevoelige data of zware feature-prototypes. Het vermogen om onzeker ongelabelde data veilig en effectief te integreren via "indecisive-categories" opent nieuwe wegen voor training in scenario's met schaarse labels en hoge data-heterogeniteit. Dit maakt het framework zeer relevant voor praktische toepassingen in IoT en edge computing, waar data vaak ongelabeld en verspreid is.