Closing the Alignment-Maturity Gap in Federated Prototype Learning

Technische Samenvatting: Het dichten van de Alignment-Maturity Gap in Federated Prototype Learning

Probleemstelling
Federated Learning (FL) staat voor een fundamentele uitdaging bij het leren van discriminerende visuele representaties van gedistribueerde, heterogene data. Hoewel prototype-gebaseerde methoden (bijv. FedProto, FedNH) statistische heterogeniteit aanpakken door klasse-niveau representaties (prototypes) te delen in plaats van volledige modelgewichten, introduceren zij een kritieke instabiliteit die bekend staat als de alignment-maturity gap.

In bestaande prototype-gebaseerde FL worden globale prototypes geaggregeerd uit lokale client-embeddings en gebruikt als semantische ankers vanaf de allereerste trainingsronde. Echter, in de vroege stadia van de training hebben lokale feature extractors nog geen discriminerende structuren geleerd, wat resulteert in ruisige, onverfijnde lokale representaties. Bijgevolg zijn de geaggregeerde globale prototypes onbetrouwbaar. Wanneer er direct een statisch alignment-gewicht wordt toegepast, genereert de grote Euclidische afstand tussen onrijpe lokale embeddings en deze ruisige globale prototypes massale alignment-gradiënten. Deze gradiënten domineren het cross-entropy signaal, waardoor de opkomst van lokale discriminerende structuren wordt onderdrukt en de optimalisatie wordt gedestabiliseerd, met name onder zware non-IID condities.

Methodologie: FedSAP
De auteurs stellen FedSAP (Federated Scheduled and Adaptive Prototypes) voor, een framework dat ontworpen is om federated representation learning te stabiliseren door de timing van globale alignment te ontkoppelen van de kracht van inter-klasse separatie. FedSAP opereert zonder het onderliggende communicatieprotocol te wijzigen of extra leerbare parameters te introduceren. Het vertrouwt op twee complementaire mechanismen:

1. Deterministisch Alignment Curriculum:
   In plaats van vanaf het begin volledige alignment-druk toe te passen, hanteert FedSAP een lineair warm-up schema voor het prototype alignment-gewicht ($\lambda_t$).

   • Mechanisme: Het gewicht neemt lineair toe van 0 naar een maximumwaarde $M$ over een vast aantal rondes ($t_w$).
   • Effect: Dit vertraagt de introductie van globale alignment-druk, waardoor lokale representaties kunnen consolideren en discriminerende structuren kunnen vormen voordat ze naar een globale consensus worden getrokken. Het schema is deterministisch en vereist geen hulp-signalen of per ronde extra communicatie-overhead.

2. Geometrie-gestuurde Proxy Separation Loss:
   Om inter-klasse structuren af te dwingen zonder parameters toe te voegen, hergebruikt FedSAP de bestaande globale prototype bank als een gedeelde "proxy bank".

   • Mechanisme: Lokale embeddings en globale prototypes worden geprojecteerd op een unit hypersfeer. Een cosine-softmax objectief wordt toegepast, waarbij representaties naar hun doelklasse-prototype worden getrokken terwijl ze worden afgestoten van niet-doelklasse prototypes.
   • Effect: Dit dwingt compacte, goed gescheiden klasse-clusters af op de hypersfeer. Door de door de server gedistribueerde prototypes als proxies te gebruiken, vermijdt de methode de complexiteit en communicatiekosten die gepaard gaan met het onderhouden van aparte leerbare proxy-parameters (zoals gezien bij methoden zoals ProxyNCA of ProxyAnchor).

Extensie naar Semi-Supervised Learning
De paper demonstreert dat FedSAP zich natuurlijk uitbreidt naar semi-supervised federated settings (SSFL). Door een stabiele embedding space te vestigen tijdens een initiële gesuperviseerde fase, stelt het framework betrouwbare pseudo-labeling van ongelabelde data mogelijk in een daaropvolgende fase. Ongelabelde samples krijgen pseudo-labels gebaseerd op de nearest-neighbor afstand tot de globale prototype bank, waarbij confidence thresholds automatisch worden gekalibreerd vanuit de gesuperviseerde fase om confirmation bias te mitigeren.

Belangrijkste Bijdragen

• Identificatie van de Gap: De auteurs identificeren en motiveren expliciet de "alignment-maturity gap", waarbij voortijdige globale alignment op onrijpe representaties het lokale leren onderdrukt.
• FedSAP Framework: Het voorstel van een framework dat deze gap oplost door een progressief alignment curriculum en een geometrie-gestuurde proxy separation loss toegepast op de bestaande prototype bank.
• Prestaties en Generaliteit: Empirische validatie die aantoont dat FedSAP even goed gescheiden embeddings bereikt met dezelfde communicatiekosten als FedProto, met significante prestatiewinsten. Het framework laat zien dat het zich natuurlijk uitbreidt naar semi-supervised settings, wat de algemeenheid van gescheduled alignment als ontwerpprincipe onderstreept.

Experimentele Resultaten
FedSAP werd geëvalueerd over drie benchmarks (FEMNIST, CIFAR-10, CIFAR-100) onder variërende gradaties van statistische heterogeniteit.

• Prestaties: Het framework behaalde winsten van tot wel 4 procentpunten ten opzichte van prototype-gebaseerde baselines (FedProto, FedMPS) en de parameter-aggregatie baseline (FedAvg).
• Heterogeniteit: De verbeteringen waren het meest uitgesproken onder zware non-IID condities, waar de instabiliteit van vroege-ronde prototypes het meest ernstig is.
• Ablatie: De resultaten bevestigen dat het progressieve alignment schema en de proxy separation loss cruciaal zijn voor het stabiliseren van de embedding space zonder de communicatie-overhead te verhogen.

Betekenis en Claims
De paper claimt dat FedSAP een specifieke, voorheen onbehandelde beperking in prototype-gebaseerde FL aanpakt: de temporele mismatch tussen de betrouwbaarheid van globale ankers en de maturiteit van lokale representaties. Door federated prototype learning fundamenteel te behandelen als een representation learning probleem, produceert FedSAP een leerpad dat stabiel is in de vroege rondes en steeds meer discriminerend wordt in latere rondes. De auteurs positioneren het principe van "scheduled alignment" niet enkel als een tuning strategie voor een specifiek protocol, maar als een algemeen ontwerpprincipe toepasbaar op zowel volledig gesuperviseerde als semi-gesuperviseerde federated omgevingen.