🤖 machine learning

Closing the Alignment-Maturity Gap in Federated Prototype Learning

Dieses Paper stellt FedSAP vor, ein Federated-Learning-Framework, das die Alignment-Reife-Lücke bei prototypenbasierten Methoden adressiert, indem es ein deterministisches Alignment-Curriculum mit einem geometriegetriebenen Proxy-Separationsverlust kombiniert, um das Repräsentationslernen zu stabilisieren und die Leistung unter heterogenen Datenbedingungen signifikant zu verbessern, ohne den Kommunikationsaufwand zu erhöhen.

Ursprüngliche Autoren: Mario Casado-Diez, Alejandro Dopico-Castro, Verónica Bolón-Canedo, Bertha Guijarro-Berdiñas

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mario Casado-Diez, Alejandro Dopico-Castro, Verónica Bolón-Canedo, Bertha Guijarro-Berdiñas

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine Gruppe von Schülern (die „Clients“) vor, die lernen sollen, verschiedene Tiere zu erkennen, aber sie befinden sich alle in separaten Klassenzimmern und können weder ihre Notizbücher teilen noch die Arbeit der anderen sehen. Sie können dem Lehrer (dem „Server“) nur ab und zu eine einzige, winzige Zusammenfassung in Form einer Notiz schicken. Dies ist die Welt des Federated Learning.

Das Problem ist, dass jeder Schüler ein sehr unterschiedliches Set an Bildern hat. Ein Schüler hat nur Bilder von Katzen und Hunden; ein anderer hat nur Vögel und Fische. Wenn sie versuchen, zu schnell gemeinsam zu lernen, werden sie verwirrt.

Das Problem: Die „Eilige Urteilsbildung“

Bei früheren Methoden versuchte der Lehrer sofort, alle Schüler dazu zu bringen, sich darauf zu einigen, wie eine „Katze“ auszusehen hat, direkt am ersten Schultag.

Das Papier nennt dies die „Alignment-Maturity Gap“ (Lücke zwischen Ausrichtung und Reife). Hier ist die Analogie:

Der unreife Schüler: Zu Beginn des Schuljahres ist das Verständnis eines Schülers für eine Katze noch unordentlich und vage. Er denkt vielleicht, eine Katze sei einfach nur „ein flauschiges Ding“.
Die verrauschte Zusammenfassung: Wenn dieser Schüler seine unordentliche Idee an den Lehrer schickt, kombiniert der Lehrer diese mit den unordentlichen Ideen anderer Schüler, um eine „Globale Katzen-Definition“ zu erstellen.
Der Druckkessel: Der Lehrer schreit dann sofort: „Du musst deine Zeichnung so ändern, dass sie zur Globalen Katzen-Definition passt!“
Das Ergebnis: Da die Zeichnung des Schülers bereits wackelig war, hilft diese plötzliche, erzwungene Korrektur nicht beim Lernen. Stattdessen bringt sie sein Gehirn durcheinander und führt dazu, dass er vergisst, wie man eine Katze überhaupt zeichnet. Am Ende hat er eine unordentliche, verwirrte Zeichnung, die nach gar nichts aussieht.

Das Papier argumentiert, dass es kontraproduktiv ist, die Schüler zur Übereinstimmung mit der Gruppe zu zwingen, bevor sie die Grundlagen gelernt haben. Dies erzeugt einen „Gradientendruck“, der zu früh zu stark ist und den lokalen Lernprozess zerstört.

Die Lösung: FedSAP (Der geduldige Lehrer)

Die Autoren schlagen ein neues Framework namens FedSAP vor. Denken Sie an einen Lehrer, der statt Befehle zu brüllen, einen „Geduldigen Lehrplan“ und eine „Kluge Karte“ verwendet.

1. Der „Aufwärmplan“ (Progressive Ausrichtung)

Anstatt am ersten Tag auf Einigkeit zu drängen, agiert FedSAP wie ein geduldiger Coach:

Frühe Runden: In den ersten Wochen sagt der Lehrer zu den Schülern: „Konzentriert euch erst einmal darauf, eure eigenen Tiere zu lernen. Macht euch noch keine Sorgen darum, zur Gruppe zu passen.“ Dies ermöglicht es den Schülern, ein solides, klares Verständnis von Katzen, Hunden usw. auf eigene Faust aufzubauen.
Schrittweise Einführung: Langsam, im Laufe der Zeit, beginnt der Lehrer sie zu bitten, ihre Zeichnungen mit denen der Gruppe zu vergleichen.
Vollständige Ausrichtung: Wenn die Schüler in ihren eigenen Fähigkeiten sicher sind, sagt der Lehrer: „Okay, nun lasst uns uns alle auf einen Standard einigen.“
Warum es funktioniert: Bis der Druck zur „Ausrichtung“ eintrifft, sind die Zeichnungen der Schüler bereits gut. Die Gruppenvereinbarung hilft dann, sie zu verfeinern, anstatt sie zu zerstören.

2. Die „Kluge Karte“ (Geometrie-getriebene Proxy-Trennung)

Normalerweise benötigt man einen speziellen Satz von „Referenzkarten“ (lernbare Parameter), die zusätzlichen Platz beanspruchen und zusätzliche Kommunikation erfordern, um verschiedene Tiere (Katzen vs. Hunde) voneinander zu trennen.

FedSAP ist clever: Es sagt: „Wir brauchen keine neuen Karten!“

Der Lehrer schickt den Schülern bereits die „Globale Katzen-Definition“ (den Prototyp).
FedSAP nutzt diese bestehenden Definitionen als „Referenzkarten“.
Es erstellt eine Regel auf einer „mentalen Karte“ (einer Hypersphäre): „Wenn du eine Katze zeichnest, bewege deine Zeichnung hin zu der Katzen-Definition. Wenn du einen Hund zeichnest, drücke deine Zeichnung weg von der Katzen-Definition.“
Der Vorteil: Dies hält die verschiedenen Tiergruppen ordentlich auf der Karte getrennt, ohne dass zusätzliche Kommunikation oder komplexe neue Werkzeuge nötig sind. Es nutzt einfach die Werkzeuge, die bereits vorhanden sind.

Der Bonus: Lernen ohne Etiketten

Das Papier zeigt auch, dass diese Methode gut funktioniert, selbst wenn einige Schüler Bilder ohne Namen (unbeschriftete Daten) haben.

Sobald die Schüler die Grundlagen gelernt haben (während der „Aufwärmphase“), können sie ein neues, unbeschriftetes Bild betrachten und vermuten: „Dies sieht am ehesten wie die Katzen-Definition aus.“
Da der Lehrer gewartet hat, bis die Schüler bereit waren, bevor er die Gruppenregeln einführte, sind diese Vermutungen viel genauer. Das System kann diese Vermutungen dann nutzen, um sogar noch mehr zu lernen, ohne dass ein Mensch jedes einzelne Bild beschriften muss.

Das Fazit

Das Papier hat dies in drei verschiedenen „Klassenzimmern“ (Datensätzen) mit unterschiedlichen Graden an Verwirrung (Heterogenität) getestet.

Das Ergebnis: FedSAP schnitt konsistent besser ab als die alten Methoden.
Der Gewinn: Es verbesserte die Genauigkeit um bis zu 4 Prozentpunkte.
Der große Sieg: Die Verbesserung war am größten, wenn die Klassenzimmer am unterschiedlichsten voneinander waren (schwere Non-IID-Bedingungen).

Kurz gesagt: FedSAP behebt das Problem des „Eilens zum Konsens“, indem es die Schüler zuerst lehrt, auf eigenen Füßen zu stehen, und sie dann sanft leitet, damit sie gemeinsam gehen können. Es erschafft eine sauberere, besser organisierte mentale Karte der Welt, ohne dass mehr Daten hin- und hergeschickt werden müssen.

Technisches Resümee: Schließung der Alignment-Reife-Lücke im föderierten prototypenbasierten Lernen

Problemstellung
Das föderierte Lernen (Federated Learning, FL) steht vor einer grundlegenden Herausforderung beim Erlernen diskriminativer visueller Repräsentationen aus verteilten, heterogenen Daten. Während prototypenbasierte Methoden (z. B. FedProto, FedNH) die statistische Heterogenität adressieren, indem sie klassenspezifische Repräsentationen (Prototypen) anstelle vollständiger Modellgewichte teilen, führen sie eine kritische Instabilität ein, die als Alignment-Reife-Lücke (alignment-maturity gap) bekannt ist.

In bestehendem prototypenbasiertem FL werden globale Prototypen aus lokalen Client-Embeddings aggregiert und dienen ab der ersten Trainingsrunde als semantische Anker. In frühen Trainingsphasen haben lokale Merkmalsextraktoren jedoch noch keine diskriminativen Strukturen erlernt, was zu verrauschten, unreifen lokalen Repräsentationen führt. Folglich sind die aggregierten globalen Prototypen unzuverlässig. Wenn sofort ein statisches Alignment-Gewicht angewendet wird, erzeugt der große euklidische Abstand zwischen den unreifen lokalen Embeddings und diesen verrauschten globalen Prototypen massive Alignment-Gradienten. Diese Gradienten dominieren das Cross-Entropy-Signal, unterdrücken die Entstehung lokaler diskriminativer Strukturen und destabilisieren die Optimierung, insbesondere unter schweren Non-IID-Bedingungen.

Methodik: FedSAP
Die Autoren schlagen FedSAP (Federated Scheduled and Adaptive Prototypes) vor, ein Framework, das darauf ausgelegt ist, das föderierte Repräsentationslernen zu stabilisieren, indem es den Zeitpunkt des globalen Alignments von der Stärke der interklassigen Trennung entkoppelt. FedSAP arbeitet ohne Modifikation des zugrunde liegenden Kommunikationsprotokolls oder die Einführung zusätzlicher lernbarer Parameter. Es stützt sich auf zwei komplementäre Mechanismen:

Deterministischer Alignment-Lehrplan (Curriculum):
Anstatt von Beginn an den vollen Alignment-Druck anzuwenden, nutzt FedSAP ein lineares Warm-up-Schema für das Prototyp-Alignment-Gewicht ( $\lambda_t$ ).
- Mechanismus: Das Gewicht steigt über eine festgelegte Anzahl von Runden ( $t_w$ ) linear von 0 auf einen Maximalwert $M$ an.
- Effekt: Dies verzögert die Einführung des globalen Alignment-Drucks und ermöglicht es den lokalen Repräsentationen, sich zu konsolidieren und diskriminative Strukturen zu bilden, bevor sie zu einem globalen Konsens gezogen werden. Der Zeitplan ist deterministisch und erfordert keine Hilfssignale oder zusätzlichen Kommunikationsaufwand pro Runde.
Geometrie-gesteuerter Proxy-Separationsverlust:
Um eine interklassige Struktur zu erzwingen, ohne zusätzliche Parameter hinzuzufügen, nutzt FedSAP die bestehende globale Prototypenbank als gemeinsame „Proxy-Bank“ um.
- Mechanismus: Lokale Embeddings und globale Prototypen werden auf eine Einheits-Hypersphäre projiziert. Ein Cosine-Softmax-Ziel wird angewendet, das Repräsentationen in Richtung ihres Zielklassen-Prototyps zieht und sie von Nicht-Zielklassen-Prototypen abstößt.
- Effekt: Dies erzwingen kompakte, gut getrennte Klassenzustände auf der Hypersphäre. Durch die Verwendung der serverseitig verteilten Prototypen als Proxies vermeidet die Methode die Komplexität und die Kommunikationskosten, die mit der Pflege separater lernbarer Proxy-Parameter verbunden sind (wie bei Methoden wie ProxyNCA oder ProxyAnchor).

Erweiterung auf semi-überwachtes Lernen
Die Arbeit zeigt, dass sich FedSAP natürlich auf semi-überwachte föderierte Settings (SSFL) erweitern lässt. Durch die Etablierung eines stabilen Embedding-Raums während einer initialen überwachten Phase ermöglicht das Framework ein zuverlässiges Pseudo-Labeling unbeschrifteter Daten in einer nachfolgenden Phase. Unbeschriftete Stichproben werden basierend auf der Nearest-Neighbor-Distanz zur globalen Prototypenbank Pseudo-Labels zugewiesen, wobei Konfidenzschwellenwerte automatisch aus der überwachten Phase kalibriert werden, um Confirmation Bias zu minimieren.

Zentrale Beiträge

Identifizierung der Lücke: Die Autoren identifizieren und begründen explizit die „Alignment-Reife-Lücke“, bei der vorzeitiges globales Alignment auf unreife Repräsentationen das lokale Lernen unterdrückt.
FedSAP-Framework: Der Vorschlag eines Frameworks, das diese Lücke durch einen progressiven Alignment-Lehrplan und einen geometrie-gesteuerten Proxy-Separationsverlust auf der bestehenden Prototypenbank löst.
Leistung und Generalisierbarkeit: Die empirische Validierung zeigt, dass FedSAP bei gleichem Kommunikationsaufwand wie FedProto gut getrennte Embeddings erreicht und signifikante Leistungssteigerungen erzielt. Es wird gezeigt, dass sich das Framework natürlich auf semi-überwachte Settings erweitern lässt, was die Allgemeingültigkeit des geplanten Alignments als Designprinzip unterstreicht.

Experimentelle Ergebnisse
FedSAP wurde über drei Benchmarks (FEMNIST, CIFAR-10, CIFAR-100) unter variierenden Graden statistischer Heterogenität evaluiert.

Leistung: Das Framework erzielte Gewinne von bis zu 4 Prozentpunkten gegenüber prototypenbasierten Baselines (FedProto, FedMPS) und der Parameter-Aggregations-Baseline (FedAvg).
Heterogenität: Die Verbesserungen waren unter schweren Non-IID-Bedingungen am ausgeprägtesten, wenn die Instabilität der Prototypen in frühen Runden am stärksten ist.
Ablation: Die Ergebnisse bestätigen, dass der progressive Alignment-Zeitplan und der Proxy-Separationsverlust entscheidend für die Stabilisierung des Embedding-Raums sind, ohne den Kommunikationsaufwand zu erhöhen.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass FedSAP eine spezifische, bisher unberücksichtigte Einschränkung im prototypenbasierten FL adressiert: die zeitliche Diskrepanz zwischen der Zuverlässigkeit globaler Anker und der Reife lokaler Repräsentationen. Indem FedSAP das föderierte Prototyp-Lernen fundamental als ein Repräsentationslernproblem behandelt, erzeugt es eine Lernkurve, die in frühen Runden stabil und in späteren Runden zunehmend diskriminativ ist. Die Autoren positionieren das Prinzip des „geplanten Alignments“ nicht bloß als Tuning-Strategie für ein spezifisches Protokoll, sondern als allgemeines Designprinament, das sowohl für vollständig überwachte als auch für semi-überwachte föderierte Umgebungen anwendbar ist.