🤖 machine learning

Mechanistic Evidence for Preserved-but-Misaligned Representations in Non-IID FedAvg

Diese Arbeit liefert mechanistische Belege dafür, dass die Leistungsverschlechterung von Federated Averaging (FedAvg) unter nicht-IID-Datenbedingungen nicht auf dem Verlust der von den Clients erlernten Repräsentationen beruht, sondern vielmehr auf einer Fehlabstimmung zwischen diesen erhaltenen internen Strukturen und dem finalen Vorhersagepfad.

Ursprüngliche Autoren: Muhammad Haseeb, Salaar Masood, Muhammad Abdullah Sohail, Mohammad Fatim Shoaib, Muhammad Tahir

Veröffentlicht 2026-07-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Muhammad Haseeb, Salaar Masood, Muhammad Abdullah Sohail, Mohammad Fatim Shoaib, Muhammad Tahir

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein riesiges Gruppenprojekt vor, bei dem zehn verschiedene Studenten (die „Klienten“) jeweils versuchen, einem Roboter beizubringen, Tiere zu erkennen. Alle beginnen mit demselben leeren Roboter, erhalten aber sehr unterschiedliche Hausaufgaben. Ein Student sieht nur Bilder von Katzen, ein anderer nur Hunde und ein dritter nur Vögel. Das ist das, was in einem „Non-IID“-Szenario passiert: Jeder lernt aus seinem eigenen, einzigartigen, verzerrten Ausschnitt der Welt.

Am Ende des Projekts nimmt ein Lehrer (der „Server“) die Notizen aller zehn Studenten und bildet den Durchschnitt, um einen einzigen „Globalen Roboter“ zu erstellen. Normalerweise macht dieser Durchschnittsprozess den Roboter schlecht in seinem Job. Er wird verwirrt, verwechselt Katzen mit Hunden und seine Genauigkeit sinkt.

Lange Zeit dachten die Leute, dass der Durchschnittsprozess des Lehrers wie ein Mixer sei, der alle Notizen der Studenten zu einem nutzlosen Brei zerhäckselt. Sie glaubten, der Roboter habe schlichtweg vergessen, wie man die Tiere erkennt, weil die verschiedenen Notizen kollidierten und sich gegenseitig auslöschten.

Aber dieses Paper schlägt eine andere, überraschendere Geschichte vor.

Die Autoren haben nicht nur auf die abschließende Testleistung des Roboters geschaut; sie führten eine „mechanistische Autopsie“ durch, um zu sehen, was tatsächlich in dem Gehirn des Roboters passiert. Sie nutzten spezielle Werkzeuge, um in die winzigen Schaltkreise und Pfade hineinzuschauen, die der Roboter gebaut hatte. Dies ist das, was sie fanden:

1. Die Notizen wurden gespeichert, nur durcheinandergebracht

Die Forscher entdeckten, dass der Roboter nichts vergessen hatte. Selbst wenn der fertige Roboter eine Genauigkeit von 0 % bei der Erkennung von „Katzen“ erreichte, war der spezifische interne Schaltkreis, der wusste, wie man eine Katze erkennt, immer noch vorhanden, voll funktionsfähig und arbeitete perfekt.

Denken Sie an eine Bibliothek, in der die Bücher alle noch in den Regalen stehen, geschrieben in perfektem Englisch. Das Problem ist nicht, dass die Bücher fehlen oder zerrissen sind; das Problem ist, dass das Karteikartensystem kaputt ist. Der Bibliothekar (das finale „Haupt“ oder der Entscheidungsträger des Roboters) versucht, das „Katzen“-Buch zu finden, aber die Karteikarte zeigt auf das „Hunde“-Regal oder vielleicht auf eine leere Wand. Das Wissen ist bewahrt, aber es ist fehlgeleitet (misaligned).

2. Der Beweis: Die Bestätigung, dass das Wissen noch da ist

Das Team nutzte vier verschiedene Detektiv-Tricks, um diese „Fehlleitungs“-Theorie zu beweisen:

Die Schaltkreis-Karte: Sie verfolgten die spezifischen Pfade, die der Roboter zur Identifizierung jeder Klasse nutzte. Selbst im Worst-Case-Szenario (in dem der Roboter nur 43 % genau war) war der interne „Schaltkreis“ zur Erkennung eines spezifischen Tieres zu 100 % ausreichend, um die Aufgabe zu erfüllen, wenn man den Roboter dazu zwinge, nur diesen Pfad zu nutzen. Der Roboter war nicht kaputt; er ist nur in die falsche Richtung gelaufen.
Die Lineare Sonde (Linear Probe): Stellen Sie sich vor, Sie nehmen das Gehirn des Roboters und bitten einen frischen, klugen Studenten, sich die Rohdaten anzusehen, die aus dem Gehirn kommen, und eine einfache Linie zu ziehen, um Katzen von Hunden zu trennen. Dieser „Sonden“-Student konnte immer noch eine Genauigkeit von 64,7 % erreichen, obwohl das eigene Gehirn des Roboters nur 43,1 % erreichte. Dies beweist, dass das „Gehirn“ (die Merkmale/Features) die richtigen Informationen noch enthielt; der Roboter hat sie nur nicht korrekt verwendet.
Der Kopf-Austausch (Head Swap): Sie versuchten, das Gehirn des Roboters einzufrieren und nur den finalen „Entscheidungsträger“ (das Head) mit einem kleinen, ausgewogenen Satz von 200 Bildern neu zu trainieren. Als sie dies taten, stieg die Genauigkeit des Roboters um 10,2 Punkte (von 43,1 % auf 53,3 %). Dies zeigte: Wenn man nur die Karteikarte repariert, kann der Roboter viel besser arbeiten.
Das Gemeinsame Wörterbuch: Sie prüften, ob das „Vokabular“, das der Roboter lernte, dasselbe war wie das eines Roboters, der auf perfekten, ausgewogenen Daten trainiert wurde. Sie fanden heraus, dass 98,7 % der Konzepte (2021 von 2048) exakt dieselben waren. Der Roboter sprach keine andere Sprache; er benutzte nur dieselben Wörter in der falschen Reihenfolge.

3. Was dies ausschließt

Das Paper argumentiert explizit gegen die Vorstellung, dass der Durchschnittsprozess das Wissen der Studenten zerstört. Es zeigt, dass der „Mixer“ die Notizen nicht zu Rauschen zermahlen hat. Stattdessen wurden die Notizen der verschiedenen Studenten (die unterschiedliche Tiere sahen) bewahrt, aber sie endeten in einer wirren, widersprüchlichen Anordnung, in der der finale Roboter nicht navigieren konnte.

Die Autoren betonen vorsichtig, dass dies einen spezifischen Mechanismus nahelegt: Die Verschlechterung ist auf Fehlleitung (Misalignment) zurückzuführen, nicht auf Auslöschung (Erasure). Sie maßen dies über verschiedene Datensätze (CIFAR-10 und Fashion-MNIST) und verschiedene Roboter-Designs (SimpleCNN und ResNet10) hinweg, und das Muster blieb jedes Mal gleich.

Das Fazit

Wenn ein Federated-Learning-Roboter unter Non-IID-Bedingungen versagt, liegt es nicht daran, dass er sein Gedächtnis verloren hat. Es liegt daran, dass er eine Bibliothek voller perfekter Bücher besitzt, aber der Bibliothekar eine falsche Karte hält. Das Wissen ist noch da, bereit gefunden zu werden, aber der Pfad zur endgültigen Antwort wurde durcheinandergebracht.

Das Paper legt nahe, dass wir, anstatt zu versuchen, die Studenten daran zu hindern, unterschiedliche Dinge zu lernen, bessere Ergebnisse erzielen könnten, indem wir einfach die „Karteikarte“ (das finale Klassifikations-Head) reparieren oder die internen Karten der Studenten vor dem Durchschnitt abgleichen. Der Roboter ist nicht kaputt; er ist nur verwirrt.

Technisches Resümee: Mechanistische Evidenz für erhaltene, aber fehlgeleitete Repräsentationen in Non-IID FedAvg

1. Problemstellung

Federated Averaging (FedAvg) ist das Standard-Optimierungsverfahren für Federated Learning (FL), leidet jedoch unter erheblicher Leistungsdegradation unter non-IID (statistisch heterogenen) Client-Daten, insbesondere bei Label-Skew. Bestehende Erklärungen führen dieses Versagen auf Client Drift, Objektinkonsistenz und Gewichtsdivergenz zurück, was den Optimierungsprozess charakterisiert, den internen Effekt der Aggregation jedoch weitgehend unbeobachtet lässt.

Eine kritische offene Frage bleibt: Spiegelt die Verschlechterung der globalen Genauigkeit die Löschung (Erasure) von Client-erlernten Repräsentationen wider, oder handelt es sich um eine Fehlgeleitete Ausrichtung (Misalignment), bei der interne Strukturen zwar erhalten bleiben, aber nicht effektiv mit dem finalen Vorhersagepfad verbunden werden können? Diese Arbeit untersucht diese Frage unter Verwendung von Werkzeugen der Mechanistischen Interpretierbarkeit (MI), um zu bestimmen, ob non-IID FedAvg erlerntes Wissen zerstört oder lediglich die Verbindung zwischen diesem Wissen und dem Klassifikator unterbricht.

2. Methodik

Die Autoren analysieren spärlich trainierte (sparse) Vision-Modelle (SimpleCNN und ResNet10) auf CIFAR-10 und Fashion-MNIST. Um die Interpretierbarkeit zu gewährleisten, trainieren die Clients unter einem auf der Magnitude basierenden Sparsity-Schema (Annealing auf 99,9 % Sparsity), wobei Kontrollmodelle mit dichter Architektur bestätigen, dass die Ergebnisse keine Artefakte der Sparsity sind. Die Studie verwendet vier mechanistische Diagnostiken:

2.1. Circuit Discovery (Schaltkreis-Identifikation)

Unter Verwendung differenzierbarer binärer Gating-Mechanismen identifizieren die Autoren minimale Sub-Netzwerke (Circuits), die ausreichend für die Vorhersage spezifischer Klassen sind. Sie messen:

Intra-Client Stabilität: Überlappung der Circuits über Kommunikationsrunden hinweg.
Inter-Client Konsistenz: Ähnlichkeit der Circuits zwischen verschiedenen Clients.
Local-to-Global Preservation: Der Intersection-over-Union (IoU) zwischen dem lokalen Circuit eines Clients und dem entsprechenden Circuit im aggregierten globalen Modell.
Interventionen: Suffizienz (Genauigkeit, wenn nur der Circuit aktiv ist) und Notwendigkeit (Genauigkeitsabfall, wenn der Circuit ablatiert wird).

2.2. Linear Probing

Ein linearer Klassifikator wird auf den gefrorenen Aktivierungen der vorletzten Schicht des globalen Modells trainiert. Dies testet, ob klassendiskriminative Informationen im Backbone linear zugänglich bleiben, selbst wenn der native Head des Modells diese nicht effektiv nutzt.

2.3. Head-Only Finetuning

Der Backbone bleibt eingefroren, und nur der finale Klassifikations-Head wird auf einem kleinen, balancierten IID-Subset (200 Samples) feinjustiert. Dies isoliert, ob der Genauigkeitsverlust lokal auf die Readout-Schicht oder den Feature-Backbone begrenzt ist.

2.4. Universal Sparse Autoencoders (USAE)

Ein USAE wird gemeinsam auf den Aktivierungen sowohl der IID- als auch der non-IID-Globalmodelle trainiert, um ein gemeinsames Feature-Dictionary zu lernen. Dies testet, ob die beiden Modelle ihre Features in einer gemeinsamen Basis organisieren, und ermöglicht eine Cross-Model-Rekonstruktion zur Bewertung der Feature-Kompatibilität.

3. Kernergebnisse

3.1. Circuit Stabilität und Divergenz

Lokale Stabilität: Die lokalen Trainingsdynamiken sind unabhängig von der Datenheterogenität stabil. Clients konvergieren zu hochgradig stabilen, klassenspezifischen Circuits (IoU $\approx$ 0,90), selbst unter extremer Skew ( $\alpha=0,05$ ).
Inter-Client Divergenz: Mit zunehmender Heterogenität lernen Clients unterschiedliche Circuits für dieselbe Klasse. Unter extremer Skew sinkt die Inter-Client-Circuit-Überlappung auf einen IoU $\approx$ 0,45.
Partielle Erhaltung: Das globale Modell mittelt die Circuits nicht zu Rauschen. Die Local-to-Global Preservation (IoU $\approx$ 0,55) bleibt höher als die Inter-Client-Überlappung, was darauf hindeutet, dass das globale Modell teilweise Strukturen von den Clients erbt, anstatt zu einer einzigen Lösung zu konvergieren.

3.2. Funktionale Circuits persistieren trotz Null-Genauigkeit

In extremen non-IID-Settings kann das globale Modell eine nahezu Null-Genauigkeit für bestimmte Klassen erreichen (z. B. 0,0 % für „Katze“ oder „Hirsch“). Dennoch:

Suffizienz: Extrahierte Circuits für diese Klassen erreichen eine nahezu perfekte Suffizienz (100 % Genauigkeit), wenn sie isoliert betrachtet werden.
Notwendigkeit: Die Ablation dieser Circuits lässt die Genauigkeit auf nahezu Null kollabieren.
Fazit: Die computationalen Pfade für diese Klassen existieren und sind kausal für die Vorhersage verantwortlich, aber das Modell versagt dabei, die Inputs während der Standard-Inferenz durch diese Pfade zu routen.

3.3. Lineare Separabilität und Head-Fehlleitung

Linear Probes: Während die globale Genauigkeit unter Skew signifikant sinkt (z. B. von 68,3 % auf 43,1 %), bleibt die Genauigkeit der Linear Probes hoch und stabil (Abfall nur auf 64,7 %). Die Lücke zwischen Probe und globaler Genauigkeit vergrößert sich monoton mit der Heterogenität (+21,7 Punkte bei $\alpha=0,05$ ).
Head Finetuning: Die Feinjustierung nur des Klassifikations-Heads auf einem kleinen balancierten Datensatz stellt eine erhebliche Genauigkeit wieder her (+10,2 Punkte bei $\alpha=0,05$ ), erreicht jedoch nicht vollständig die IID-Performance. Dies bestätigt, dass der Backbone nützliche Features beibehält, aber der Standard-Head fehlgeleitet ist.

3.4. Gemeinsame Feature-Basis (USAE)

Konzept-Überlappung: 98,7 % der 2.048 USAE-Dictionary-Konzepte aktivieren sowohl im IID- als auch im non-IID-Modell nicht-trivial, was auf eine weitgehend gemeinsame Feature-Basis hindeutet.
Cross-Model Transfer: Wenn non-IID-Aktivierungen in den IID-Feature-Raum dekodiert werden, performt der IID-Head gut. Umgekehrt versagt der non-IID-Head, selbst wenn er mit IID-Aktivierungen gespeist wird. Dies bestätigt, dass die Features vorhanden und kompatibel sind, aber der non-IID-Readout-Mechanismus der Punkt des Versagens ist.

4. Bedeutung und Behauptungen

Das Paper argumentiert, dass die Degradation durch non-IID FedAvg nicht vollständig durch Repräsentationslöschung erklärt werden kann. Stattdessen ist der primäre Mechanismus eine Fehlleitung (Misalignment):

Erhaltung: Die von den Clients gelernten internen Strukturen (Circuits) und die Feature-Basen bleiben im aggregierten globalen Modell weitgehend erhalten.
Fehlleitung: Der finale Vorhersagepfad (der Klassifikations-Head) wird mit diesen erhaltenen Repräsentationen fehlgeleitet. Das Modell „kennt“ die Klassen, kann aber die Inputs nicht korrekt zu den Circuits routen oder die Features effektiv nutzen.

Implikationen:

Neubewertung des Problems: Das Problem ist nicht zwingend, dass Clients „vergessen“ oder dass Gewichte in inkompatible Basins divergieren, die Wissen zerstören, sondern dass der Aggregationsprozess die strukturelle Beziehung zwischen dem Backbone und dem Head stört.
Algorithmische Richtungen:
- Post-Aggregation Head Realignment: Eine einfache Feinjustierung des Heads auf einem kleinen balancierten Datensatz kann signifikante Performance wiederherstellen, ohne das federierte Protokoll zu ändern.
- Circuit-Aware Aggregation: Zukünftige Methoden könnten Neuronen, die ähnliche funktionale Circuits implementieren, bereits vor der Mittelung über Clients hinweg ausrichten (z. B. via Permutationssymmetrie-Methoden), um den strukturellen Shift an der Quelle zu reduzieren.

Limitierungen:
Die Autoren merken an, dass die Head-Realignment zwar signifikante Performance wiederherstellt, eine Restlücke zur IID-Performance jedoch bestehen bleibt, was darauf hindeutet, dass auch die Geometrie des Backbones leicht degradiert. Die Ergebnisse sind derzeit auf CNN/ResNet-Architekturen auf Bilddatensätzen beschränkt, und die Analyse operiert auf der Channel-Ebene statt auf Sub-Channel-Granularität.