🤖 machine learning

Federated Client Selection under Partial Visibility: A POMDP Approach with Spatio-Temporal Attention

Dieser Beitrag adressiert die Herausforderung der Client-Auswahl im federierten Lernen unter partieller Sichtbarkeit, indem er das Problem als Partially Observable Markov Decision Process (POMDP) formuliert und ein neuartiges, auf räumlich-zeitlicher Aufmerksamkeit basierendes Reinforcement-Learning-Framework vorschlägt, das historische globale Modelle und Client-Embeddings nutzt, um in heterogenen Umgebungen überlegene Leistung zu erzielen.

Ursprüngliche Autoren: Qijun Hou, Yuchen Shi, Pingyi Fan, Khaled B. Letaief

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Qijun Hou, Yuchen Shi, Pingyi Fan, Khaled B. Letaief

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind der Dirigent eines riesigen Orchesters, aber es gibt einen Twist: Sie können nicht alle Musiker gleichzeitig sehen. Manchmal sind nur die Geiger in der vorderen Reihe sichtbar, manchmal nur die Schlagzeuger im Hintergrund. Ihre Aufgabe besteht darin, die beste Gruppe von Musikern auszuwählen, um gerade einen bestimmten Abschnitt des Songs zu spielen, damit das gesamte Orchester im Laufe der Zeit besser klingt.

Genau dieses Problem behandelt die Arbeit, nur dass es statt eines Orchesters Federated Learning ist (eine Methode, bei der Computer gemeinsam lernen, ohne ihre privaten Daten zu teilen), und statt der Musiker Clients (wie Ihr Smartphone oder ein Sensor) sind.

Hier ist die Geschichte ihrer Lösung, einfach aufgeschlüsselt:

Das Problem: Der „blinde" Dirigent

In einer perfekten Welt würde der zentrale Computer (der Server) jeden einzelnen Client jedes Mal sehen, wenn er eine Entscheidung treffen muss. Er könnte die absolut besten auswählen, um das Modell zu trainieren.

Aber in der realen Welt ist alles chaotisch:

Der mobile Server: Stellen Sie sich den Server als eine Drohne vor, die über einer Stadt fliegt. Sie kann nur die Geräte in der Nachbarschaft „hören", über der sie gerade schwebt. Sie kann die Geräte in der nächsten Stadt nicht sehen.
Die zufällige Verfügbarkeit: Stellen Sie sich die Geräte als Menschen vor, die beschäftigt sind. Manchmal schalten sie ihr WLAN aus, gehen schlafen oder wollen einfach nicht teilnehmen. Der Server sieht nur einen zufälligen Ausschnitt der Menge.

Dies wird als partielle Sichtbarkeit bezeichnet. Der Server trifft Entscheidungen im Blindflug, ohne zu wissen, was die „unsichtbaren" Clients tun. Wenn er die falschen sichtbaren Clients auswählt, verlangsamt sich der gesamte Lernprozess oder gerät ins Wanken.

Die Lösung: Ein Zeitreisender Detektiv

Die Autoren erkannten, dass man, um gute Entscheidungen zu treffen, wenn man nicht alles sehen kann, ein Detektiv sein muss, der die Geschichte nutzt. Sie behandelten dieses Problem wie ein Spiel, bei dem der Server den besten Zug basierend auf folgendem erraten muss:

Wer ist gerade sichtbar? (Die aktuellen Hinweise).
Was ist in den letzten Runden passiert? (Die vergangenen Hinweise).

Sie nannten dies einen POMDP (Partially Observable Markov Decision Process – ein teilweise beobachtbarer Markov-Entscheidungsprozess). Denken Sie daran als an eine ausgefallene Art zu sagen: „Ich habe nicht das vollständige Bild, aber ich habe eine Erinnerung an die letzten Züge, also kann ich eine kluge Vermutung anstellen."

Die Geheimwaffe: Das „spatio-temporale" Gehirn

Um dies zu lösen, bauten sie ein spezielles KI-Gehirn mit Reinforcement Learning (Lernen durch Versuch und Irrtum). Aber dieses Gehirn hat eine Superkraft: Spatio-Temporale Aufmerksamkeit.

Lassen Sie uns das mit einer Analogie aufschlüsseln:

Räumliche Aufmerksamkeit (Das „Wer ist hier?"-Auge): Wenn der Server die Gruppe der sichtbaren Clients betrachtet, behandelt er sie nicht alle gleich. Er fragt: „Unter den Leuten, die ich gerade sehen kann, passt welcher am besten zu den anderen?" Er gewichtet ihre Bedeutung relativ zueinander.
Zeitliche Aufmerksamkeit (Das „Gedächtnis"-Auge): Der Server blickt auf die letzten Trainingsrunden zurück. Er fragt: „Wie hat sich das globale Modell verändert? Was haben wir beim letzten Mal gelernt?" Er nutzt diese Geschichte, um die aktuelle Situation besser zu verstehen.

Sie kombinierten diese beiden „Augen" zu einem Q-Netzwerk. Denken Sie an dieses Netzwerk wie an einen Trainer, der jedem sichtbaren Client eine „Bewertung" (einen Q-Wert) gibt. Der Trainer betrachtet die aktuelle Leistung des Clients und erinnert sich an sein vergangenes Verhalten, um zu entscheiden: „Ist dieser Client gerade ein Star-Spieler oder nur ein gewöhnlicher?"

Der „Ausweis"-Trick

Ein kniffliger Teil der partiellen Sichtbarkeit ist, dass ein Client für eine Weile verschwinden und dann zurückkehren kann. Ohne eine Möglichkeit, sie zu erkennen, könnte der Server sie wie einen Fremden behandeln.

Die Autoren gaben jedem Client eine eindeutige Identitäts-Embedding (wie einen dauerhaften Ausweis). Selbst wenn ein Client 10 Runden lang unsichtbar ist, merkt sich die KI des Servers bei seiner Rückkehr: „Ah, das ist Client #42. Ich kenne ihren Stil von früher." Dies hilft dem System, stabil zu bleiben, auch wenn sich die Menge ständig ändert.

Die Ergebnisse: Bessere Musik, weniger Lärm

Das Team testete ihre Methode an drei verschiedenen „Orchestern" (Datensätze: Bilder von Kleidung, Bilder von Objekten und Bewegungsdaten). Sie verglichen ihren „Zeitreisenden Detektiv" mit anderen Methoden, die entweder das Sichtbarkeitsproblem ignorierten oder keine Geschichte nutzten.

Die Ergebnisse waren klar:

Höhere Genauigkeit: Ihre Methode lernte schneller und endete mit einem intelligenteren Modell als die anderen.
Weniger Wackeln: Der Trainingsprozess war viel glatter. Andere Methoden würden in der Leistung auf und ab springen (wie eine zitternde Hand), aber ihre Methode blieb stabil.
Geschichte zählt: Sie testeten, wie weit zurück der Server blicken sollte. Nur einen Schritt zurückzublicken (Geschichte ignorieren) war das Schlechteste. Etwa 5 Schritte zurückzublicken war der Sweet Spot. Zu weit zurückzublicken half nicht viel mehr.

Auf den Punkt gebracht

Die Arbeit sagt: Wenn Sie nicht alle in einer Gruppe sehen können, die gemeinsam lernt, wählen Sie nicht einfach zufällig aus. Nutzen Sie eine KI, die betrachtet, wer gerade sichtbar ist, sich erinnert, was kürzlich passiert ist, und jeden einzelnen über die Zeit erkennt. Dieser „spatio-temporale" Ansatz macht den Lernprozess viel intelligenter und stabiler, selbst wenn der Server im Blindflug fliegt.

Technische Zusammenfassung: Federierte Client-Auswahl unter partieller Sichtbarkeit

Problemformulierung

Federated Learning (FL) stützt sich typischerweise auf eine effektive Client-Auswahl, um Leistungsverschlechterungen infolge von Datenheterogenität (nicht-IID-Daten) zu mildern. Die meisten bestehenden Client-Auswahlmethoden gehen jedoch von einer vollständigen Sichtbarkeit aus, bei der der Server in jedem Kommunikationsrunden Zugriff auf Informationen über die gesamte Client-Population hat.

Dieser Artikel adressiert die Herausforderung der partiellen Sichtbarkeit, ein Szenario, das in großskaligen oder randbasierten Bereitstellungen auftritt, bei denen der Server aufgrund von Einschränkungen wie folgt nur auf eine Teilmenge von Clients zugreifen kann:

Mobilität: Ein mobiler Server, der sich über Netzwerkbereiche bewegt, kann nur mit Clients innerhalb seiner aktuellen Abdeckung interagieren (z. B. EdgeFlow-Szenarien).
Verfügbarkeit: Clients können aufgrund von Zeitplänen, Verbindungsproblemen oder Privatsphäre-Einstellungen nicht verfügbar sein.

In diesem Setting beobachtet der Server nur eine Teilmenge von Clients ( $C_t$ ) im Runden $t$ , wodurch der globale Trainingszustand nur teilweise beobachtbar wird. Bestehende Reinforcement-Learning (RL)-Ansätze, die die Client-Auswahl typischerweise als Markov-Entscheidungsprozess (MDP) modellieren und dabei vollständige Zustandssichtbarkeit voraussetzen, sind für dieses Problem unzureichend.

Methodik

1. POMDP-Formulierung

Die Autoren formulieren das Problem der Client-Auswahl unter partieller Sichtbarkeit als Partially Observable Markov Decision Process (POMDP).

Zustand ( $s_t$ ): Konzeptionell definiert als die potenziell aktualisierten Parameter aller $N$ Clients. Entscheidend ist, dass der Server keinen Zugriff auf die Gradienten oder Updates unsichtbarer Clients hat.
Aktion ( $a_t$ ): Auswahl einer Teilmenge von $K$ Clients aus dem aktuell sichtbaren Cluster $C_t$ .
Beobachtung ( $o_t$ ): Eine maskierte Teilmenge des Zustands, die die aktualisierten Parameter und IDs nur der sichtbaren Clients ( $j \in C_t$ ) enthält.
Belohnung ( $r_t$ ): Definiert basierend auf dem F1-Score des globalen Modells nach der Aggregation, geglättet über die Zeit zur Kontrolle der Varianz.

2. Deep Q-Learning (DQL)-Lösung

Zur Lösung des POMDP schlägt der Artikel einen DQL-basierten Agenten vor. Da die Aufrechterhaltung einer vollständigen Interaktionshistorie rechnerisch unpraktikabel ist, approximiert die Methode die optimale Q-Funktion unter Verwendung eines abgeschnittenen zeitlichen Kontexts der letzten $H$ Runden.

Client-spezifische Q-Wert-Zerlegung: Um variable Clustergrößen und kombinatorische Aktionsräume zu handhaben, wird die globale Q-Funktion in individuelle Client-Beiträge zerlegt. Der Agent bewertet jeden sichtbaren Client unabhängig und wählt die Top- $K$ mit den höchsten geschätzten Q-Werten aus.
Multi-Step-Optimierung: Der Agent nutzt Multi-Step-Temporal-Difference-Learning mit einem Diskontfaktor $\gamma$ und optimiert das Q-Netzwerk, um Renditen über einen Horizont von $H$ Schritten vorherzusagen.

3. Spatio-Temporale Attention-Architektur

Die Kerninnovation ist ein neuartiges Spatio-Temporales Attention-basiertes Q-Netzwerk, das entwickelt wurde, um Eingaben variabler Länge zu verarbeiten und komplexe Abhängigkeiten zu erfassen.

Dimensionsreduktion: Hochdimensionale Modellparameter werden mithilfe von Random Projection (RP) in einen niedrigdimensionalen Merkmalsraum abgebildet. Im Gegensatz zur PCA erfordert RP keine vorab gesammelten Stichproben, was es für dynamische Sichtbarkeit geeignet macht.
Zeitlicher Kontext: Das Netzwerk verarbeitet eine Sequenz historischer globaler Parameter ( $W_{glob}^{t-H} \dots W_{glob}^t$ ), um die Trainingsbahn zu erfassen.
Räumliche Attention: Ein Modul verarbeitet die Tokens der aktuell sichtbaren Clients, um über deren relative Beiträge innerhalb des spezifischen Clusters zu reasoning.
Zeitliche Attention: Ein Modul verarbeitet historische globale Parameter-Tokens unter Verwendung von Positions-Encoding und kausaler Maskierung, um zeitliche Abhängigkeiten zu lernen.
Cross-Attention: Räumliche und zeitliche Tokens werden via Cross-Attention integriert, wodurch Client-Repräsentationen in der Lage sind, auf historische globale Kontexte zu achten.
Identitätsbewusste Einbettung: Um zeitliche Sparsität zu adressieren, die durch intermittierende Client-Teilnahme verursacht wird, enthält das Modell trainierbare Identitätsvektoren (Embeddings) für jeden Client. Diese fungieren als ein „Gedächtnis", um persistente client-spezifische Merkmale über Runden hinweg zu erfassen, selbst wenn Clients nicht sichtbar sind.
Dueling-Architektur: Das Q-Netzwerk trennt die Schätzung des globalen Zustandswerts und den relativen Vorteil der Auswahl spezifischer Clients, um die Lernstabilität zu verbessern.

Hauptbeiträge

POMDP-Rahmenwerk: Die erste Formulierung der federierten Client-Auswahl unter partieller Sichtbarkeit als POMDP, die explizit die Lücke zwischen Annahmen vollständiger Sichtbarkeit und realweltlichen Einschränkungen adressiert.
Spatio-Temporales Attention-Netzwerk: Eine neuartige Architektur, die historische globale Modelle mit aktuellen Client-Beobachtungen integriert und es dem Agenten ermöglicht, trotz unvollständiger Beobachtungen über den globalen Zustand zu reasoning.
Identitätsbewusstes Gedächtnis: Ein Mechanismus zur Verfolgung client-spezifischer Merkmale über diskontinuierliche Teilnahme hinweg, der die Auswirkungen von Beobachtungssparsität mildert.
Robuste DQL-Strategie: Ein client-spezifischer Zerlegungs- und Multi-Step-Optimierungsansatz, der auf die diskrete, irreversible Natur der FL-Client-Auswahl zugeschnitten ist.

Experimentelle Ergebnisse

Die vorgeschlagene Methode wurde auf drei Datensätzen (CIFAR-10, Fashion-MNIST, UCI-HAR) unter zwei Settings partieller Sichtbarkeit (Mobiler Server und Zufällige Verfügbarkeit) und zwei Heterogenitätsniveaus (Dirichlet-Verteilung und Label Skew) evaluiert.

Leistung: Die vorgeschlagene Methode erzielte im Vergleich zu Baselines (FedProx, HA-EdgeFlow, FedAWAC) in nahezu allen Szenarien eine überlegene Genauigkeit. Sie verbesserte die durchschnittliche Genauigkeit um 3,6 % bis 7,9 % gegenüber bestehenden Methoden.
Stabilität: Die Methode zeigte reduzierte Leistungsschwankungen (niedrigere Standardabweichung) nach der Konvergenz, was auf eine verbesserte Trainingsstabilität hindeutet.
Ablationsstudien:
- Kontextlänge ( $H$ ): Die Leistung verbesserte sich, als $H$ von 1 (MDP) auf 5 erhöht wurde, was die Notwendigkeit eines historischen Kontexts validiert. Weitere Erhöhungen ( $H=8, 10$ ) erzielten abnehmende Grenzerträge, was darauf hindeutet, dass die jüngste Historie ausreichend ist.
- Identitäts-Embeddings: Das Entfernen des Identitätsbewussten Moduls führte unter starkem Label Skew zu signifikanten Genauigkeitsabfällen und zu erhöhten Schwankungen unter Dirichlet-Verteilungen, was seine Rolle für Client-Gedächtnis und Stabilität bestätigt.

Bedeutung und Behauptungen

Der Artikel behauptet, dass sein Ansatz eine prinzipielle Lösung für das untererforschte Problem der Client-Auswahl unter partieller Sichtbarkeit bietet. Durch die Modellierung des Problems als POMDP und die Nutzung von Spatio-Temporal-Attention überbrückt die Methode effektiv die Informationslücke, die durch unvollständige Beobachtungen verursacht wird. Die Autoren behaupten, dass ihr Rahmenwerk insbesondere in heterogenen und teilweise sichtbaren Settings effektiv ist und eine robuste Alternative zu bestehenden MDP-basierten oder heuristischen Auswahlstrategien bietet, die versagen, wenn der Server nicht die gesamte Client-Population beobachten kann. Die Arbeit validiert, dass die Einbeziehung historischen Kontexts und eines Client-Identitäts-Gedächtnisses entscheidend für die Aufrechterhaltung der Modellleistung in dynamischen, realweltlichen Randumgebungen ist.