Technische Samenvatting: Federated Client Selection onder Partial Visibility

Probleemformulering

Federated Learning (FL) is doorgaans afhankelijk van effectieve client-selectie om prestatiedegradatie veroorzaakt door data-heterogeniteit (non-IID-data) te mitigeren. De meeste bestaande methoden voor client-selectie gaan echter uit van volledige zichtbaarheid, waarbij de server in elke communicatiebeurt toegang heeft tot informatie over de gehele clientpopulatie.

Dit artikel adresseert de uitdaging van Partial Visibility, een scenario dat ontstaat bij grootschalige of edge-gebaseerde implementaties waarbij de server door beperkingen zoals:

• Mobiliteit: Een mobiele server die zich verplaatst over netwerkregio's, alleen kan interageren met clients binnen zijn huidige bereik (bijvoorbeeld EdgeFlow-scenario's).
• Beschikbaarheid: Clients kunnen onbeschikbaar zijn door planning, connectiviteitsproblemen of privacyvoorkeuren.

In deze setting observeert de server slechts een subset van clients ($C_t$) in ronde $t$, waardoor de globale trainingsstatus slechts gedeeltelijk waarneembaar is. Bestaande Reinforcement Learning (RL)-benaderingen, die client-selectie doorgaans modelleren als een Markov Decision Process (MDP) met de aanname van volledige statische zichtbaarheid, zijn ontoereikend voor dit probleem.

Methodologie

1. POMDP-formulering

De auteurs formuleren het probleem van client-selectie onder partial visibility als een Partially Observable Markov Decision Process (POMDP).

• State ($s_t$): Conceptueel gedefinieerd als de potentieel bijgewerkte parameters van alle $N$ clients. Cruciaal is dat de server geen toegang heeft tot de gradients of updates van onzichtbare clients.
• Action ($a_t$): Het selecteren van een subset van $K$ clients uit de momenteel zichtbare cluster $C_t$.
• Observation ($o_t$): Een gemaskeerde subset van de state die de bijgewerkte parameters en ID's bevat van alleen de zichtbare clients ($j \in C_t$).
• Reward ($r_t$): Gedefinieerd op basis van de F1-score van het globale model na aggregatie, gesmeerd over de tijd om de variantie te beheersen.

2. Deep Q-Learning (DQL)-oplossing

Om het POMDP op te lossen, stelt het artikel een DQL-gebaseerde agent voor. Aangezien het bijhouden van een volledige interactiegeschiedenis computationeel onpraktisch is, benadert de methode de optimale Q-functie met behulp van een afgeknotte temporele context van de meest recente $H$ rondes.

• Client-wise Q-value Decomposition: Om variabele clustergroottes en combinatorische actieruimtes te hanteren, wordt de globale Q-functie ontbonden in individuele client-bijdragen. De agent evalueert elke zichtbare client onafhankelijk en selecteert de top-$K$ met de hoogste geschatte Q-waarden.
• Multi-Step Optimization: De agent maakt gebruik van multi-step temporal-difference learning met een disconteringsfactor $\gamma$, en optimaliseert het Q-netwerk om returns te voorspellen over een horizon van $H$ stappen.

3. Spatio-Temporal Attention-architectuur

De kerninnovatie is een nieuw Spatio-Temporal Attention-based Q-Network ontworpen om variabele lengte-invoer te verwerken en complexe afhankelijkheden vast te leggen.

• Dimension Reduction: Hoge-dimensionale modelparameters worden gemapt naar een lage-dimensionale feature-ruimte met behulp van Random Projection (RP). In tegenstelling tot PCA vereist RP geen vooraf verzamelde samples, waardoor het geschikt is voor dynamische zichtbaarheid.
• Temporal Context: Het netwerk verwerkt een reeks historische globale parameters ($W_{glob}^{t-H} \dots W_{glob}^t$) om de trainingsbaan vast te leggen.
• Spatial Attention: Een module verwerkt de tokens van momenteel zichtbare clients om te redeneren over hun relatieve bijdragen binnen de specifieke cluster.
• Temporal Attention: Een module verwerkt historische globale parameter-tokens met behulp van positionele encoding en causale masking om temporele afhankelijkheden te leren.
• Cross-Attention: Spatial en temporal tokens worden geïntegreerd via cross-attention, waardoor client-representaties kunnen attenderen op historische globale contexten.
• Identity-Aware Embedding: Om temporele sparsiteit veroorzaakt door intermitterende client-participatie aan te pakken, bevat het model trainbare identity-vectoren (embeddings) voor elke client. Deze fungeren als een "geheugen" om aanhoudende client-specifieke kenmerken over rondes heen vast te leggen, zelfs wanneer clients niet zichtbaar zijn.
• Dueling Architecture: Het Q-netwerk scheidt de schatting van de globale statewaarde en het relatieve voordeel van het selecteren van specifieke clients om de leerstabiliteit te verbeteren.

Belangrijkste Bijdragen

1. POMDP Framework: De eerste formulering van federated client-selectie onder partial visibility als een POMDP, die expliciet de kloof adresseert tussen aannames van volledige zichtbaarheid en real-world beperkingen.
2. Spatio-Temporal Attention Network: Een nieuwe architectuur die historische globale modellen integreert met huidige client-observaties, waardoor de agent kan redeneren over de globale staat ondanks onvolledige observaties.
3. Identity-Aware Memory: Een mechanisme om client-specifieke kenmerken te volgen over discontinu participatie heen, waardoor de impact van observatie-sparsiteit wordt gemitigeerd.
4. Robust DQL Strategy: Een client-wise decompositie en multi-step optimalisatie-aanpak die is toegespitst op het discrete, onomkeerbare karakter van FL client-selectie.

Experimentele Resultaten

De voorgestelde methode werd geëvalueerd op drie datasets (CIFAR-10, Fashion-MNIST, UCI-HAR) onder twee partial visibility-instellingen (Mobiele Server en Random Availability) en twee heterogeniteitsniveaus (Dirichlet-distributie en Label Skew).

• Prestaties: De voorgestelde methode behaalde superieure nauwkeurigheid in vergelijking met baselines (FedProx, HA-EdgeFlow, FedAWAC) in bijna alle scenario's. Het verbeterde de gemiddelde nauwkeurigheid met 3,6% tot 7,9% ten opzichte van bestaande methoden.
• Stabiliteit: De methode toonde verminderde prestatiefluctuaties (lagere standaardafwijking) na convergentie, wat wijst op verbeterde trainingsstabiliteit.
• Ablatie-studies:
  • Context Length ($H$): De prestaties verbeterden naarmate $H$ toenam van 1 (MDP) tot 5, wat de noodzaak van historische context valideert. Verdere toenames ($H=8, 10$) leverden afnemende meeropbrengsten op, wat suggereert dat recente geschiedenis voldoende is.
  • Identity Embeddings: Het verwijderen van de Identity-Aware-module resulteerde in significante dalingen in nauwkeurigheid onder ernstige Label Skew en verhoogde fluctuaties onder Dirichlet-distributies, wat zijn rol in client-geheugen en stabiliteit bevestigt.

Betekenis en Claims

Het artikel claimt dat zijn aanpak een principiële oplossing biedt voor het onderbelichte probleem van client-selectie onder partial visibility. Door het probleem te modelleren als een POMDP en gebruik te maken van Spatio-Temporal attention, overbrugt de methode effectief de informatiekloof veroorzaakt door onvolledige observaties. De auteurs stellen dat hun framework bijzonder effectief is in heterogene en gedeeltelijk zichtbare settings, en biedt een robuust alternatief voor bestaande MDP-gebaseerde of heuristische selectiestrategieën die falen wanneer de server de volledige clientpopulatie niet kan observeren. Het werk valideert dat het integreren van historische context en client-identity-geheugen cruciaal is voor het handhaven van modelprestaties in dynamische, real-world edge-omgevingen.