Resumo Técnico: Seleção de Clientes Federados sob Visibilidade Parcial

Formulação do Problema

O Aprendizado Federado (FL) geralmente depende de uma seleção eficaz de clientes para mitigar a degradação de desempenho causada pela heterogeneidade de dados (dados não-IID). No entanto, a maioria dos métodos existentes de seleção de clientes assume visibilidade total, onde o servidor tem acesso a informações sobre toda a população de clientes em cada rodada de comunicação.

Este artigo aborda o desafio da Visibilidade Parcial, um cenário que surge em implantações em grande escala ou baseadas em borda, onde o servidor pode acessar apenas um subconjunto de clientes devido a restrições como:

• Mobilidade: Um servidor móvel que se move por regiões de rede pode interagir apenas com clientes dentro de sua cobertura atual (por exemplo, cenários EdgeFlow).
• Disponibilidade: Os clientes podem estar indisponíveis devido a agendamentos, problemas de conectividade ou preferências de privacidade.

Neste cenário, o servidor observa apenas um subconjunto de clientes ($C_t$) na rodada $t$, tornando o estado global de treinamento parcialmente observável. Abordagens existentes de Aprendizado por Reforço (RL), que tipicamente modelam a seleção de clientes como um Processo de Decisão de Markov (MDP) assumindo visibilidade total do estado, são insuficientes para este problema.

Metodologia

1. Formulação POMDP

Os autores formulam o problema de seleção de clientes sob visibilidade parcial como um Processo de Decisão de Markov Parcialmente Observável (POMDP).

• Estado ($s_t$): Conceitualmente definido como os parâmetros atualizados potenciais de todos os $N$ clientes. Crucialmente, o servidor não tem acesso aos gradientes ou atualizações de clientes invisíveis.
• Ação ($a_t$): Selecionar um subconjunto de $K$ clientes do cluster atualmente visível $C_t$.
• Observação ($o_t$): Um subconjunto mascarado do estado contendo os parâmetros atualizados e IDs apenas dos clientes visíveis ($j \in C_t$).
• Recompensa ($r_t$): Definida com base no escore F1 do modelo global após a agregação, suavizada ao longo do tempo para controlar a variância.

2. Solução com Deep Q-Learning (DQL)

Para resolver o POMDP, o artigo propõe um agente baseado em DQL. Como manter um histórico completo de interações é computacionalmente impraticável, o método aproxima a função Q ótima usando um contexto temporal truncado das $H$ rodadas mais recentes.

• Decomposição do Valor Q por Cliente: Para lidar com tamanhos de cluster variáveis e espaços de ação combinatórios, a função Q global é decomposta em contribuições individuais de clientes. O agente avalia cada cliente visível independentemente e seleciona os top-$K$ com os valores Q estimados mais altos.
• Otimização Multi-Etapas: O agente utiliza aprendizado de diferença temporal multi-etapas com um fator de desconto $\gamma$, otimizando a rede Q para prever retornos ao longo de um horizonte de $H$ etapas.

3. Arquitetura de Atenção Espacial-Temporal

A inovação central é uma nova Rede Q baseada em Atenção Espacial-Temporal projetada para processar entradas de comprimento variável e capturar dependências complexas.

• Redução de Dimensionalidade: Parâmetros de modelo de alta dimensão são mapeados para um espaço de características de baixa dimensão usando Projeção Aleatória (RP). Diferentemente da PCA, a RP não requer amostras pré-coletadas, tornando-a adequada para visibilidade dinâmica.
• Contexto Temporal: A rede ingere uma sequência de parâmetros globais históricos ($W_{glob}^{t-H} \dots W_{glob}^t$) para capturar a trajetória de treinamento.
• Atenção Espacial: Um módulo processa os tokens dos clientes atualmente visíveis para raciocinar sobre suas contribuições relativas dentro do cluster específico.
• Atenção Temporal: Um módulo processa tokens históricos de parâmetros globais usando codificação posicional e mascaramento causal para aprender dependências temporais.
• Atenção Cruzada: Tokens espaciais e temporais são integrados via atenção cruzada, permitindo que as representações dos clientes atendam a contextos globais históricos.
• Embedding Consciente de Identidade: Para abordar a esparsidade temporal causada pela participação intermitente de clientes, o modelo inclui vetores de identidade treináveis (embeddings) para cada cliente. Estes atuam como uma "memória" para capturar características persistentes específicas do cliente ao longo das rodadas, mesmo quando os clientes não são visíveis.
• Arquitetura Duelo: A rede Q separa a estimativa do valor do estado global e a vantagem relativa de selecionar clientes específicos para melhorar a estabilidade do aprendizado.

Contribuições Principais

1. Framework POMDP: A primeira formulação da seleção de clientes federados sob visibilidade parcial como um POMDP, abordando explicitamente a lacuna entre as suposições de visibilidade total e as restrições do mundo real.
2. Rede de Atenção Espacial-Temporal: Uma arquitetura inovadora que integra modelos globais históricos com observações atuais de clientes, permitindo que o agente raciocine sobre o estado global apesar das observações incompletas.
3. Memória Consciente de Identidade: Um mecanismo para rastrear características específicas de clientes através de participação descontínua, mitigando o impacto da esparsidade de observações.
4. Estratégia DQL Robusta: Uma abordagem de decomposição por cliente e otimização multi-etapas adaptada à natureza discreta e irreversível da seleção de clientes em FL.

Resultados Experimentais

O método proposto foi avaliado em três conjuntos de dados (CIFAR-10, Fashion-MNIST, UCI-HAR) sob dois cenários de visibilidade parcial (Servidor Móvel e Disponibilidade Aleatória) e dois níveis de heterogeneidade (distribuição Dirichlet e Viés de Rótulo).

• Desempenho: O método proposto alcançou precisão superior em comparação com as linhas de base (FedProx, HA-EdgeFlow, FedAWAC) em quase todos os cenários. Ele melhorou a precisão média em 3,6% a 7,9% sobre os métodos existentes.
• Estabilidade: O método demonstrou flutuações de desempenho reduzidas (desvio padrão menor) após a convergência, indicando estabilidade de treinamento aprimorada.
• Estudos de Ablação:
  • Comprimento do Contexto ($H$): O desempenho melhorou à medida que $H$ aumentou de 1 (MDP) para 5, validando a necessidade de contexto histórico. Aumentos adicionais ($H=8, 10$) produziram retornos decrescentes, sugerindo que o histórico recente é suficiente.
  • Embeddings de Identidade: A remoção do módulo Consciente de Identidade resultou em quedas significativas de precisão sob Viés de Rótulo severo e aumentou as flutuações sob distribuições Dirichlet, confirmando seu papel na memória do cliente e na estabilidade.

Significado e Alegações

O artigo afirma que sua abordagem fornece uma solução principial para o problema pouco explorado da seleção de clientes sob visibilidade parcial. Ao modelar o problema como um POMDP e aproveitar a atenção Espacial-Temporal, o método efetivamente preenche a lacuna de informação causada por observações incompletas. Os autores afirmam que seu framework é particularmente eficaz em cenários heterogêneos e parcialmente visíveis, oferecendo uma alternativa robusta às estratégias de seleção existentes baseadas em MDP ou heurísticas que falham quando o servidor não pode observar toda a população de clientes. O trabalho valida que a incorporação de contexto histórico e memória de identidade do cliente é crítica para manter o desempenho do modelo em ambientes de borda dinâmicos e do mundo real.