⚡ electrical engineering

Online-Score-Aided Federated Learning for Resource-Constrained Wireless Clients with Continual Data Arrival

Este artigo propõe o Online-Score-Aided Federated Learning (OSAFL), um novo algoritmo projetado para enfrentar os desafios de clientes sem fio com recursos limitados, possuindo armazenamento restrito e chegada contínua de dados, ao analisar teoricamente os limites de convergência sob várias restrições e otimizar os pesos de agregação global para minimizar erros.

Autores originais: Ferdous Pervej, Minseok Choi, Andreas F. Molisch

Publicado 2026-07-21

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ferdous Pervej, Minseok Choi, Andreas F. Molisch

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde o seu smartphone, o seu smartwatch e o seu carro estão todos tentando aprender uma nova habilidade juntos, como reconhecer diferentes tipos de nuvens ou prever congestionamentos de trânsito. Eles não querem enviar todas as suas fotos privadas ou histórico de localização para um computador central gigante porque isso parece entregar o seu diário a um estranho. Em vez disso, eles usam um truque inteligente chamado Aprendizado Federado (Federated Learning). Pense nisso como um trabalho em grupo onde cada um estuda suas próprias notas em casa, escreve suas melhores ideias e envia apenas essas ideias para um professor, que as combina em um guia mestre. As notas originais permanecem seguras em casa.

Mas aqui está o problema: no mundo real, esses dispositivos não são perfeitos. Eles têm baterias minúsculas, espaço de armazenamento limitado e estão conectados por sinais sem fio que podem ser instáveis e lentos. Além disso, o mundo não fica parado. Novos dados estão constantemente chegando — como uma nova nuvem se formando ou um novo padrão de tráfego surgindo — enquanto dados antigos são excluídos para abrir espaço. A maioria dos métodos de aprendizado computacional assume que os dados são uma pilha estática de pedras que nunca muda, o que é ótimo para um museu, mas terrível para uma rede sem fio viva e pulsante. Este artigo aborda a realidade bagunçada de ensinar máquinas quando os dados estão constantemente mudando e os dispositivos estão operando no limite de sua energia.

Os pesquisadores por trás deste estudo, Ferdous Pervej, Minseok Choi e Andreas F. Molisch, perceberam que a maneira padrão de realizar esse trabalho em grupo estava falhando nessas condições complicadas. Eles notaram que, se você simplesmente pedir que cada dispositivo envie suas ideias ao mesmo tempo, alguns dispositivos podem estar ocupados demais ou com bateria muito baixa para participar, enquanto outros podem estar enviando ideias baseadas em dados que já estão desatualizados. Para resolver isso, eles inventaram um novo método chamado Aprendizado Federado Auxiliado por Pontuação Online (OSAFL - Online-Score-Aided Federated Learning).

Imagine que o professor central (o servidor) está administrando uma sala de aula caótica onde os alunos (os dispositivos) estão constantemente trocando seus livros didáticos por novos. No sistema antigo, o professor apenas faria a média das respostas de todos, independentemente de o aluno estar realmente prestando atenção ou se seu livro era do ano passado. O OSAFL muda o jogo ao dar ao professor uma "folha de pontuação" especial. Antes de o professor combinar as respostas, ele calcula uma pontuação para cada aluno com base em quanto ele realmente treinou, o quão confiável é sua conexão e o quão semelhantes são suas novas ideias à direção atual do grupo. Se os dados de um aluno forem muito antigos ou sua conexão for muito instável, ele recebe uma pontuação menor, o que significa que sua resposta conta menos na mistura final. Isso garante que o "guia mestre" aprenda com as fontes mais relevantes e confiáveis naquele exato momento.

O artigo não apenas supõe que isso funciona; os autores construíram um modelo matemático complexo para provar que esse sistema de pontuação ajuda o grupo a aprender de forma mais rápida e precisa, mesmo quando os dados são bagunçados e os dispositivos estão lutando para operar. Eles então testaram essa ideia em uma simulação computacional massiva. Eles configuraram um mundo virtual com 25 dispositivos diferentes, usando três conjuntos de dados populares de reconhecimento de imagem (CIFAR10, Fashion-MNIST e MNIST) e três tipos diferentes de modelos de IA (um pequeno chamado SqueezeNet, um médio chamado CNN e um grande chamado ResNet-18).

Nessas simulações, o novo método OSAFL superou consistentemente as versões "modificadas" dos algoritmos de aprendizado padrão. Por exemplo, ao usar o modelo pequeno SqueezeNet no conjunto de dados CIFAR10, o OSAFL alcançou uma precisão de teste de cerca de 41,7%, enquanto o próximo melhor método atingiu apenas cerca de 37,2%. No conjunto de dados Fashion-MNIST, a diferença foi ainda maior, com o OSAFL atingindo 81,5% de precisão em comparação com aproximadamente 78,8% dos outros. As simulações mostraram que, ao equilibrar cuidadosamente o quanto cada dispositivo treina, o quanto de dados eles comprimem para economizar espaço e o quanto são confiáveis com base em sua pontuação atual, o grupo aprende significativamente melhor do que se seguisse as regras antigas.

Os pesquisadores também descobriram algumas peculiaridades interessantes sobre como esses dispositivos se comportam sob pressão. Eles descobriram que, se os dispositivos tiverem que comprimir seus dados demais para economizar largura de banda (usando menos "níveis de quantização"), eles podem, na verdade, treinar mais localmente porque têm mais tempo e energia restantes. No entanto, se o modelo de IA for muito grande e pesado, como o ResNet-18, aumentar a compressão pode prejudicar o desempenho porque os dispositivos ficam sem tempo para treinar de forma alguma. O artigo sugere que não existe uma configuração "tamanho único"; a melhor abordagem depende fortemente de quão poderoso é o dispositivo e de quanto tempo ele tem.

Em última análise, este artigo propõe uma maneira mais inteligente e flexível para as máquinas aprenderem juntas em um mundo onde nada permanece o mesmo. Ele argumenta que não podemos tratar os dispositivos apenas como computadores estáticos; temos que tratá-los como parceiros ocupados e famintos por recursos que precisam de uma estratégia dinâmica para manter a sincronia. Embora esses resultados sejam atualmente baseados em simulações e ainda não tenham sido testados em hardware real em uma rede ao vivo, a matemática e os modelos computacionais sugerem fortemente que esta abordagem "auxiliada por pontuação" é uma ferramenta poderosa para o futuro da inteligência artificial eficiente e amigável à privacidade.

Resumo Técnico: Aprendizado Federado Auxiliado por Pontuação Online para Clientes Sem Fio com Restrições de Recursos e Chegada Contínua de Dados

Declaração do Problema

O Aprendizado Federado (FL) em redes sem fio enfrenta desafios significativos quando implantado em clientes com recursos limitados (ex: dispositivos IoT) onde os dados não são estáticos. Algoritmos tradicionais de FL tipicamente assumem que os clientes possuem conjuntos de dados estáticos antes do treinamento. No entanto, em aplicações sem fio práticas, como sensoriamento integrado e comunicação (ISAC), predição de informação de estado de canal (CSI) e sensores vestíveis, as amostras de treinamento chegam continuamente.

Esta chegada contínua de dados cria dois problemas críticos, frequentemente negligenciados:

Restrições de Armazenamento: Os clientes possuem capacidade de armazenamento limitada, compartilhada com o sistema operacional e arquivos do usuário. Para acomodar novas amostras que chegam, os clientes devem excluir amostras antigas, levando à perda permanente de dados e ao potencial "drift de conceito" (concept drift), onde o modelo local ideal para o conjunto de dados atual difere do anterior.
Distribuições Dinâmicas: Diferente do Aprendizado Federado Contínuo (CFL) tradicional, onde novas tarefas ou classes chegam, as aplicações sem fio frequentemente envolvem a mesma tarefa (ex: gerenciamento de feixe) mas com distribuições de dados variantes no tempo devido a mudanças nas condições ambientais e à remoção de amostras antigas.

Algoritmos de FL existentes (ex: FedAvg, FedProx) abordam primariamente a heterogeneidade do sistema e dados não-IID sob suposições estáticas. Eles frequentemente apresentam desempenho insatisfatório nesses cenários dinâmicos e com restrições de recursos porque não consideram a interação específica entre conjuntos de dados variantes no tempo, armazenamento local limitado e o resultante deslocamento na distribuição de dados.

Metodologia: Aprendizado Federado Auxiliado por Pontuação Online (OSAFL)

Os autores propõem o OSAFL, um novo algoritmo de FL projetado especificamente para clientes sem fio com chegada contínua de dados e restrições rigorosas de recursos. A metodologia integra três componentes principais:

1. Otimização Conjunta de Recursos

Antes de cada rodada de treinamento, os clientes resolvem um problema de otimização não convexo para determinar seus parâmetros de treinamento locais. Dado um prazo fixo ( $t_{th}$ ) e um orçamento de energia ( $e_{u,bd}$ ), os clientes otimizam conjuntamente:

O número de rodadas locais de gradiente descendente estocástico (SGD) ( $\kappa_u^t$ ).
A frequência de clock da CPU ( $\bar{f}_u^t$ ).
A potência de transmissão de uplink ( $p_u^t$ ).

Isso garante que os clientes maximizem seu esforço de treinamento local enquanto aderem às restrições de energia e tempo, gerenciando efetivamente o compromisso entre os custos de computação e de comunicação.

2. Transmissão de Gradiente Quantizado

Para reduzir o overhead de comunicação, os clientes não transmitem atualizações de modelo completas. Em vez disso, eles computam gradientes acumulados normalizados sobre suas rodadas locais e aplicam um quantizador estocástico. Este processo reduz significamente o tamanho da carga útil (payload), permitindo a transmissão dentro das larguras de banda e intervalos de tempo limitados do wireless.

3. Agregação Auxiliada por Pontuação Online

O servidor central (CS) emprega uma política de agregação inovadora que difere da média ponderada padrão. A atualização do modelo global é governada por:
$w^{t+1} = w^t - \eta_{gl} \eta_{ef}^t \sum_{u=0}^{U-1} \alpha_u \delta_u^t \cdot \mathbb{1}_u^t \cdot Q(d_u^t)$

Elementos chave desta política incluem:

Pontuação Online ( $\delta_u^t$ ): Um peso dinâmico atribuído a cada cliente, calculado com base na sua frequência de participação, rodadas de treinamento local e a similaridade de cosseno entre o seu gradiente quantizado e a direção do gradiente global. Esta pontuação se adapta aos deslocamentos de distribuição de dados e à confiabilidade do cliente.
Controlador de Passo Global ( $\eta_{ef}^t$ ): Um agendador que ajusta o passo efetivo com base nos pesos agregados e na similaridade dos gradientes globais entre rodadas consecutivas, visando minimizar o limite de convergência.
Indicador de Participação ( $\mathbb{1}_u^t$ ): Uma variável binária determinada pela etapa de otimização de recursos; se um cliente não puder cumprir o prazo ou as restrições de energia, ele é excluído daquela rodada.

Análise Teórica

O artigo fornece uma análise de convergência rigorosa do OSAFL. Os autores derivam um limite superior para a norma média do gradiente global esperado, demonstrando como a taxa de convergência é afetada por:

Deslocamentos de Distribuição de Dados ( $\Phi^t$ ): A mudança na função de perda global devido à chegada contínua de dados e exclusão de amostras.
Incerteza de Participação do Cliente: A probabilidade de os clientes estarem disponíveis ( $v_u^t$ ).
Ruído de Quantização: Erros introduzidos pelo quantizador estocástico.
Dissimilaridade de Gradiente: A divergência entre os gradientes locais e globais causada por dados não-IID.

A análise revela que, para o algoritmo convergir, o drift acumulado dos deslocamentos de distribuição de dados não deve crescer mais rápido que $\sqrt{UT}$ (onde $U$ é o número de clientes e $T$ é o número de rodadas). Os limites derivados orientam a seleção das pontuações online e dos controladores de passo para minimizar os termos de erro.

Principais Contribuições

Design de Algoritmo: A proposta do OSAFL, o primeiro algoritmo de FL explicitamente projetado para clientes sem fio com chegada contínua de dados e limites estritos de armazenamento, onde amostras antigas são excluídas para dar lugar a novas.
Estrutura Teórica: Uma análise de convergência que quantifica o impacto de distribuições de dados variáveis no tempo, participação incerta de clientes e quantização de gradiente no desempenho do FL, levando à derivação de pesos de agregação ótimos.
Otimização Sub-ótima: Um método prático para calcular pontuações de clientes e passos de forma sub-ótima usando similaridades de gradiente e histórico de participação, visto que a otimização exata requer informações futuras desconhecidas.
Validação Empírica: Simulações extensas em três conjuntos de dados (CIFAR10, FashionMNIST, MNIST) e três arquiteturas de modelos (SqueezeNet1, CNN, ResNet-18) com contagens de parâmetros variadas.

Resultados Experimentais

Os autores avaliaram o OSAFL contra versões modificadas de baselines de última geração (M-FedAvg, M-FedProx, M-FedNova, M-FedDisco) e um baseline de SGD centralizado auxiliado por um "Genie".

Desempenho: O OSAFL superou consistentemente todos os baselines modificados em termos de acurácia de teste e velocidade de convergência em todos os datasets e modelos. Por exemplo, no dataset CIFAR10 com SqueezeNet1, o OSAFL alcançou acurácias de teste de 4,5% a 4,5% superiores aos baselines na rodada 19.
Impacto da Quantização: O estudo mostrou que o efeito dos níveis de quantização ( $s$ ) é dependente do modelo. Para modelos rasos (SqueezeNet1), o desempenho foi relativamente insensível a $s$ . Para modelos moderados (CNN), um $s$ maior melhorou a acurácia. No entanto, para modelos volumosos (ResNet-18), aumentar $s$ aumentou o tamanho da carga útil, levando a mais "stragglers" (atrasados) e redução de desempenho sob prazos apertados.
Impacto da Heterogeneidade: À medida que o parâmetro de heterogeneidade de dados ( $\aleph$ ) aumentou (indicando distribuições de rótulos mais equilibradas), todos os algoritmos melhoraram, mas o OSAFL manteve uma liderança consistente.
Restrições de Recursos: Os resultados confirmaram que a otimização conjunta de recursos é crítica; sem ela, os clientes frequentemente falham em participar ou completar rodadas locais suficientes, degradando o desempenho global.

Significância e Alegações

O artigo afirma que o OSAFL aborda uma lacuna crítica na literatura de FL: a falta de algoritmos capazes de lidar com a chegada contínua de dados combinada com restrições estritas de armazenamento em redes sem fio.

Os autores enfatizam que seu trabalho é distinto do CFL tradicional, que foca em novas tarefas, ao focar no deslocamento da distribuição da mesma tarefa devido à necessidade de excluir dados antigos. Eles afirmam que sua análise teórica fornece insights necessários sobre como ponderar as contribuições dos clientes em ambientes dinâmicos, e que suas simulações validam que a minimização sub-ótima dos erros de convergência através de pontuação online leva a um desempenho prático superior em comparação com métodos existentes adaptados para este cenário. O trabalho ressalta que, no FL sem fio com recursos restritos, a política de agregação deve ser adaptativa ao drift de dados e à disponibilidade do cliente, em vez de depender de suposições estáticas.