FedHENet: A Frugal Federated Learning Framework for Heterogeneous Environments

1. O Problema

O Federated Learning (FL) é essencial para treinar modelos colaborativos sem centralizar dados sensíveis, preservando a privacidade. No entanto, as abordagens tradicionais (como FedAvg e FedProx) enfrentam três limitações críticas, especialmente em ambientes heterogêneos (dados não-IID):

• Custo Computacional e Energético: Requerem centenas de rodadas de otimização iterativa de redes neurais profundas, gerando alto consumo de energia e tempo.
• Instabilidade e "Client Drift": Em cenários com dados altamente heterogêneos, os modelos locais tendem a divergir, levando a uma baixa precisão global.
• Vulnerabilidade de Privacidade: A partição de gradientes iterativos ainda expõe informações sobre os dados locais a ataques.
• Dependência de Hiperparâmetros: A necessidade de ajuste fino (grid search) de hiperparâmetros (taxa de aprendizado, etc.) aumenta a pegada de carbono do ciclo de desenvolvimento.

2. Metodologia: FedHENet

O FedHENet propõe uma arquitetura de "FL Frugal" (econômico) para visão computacional, baseada em uma única rodada de comunicação. A metodologia descreve os seguintes passos:

• Arquitetura Híbrida:
  • Extrator de Características Congelado: Todos os clientes utilizam o mesmo extrator de características pré-treinado (frozen backbone, ex: ResNet-18 no ImageNet). Isso elimina o custo de fine-tuning local.
  • Camada de Saída Analítica (ROLANN): Em vez de uma rede neural profunda treinada iterativamente, cada cliente treina apenas uma camada de saída leve (Regularized One-Layer Neural Network).
• Cálculo Analítico (Sem Gradientes):
  • Os pesos da camada de saída são calculados em forma fechada (closed-form), resolvendo um sistema de equações lineares para minimizar o erro quadrático médio (MSE), em vez de usar descida de gradiente iterativa.
  • Isso permite que a solução ótima seja encontrada matematicamente sem iterações locais.
• Privacidade via Criptografia Homomórfica (HE):
  • O único componente que contém dependências estatísticas sensíveis dos dados de treinamento é a matriz de correlação ponderada ($M_k$).
  • Os clientes criptografam $M_k$ usando o esquema CKKS (que suporta operações aritméticas em números reais aproximados).
  • As matrizes $U_k$ e $S_k$ (resultantes da SVD) são enviadas em texto claro, enquanto $M_k$ é enviado criptografado.
• Agregação Global em Uma Rodada:
  • O coordenador agrega as estatísticas homomorficamente e calcula os pesos globais ótimos ($W$) em um único passo analítico.
  • Os pesos globais são enviados de volta aos clientes. Não há necessidade de múltiplas rodadas de comunicação.
• Comunicação: Utiliza o protocolo MQTT para comunicação assíncrona, tolerante a falhas e leve.

3. Principais Contribuições

1. Adaptação Frugal para Imagens: Extensão do framework FedHEONN (originalmente para dados tabulares) para domínios de alta dimensão (imagens), combinando extratores congelados com uma camada analítica criptografada.
2. Estabilidade Superior em Dados Não-IID: O método é imune ao client drift, mantendo alta precisão mesmo em cenários extremos onde os métodos iterativos falham (ex: cenário de "classe única" por cliente).
3. Eficiência Energética e Sustentabilidade:
   • Elimina a necessidade de ajuste de hiperparâmetros (o método é hyperparameter-free), removendo o custo energético da fase de busca de parâmetros.
   • Reduz drasticamente o consumo de energia e a emissão de carbono em comparação com métodos iterativos.
4. Implementação Escalável: Integração com MQTT e disponibilização de uma biblioteca de código aberto para facilitar a implantação.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados CIFAR-10 e CIFAR-100, comparando FedHENet com FedAvg e FedProx.

• Precisão e Robustez:
  • Em cenários não-IID extremos (ex: $\alpha=0.1$ ou cenário de classe única), os métodos iterativos sofreram quedas drásticas de precisão (ex: caindo para ~33-40% no CIFAR-10).
  • O FedHENet manteve uma precisão estável de ~83-84% no CIFAR-10 e ~56% no CIFAR-100, independentemente da heterogeneidade dos dados.
• Eficiência Energética:
  • Redução de até 70% no consumo de energia em comparação com as linhas de base iterativas.
  • No CIFAR-100, enquanto as bases consumiam ~240 Wh (devido a 50 rodadas), o FedHENet consumiu apenas ~118,9 Wh (uma rodada).
• Comunicação e Tempo:
  • Embora o payload criptografado seja maior (aumento de ~2,25x no tamanho dos bytes devido ao HE), o volume total de dados transmitidos é significativamente menor devido à ausência de múltiplas rodadas.
  • O tempo de treinamento foi reduzido drasticamente (ex: de ~80 minutos para ~40 minutos no CIFAR-100).
• Custo da Criptografia: O overhead computacional da criptografia homomórfica foi negligenciável (< 5% de tempo adicional), confirmando que a privacidade não compromete a natureza "frugal" do sistema.

5. Significado e Conclusão

O FedHENet representa um avanço significativo para a IA de Borda (Edge AI) sustentável. Ao substituir a otimização iterativa cara por uma agregação analítica única e criptografada, o framework resolve o dilema entre privacidade, eficiência energética e robustez em dados heterogêneos.

Sua principal inovação é demonstrar que é possível alcançar precisão competitiva (e superior em cenários difíceis) sem o custo ambiental e computacional de milhares de iterações e sem a necessidade de ajuste manual de hiperparâmetros. Isso oferece um caminho viável para a implantação de modelos de aprendizado federado em dispositivos com recursos limitados e em cenários onde a privacidade e a sustentabilidade são prioritárias.