Hardware-Aware Federated Learning for Speech Emotion Recognition

Resumo Técnico: Aprendizado Federado Consciente de Hardware para Reconhecimento de Emoção na Fala

Declaração do Problema
O Aprendizado Federado (FL) oferece um paradigma de preservação de privacidade para treinamento distribuído, particularmente valioso para o reconhecimento de emoção na fala (SER), onde os dados brutos permanecem nos dispositivos de borda. No entanto, os algoritmos de FL existentes frequentemente assumem homogeneidade de hardware entre os clientes. Em implantações reais de borda, os dispositivos exibem heterogeneidade significativa em poder de processamento (CPU), memória (RAM) e latência de rede. Essa incompatibilidade leva a ineficiências, aumento da sobrecarga de comunicação e ao "efeito de arrastado" (straggler effect), onde dispositivos lentos atrasam toda a rodada de treinamento, aumentando assim os custos do sistema e a duração da rodada.

Metodologia
O artigo propõe um framework de Aprendizado Federado Consciente de Hardware (HW-FL) projetado para abordar a heterogeneidade dos clientes por meio de um loop de treinamento unificado. A metodologia integra três mecanismos principais:

1. Perfilamento de Hardware: Cada cliente estima suas capacidades computacionais, representadas como um perfil $H_i = (CPU_i, RAM_i, T_i, L_i)$, onde $T_i$ é a latência de treinamento do modelo e $L_i$ é a latência de comunicação de rede. Essas métricas são normalizadas para levar em conta diferenças de escala.
2. Seleção de Clientes Consciente de Hardware: O servidor calcula uma pontuação de hardware ($S_i$) para cada cliente usando uma combinação linear ponderada de CPU normalizada, RAM, latência de treinamento inversa e latência de rede negativa (Eq. 3). Com base nessas pontuações, o servidor seleciona um subconjunto top-K de clientes para cada rodada, priorizando aqueles com maior capacidade computacional e menor latência.
3. Treinamento Local Adaptativo: O número de épocas de treinamento local ($E_i$) é escalado dinamicamente para cada cliente selecionado com base em sua pontuação de hardware relativa à pontuação máxima ($S_{max}$). Isso permite que dispositivos mais potentes contribuam de forma mais eficaz (Eq. 5).
4. Agregação: O framework emprega uma estratégia de agregação ponderada onde as atualizações são ponderadas pelo produto do tamanho dos dados do cliente e da pontuação de hardware.

O sistema é avaliado no conjunto de dados IEMOCAP, particionado em cinco sessões para simular um ambiente não-IID (não independente e identicamente distribuído) com $N=5$ clientes. O classificador principal é uma CNN 1D leve, escolhida para isolar contribuições de nível de sistema da complexidade da arquitetura do modelo.

Principais Contribuições
Os autores identificam cinco contribuições primárias:

1. Um framework de otimização conjunta que unifica seleção de clientes, adaptação de carga de trabalho e consciência de latência.
2. Um mecanismo de perfilamento dinâmico que incorpora CPU, RAM, latência e tempo de treinamento no loop de FL para tomada de decisão online.
3. Uma estratégia de agendamento de clientes multi-objetivo visando minimizar o tempo de conclusão da rodada sob restrições de recursos.
4. Um mecanismo de escalonamento de carga de trabalho adaptativo que aloca proporcionalmente o esforço de treinamento com base na capacidade do dispositivo.
5. Validação empírica demonstrando eficiência aprimorada e acurácia competitiva em uma configuração não-IID baseada em sessões.

Resultados Experimentais
A abordagem HW-FL proposta foi comparada com FedAvg, FedProx e uma linha de base de seleção aleatória top-K ao longo de 50 rodadas federadas e 5 ensaios independentes.

• Acurácia: O HW-FL alcançou uma acurácia de validação de 0,352 ± 0,019, superando o FedAvg (0,325 ± 0,032) e o FedProx (0,325 ± 0,032). Embora a diferença na acurácia em relação ao FedAvg não tenha sido estatisticamente significativa no nível de 5% ($p=0,19$), o tamanho do efeito foi moderado ($d \approx 0,92$).
• Eficiência: O método reduziu o tempo total de treinamento em aproximadamente 36,5% (de 12,11s para 7,69s) em comparação com o FedAvg.
• Custo de Comunicação: Ao selecionar apenas clientes top-K (K=3) em vez de todos os clientes, os custos cumulativos de comunicação foram reduzidos em 40% (de 23,81 MB para 14,29 MB).
• Estudo de Ablação: O estudo revelou que o uso apenas da seleção top-K resultou em menor acurácia (0,284), enquanto as épocas adaptativas isoladas alcançaram a maior acurácia (0,358), mas a um custo de comunicação mais alto. O framework completo HW-FL forneceu o melhor compromisso equilibrado entre acurácia, tempo e comunicação.

Significado e Alegações
O artigo afirma que sua principal contribuição reside em otimizar métricas de sistema (tempo e comunicação) em vez de maximizar exclusivamente a acurácia. Os resultados demonstram que o agendamento consciente de hardware pode melhorar significativamente a eficiência do FL em ambientes de borda heterogêneos sem sacrificar o desempenho em relação às linhas de base padrão.

Os autores mantêm um tom modesto em relação às suas alegações, reconhecendo que:

• A acurácia absoluta (~0,35) é modesta, embora exceda a linha de base aleatória (0,25) para uma tarefa não-IID de quatro classes.
• O estudo é limitado por uma pequena contagem de clientes ($N=5$) derivada da estrutura de sessões do IEMOCAP.
• Os perfis de hardware foram baseados em simulação em vez de medidos em dispositivos físicos reais.
• Garantias de convergência teórica para a heurística proposta são deixadas para trabalhos futuros.

Trabalhos futuros estão planejados para explorar modelos mais complexos (MFCC+∆, BiLSTM), escalabilidade para contagens maiores de clientes ($N \gg 5$) e validação em plataformas do mundo real (Windows, Android, iOS).