Resumo Técnico: Análise de Desequilíbrio de Múltiplos Níveis para Resolver a Não-IID-idade em Aprendizado Federado

1. Definição do Problema

O Aprendizado Federado (FL - Federated Learning) permite o treinamento colaborativo de modelos em clientes distribuídos enquanto preserva a privacidade dos dados. No entanto, uma barreira crítica para sua eficácia é a natureza não identicamente distribuída (não-IID) dos dados, frequentemente impulsionada por um severo desequilíbrio de classes. As soluções existentes para dados não-IID frequentemente negligenciam a natureza matizada do desequilíbrio de classes, particularmente em cenários de classificação multi-rótulo.

Os autores identificam que as abordagens convencionais para o desequilíbrio de classes são insuficientes porque elas:

1. Focam primariamente na classificação multi-classe, falhando em abordar a complexidade das tarefas multi-rótulo onde existem $2^n$ combinações de rótulos.
2. Ignoram o desequilíbrio inter-caso, onde a disparidade entre casos positivos e negativos dentro de uma única categoria faz com que os modelos sofram overfitting para a classe majoritária (tipicamente o caso negativo).
3. Baseiam-se no tamanho do conjunto de dados para agregação, atribuindo pesos maiores a clientes com conjuntos de dados maiores. No FL, conjuntos de dados grandes são frequentemente altamente enviesados, levando a um modelo global tendencioso que favorece as classes majoritárias vistas frequentemente por esses clientes específicos.

2. Metodologia: FedBB

Para abordar esses problemas, os autores propõem o FedBB (Aprendizado Federado com perda de Equilíbrio Positivo-Negativo e Reponderação de Equilíbrio de Cliente). A inovação central é uma análise de desequilíbrio de múltiplos níveis dividida em três escalas distintas:

1. Desequilíbrio Inter-caso: A discrepância entre o número de casos positivos e negativos dentro de uma única categoria.
2. Desequilíbrio Inter-classe: A diferença na distribuição de dados entre diferentes categorias dentro de um único cliente.
3. Desequilíbrio Inter-cliente: A heterogeneidade da inclinação (skewness) dos dados entre diferentes clientes.

O FedBB aborda esses níveis através de dois componentes primários:

A. Função de Perda de Equilíbrio Positivo-Negativo (PNB Loss)

Projetada para o treinamento local, a função de perda PNB mitiga tanto o desequilíbrio inter-caso quanto o inter-classe.

• Mecanismo: Diferente da Entropia Cruzada padrão ou da perda de Equilíbrio de Classe (CB), a PNB calcula explicitamente os pesos baseados no número efetivo de casos positivos e negativos para cada categoria.
• Adaptação Multi-rótulo: Ela reconhece que, em tarefas multi-rótulo, amostras com múltiplas condições coocorrentes raras (ex: múltiplas doenças em um raio-X de tórax) são estatisticamente mais raras. A PNB atribui pesos maiores a esses casos e categorias minoritários para evitar que o modelo seja dominado por amostras negativas ou de classes majoritárias.
• Formulação: A perda incorpora suavização via um parâmetro de temperatura ($\tau$) e um hiperparâmetro ($\beta$) para calcular números de amostras efetivos, evitando pesos extremos quando os dados são escassos. Um fator de escala ($\mu$) é usado para regular a magnitude geral da perda.

B. Reponderação de Equilíbrio de Cliente (CBR)

Projetada para a agregação de modelos, a CBR ajusta o peso da contribuição de cada cliente para o modelo global.

• Mecanismo: Em vez de ponderar os clientes apenas pelo tamanho do conjunto de dados (como no FedAvg), a CBR avalia a inclinação (skewness) da distribuição de dados local de um cliente.
• Cálculo: Ela calcula o desvio padrão das contagens de classes por cliente para determinar o equilíbrio dos dados. Clientes com conjuntos de dados menos inclinados (mais equilibrados) recebem pesos maiores, pois seus modelos locais são considerados como tendo melhores capacidades de generalização.
• Ponderação Híbrida: O peso de agregação final ($W_k$) é uma combinação linear do peso baseado no equilíbrio ($\omega^a_k$) e do peso baseado no tamanho ($\omega^b_k$), controlado por um hiperparâmetro $\gamma$. Isso garante que clientes com conjuntos de dados grandes, mas altamente inclinados, não dominem o modelo global, enquanto clientes com conjuntos de dados pequenos, mas equilibrados, não sejam ignorados.

3. Principais Contribuições

O artigo reivindica as seguintes contribuições:

• Análise de Desequilíbrio de Múltiplos Níveis: Um framework inovador que decompõe o desequilíbrio de classes no FL em níveis inter-caso, inter-classe e inter-cliente, argumentando que abordar todos os três é necessário para um desempenho robusto.
• Perda PNB: Uma função de perda que aborda simultaneamente os desequilíbrios inter-caso e inter-classe, aplicável tanto a classificações multi-rótulo quanto multi-classe, atribuindo pesos maiores a casos e classes minoritárias.
• Agregação CBR: Uma estratégia de agregação de modelo que prioriza clientes com distribuições de dados menos inclinadas, aumentando a generalizabilidade do modelo global sem exigir acesso aos dados brutos locais (preservando a privacidade).
• Eficiência e Privacidade: O método alcança desempenho de estado da arte (SOTA) com overhead computacional mínimo e depende apenas de informações estatísticas limitadas (contagem de classes), evitando o vazamento das distribuições de dados brutos.

4. Resultados Experimentais

Os autores avaliaram o FedBB em conjuntos de dados de raio-X médico (NIH CXR14, CheXpert) e conjuntos de dados de imagens naturais (CIFAR-10/100, Tiny-ImageNet e variantes criadas artificialmente de Cauda Longa/Long-Tailed).

• Desempenho: O FedBB superou consistentemente algoritmos existentes (FedAvg, FedProx, MOON, FedNova, FedAlign, FedLC) em todos os conjuntos de dados e configurações de desequilíbrio (controladas pelo parâmetro $\delta$).
  • No NIH CXR14, o FedBB alcançou um AUC de 72.47 (em $\delta=0.1$), superando o FedAvg (67.77) e o FedProx (68.51).
  • No LT-CIFAR-100, o FedBB alcançou 45.13% de acurácia, superando o FedLC (41.08%) e o FedAlign (41.37%).
• Eficiência: Apesar da complexidade adicional de calcular os fatores de desequilíbrio, o FedBB mantém uma eficiência computacional comparável ao FedAvg.
  • Parâmetros: 0.61 milhão (o mesmo que o FedAvg).
  • MFLOPs: 87.3 milhões (significativamente menor que os 262.2 milhões do MOON).
• Estudos de Ablação: Experimentos confirmaram que tanto a perda PNB quanto a CBR contribuem independentemente para as melhorias de desempenho. O método também demonstrou a capacidade de harmonizar com outros algoritmos de FL (ex: combinando FedBB com FedProx ou MOON) para aumentar ainda mais a acurácia.

5. Significância e Alegações

O artigo posiciona o FedBB como um baseline para Aprendizado Federado genérico e personalizado. Sua significância reside em:

• Abordar a Causa Raiz: Ao tratar o desequilíbrio de classes como um problema de múltiplos níveis em vez de uma métrica única, ele resolve a não-IID-idade específica que degrada o desempenho do FL.
• Preservação de Privacidade: A dependência de estatísticas agregadas (contagens de classes) em vez de distribuições de dados brutos o torna adequado para domínios sensíveis à privacidade, como a saúde.
• Versatilidade: A abordagem é eficaz tanto para tarefas multi-rótulo (imagens médicas) quanto multi-classe (imagens naturais), uma versatilidade não comumente encontrada em métodos de FL anteriores focados em desequilíbrio.

Os autores concluem que, embora o FedBB exija um servidor centralizado e seja baseado em parâmetros (tornando-o teoricamente vulnerável a certos ataques), ele representa um passo significativo para a criação de modelos globais que classificam todas as classes com precisão, mesmo em ambientes federados altamente desequilibrados. Sugere-se que trabalhos futuros explorem métodos sem servidor e não baseados em parâmetros para mitigar ainda mais os riscos de segurança.