Federated Active Learning Under Extreme Non-IID and Global Class Imbalance

O artigo apresenta o FairFAL, um framework de aprendizado ativo federado adaptativo que supera os desafios de desequilíbrio global de classes e heterogeneidade não-IID ao selecionar dinamicamente modelos de consulta e empregar estratégias de amostragem balanceadas para melhorar o desempenho em cenários realistas.

O essencial

Imagine que você e seus amigos estão tentando montar um quebra-cabeça gigante, mas cada um de vocês tem apenas algumas peças e, pior ainda, ninguém pode mostrar as peças para os outros (por questões de privacidade). Além disso, a caixa do quebra-cabeça tem um problema: a maioria das peças são de um único tipo (digamos, o céu azul), e as peças raras e importantes (como o rosto de uma pessoa) estão espalhadas de forma muito desigual entre os amigos.

Esse é o cenário do Aprendizado Federativo Ativo (FAL) que o artigo discute. O objetivo é aprender o melhor possível com o mínimo de esforço (pedindo ajuda para identificar peças) sem violar a privacidade.

O problema é que, nas situações reais (como em hospitais ou celulares), os dados são muito desequilibrados e diferentes de pessoa para pessoa. Os métodos antigos falhavam porque pediam ajuda para identificar as peças mais comuns (o céu), ignorando as raras (o rosto), o que deixava o quebra-cabeça incompleto e com viés.

Aqui está a solução proposta pelos autores, chamada FairFAL, explicada de forma simples:

1. O Grande Descoberta: Quem deve pedir a ajuda?

Os pesquisadores descobriram uma regra de ouro: o modelo que consegue pedir ajuda de forma mais equilibrada (pegando peças raras e comuns) é sempre o melhor.

Mas qual "olho" deve pedir a ajuda?

• O Olho Global (O Chefe): Vê a imagem de todos os amigos juntos. É bom quando o problema é que ninguém tem peças raras, mas todos têm peças comuns.
• O Olho Local (O Vizinho): Vê apenas as peças que você tem. É melhor quando cada um tem um conjunto de peças muito diferente dos outros.

O FairFAL é inteligente: ele olha para a situação de cada amigo e decide automaticamente: "Hoje, você deve pedir ajuda ao Chefe" ou "Hoje, você deve confiar no seu próprio julgamento". Isso evita que o grupo fique pedindo sempre as mesmas peças óbvias.

2. O Mapa de Tesouros (Protótipos)

Às vezes, mesmo sabendo quem pedir ajuda, o amigo pode ficar confuso e pedir sempre as mesmas peças comuns porque elas são mais fáceis de ver.

Para resolver isso, o FairFAL cria um "Mapa de Tesouros".

• Em vez de olhar para as peças individualmente, o sistema cria um "resumo" (um protótipo) para cada tipo de peça rara que existe no mundo.
• Quando um amigo precisa escolher uma peça para pedir ajuda, ele compara suas peças com esse mapa. Se uma peça se parece com o "resumo do rosto" (a peça rara), ela ganha prioridade, mesmo que seja difícil de identificar.
• Isso garante que o grupo não ignore as peças raras e importantes.

3. A Caça ao Tesouro Inteligente (Amostragem Balanceada)

Imagine que você tem um orçamento limitado para comprar peças. Se você comprar 10 peças de céu azul, você desperdiça dinheiro. O FairFAL usa uma estratégia de duas etapas:

1. Fase de Curiosidade: Ele olha para as peças que ninguém sabe identificar bem (as mais "incertas").
2. Fase de Diversidade: Dentro desse grupo de peças difíceis, ele garante que não está escolhendo 10 peças que são quase idênticas. Ele escolhe peças que são diferentes umas das outras, cobrindo o máximo de áreas do quebra-cabeça possível.

O Resultado?

Ao testar essa ideia em vários cenários (como imagens de roupas, carros e até exames médicos), o FairFAL mostrou que:

• Aprende muito mais rápido.
• Não ignora as classes raras (como doenças raras em exames médicos).
• Funciona bem mesmo quando os dados dos participantes são muito diferentes entre si.

Em resumo: O FairFAL é como um gerente de equipe super esperto que sabe exatamente quando pedir ajuda ao grupo todo e quando confiar no especialista local, além de garantir que o time nunca esqueça de procurar as peças mais raras e valiosas do quebra-cabeça, economizando tempo e dinheiro.

Resumo técnico

1. Problema e Motivação

O Aprendizado Ativo Federado (FAL) combina a privacidade do Aprendizado Federado (FL) com a eficiência de rótulos do Aprendizado Ativo (AL), permitindo que clientes descentralizados colaborem na identificação de amostras valiosas para anotação sem compartilhar dados brutos.

No entanto, o FAL enfrenta desafios críticos em cenários do mundo real que não são adequadamente abordados pelas metodologias atuais:

• Desequilíbrio de Classes Global (Longa Cauda): A distribuição agregada de dados entre todos os clientes é altamente desbalanceada, onde classes minoritárias (críticas, mas raras) aparecem esparsamente.
• Heterogeneidade Extrema (Não-IID): Os dados locais de cada cliente possuem distribuições estatísticas muito diferentes uns dos outros.

O Desafio Central: Estratégias existentes tendem a assumir que a distribuição global é balanceada ou recuperável. Sob condições extremas de desequilíbrio e heterogeneidade, essas estratégias falham em priorizar classes minoritárias, levando a um viés sistemático para classes majoritárias ("head") e a um uso ineficiente do orçamento de anotação.

2. Observações Fundamentais (Insights)

Os autores realizaram uma análise sistemática comparando o uso de modelos globais (agregados) versus modelos locais (treinados individualmente) como selecionadores de consultas. Eles descobriram três princípios chave:

1. Equilíbrio de Classes é Crucial: O modelo que consegue realizar uma amostragem mais equilibrada de classes (especialmente capturando classes minoritárias) consistentemente leva a um desempenho final superior.
2. Dependência do Cenário:
   • Quando o desequilíbrio global é severo, mas os dados dos clientes são relativamente homogêneos, o modelo global é mais eficaz (usa conhecimento compartilhado para corrigir o viés local).
   • Em todos os outros regimes (especialmente quando a heterogeneidade local é alta), o modelo local é preferível.
3. Diversidade vs. Incerteza: Para estratégias baseadas em incerteza, o modelo local geralmente vence (exceto no cenário de desequilíbrio global severo/homogeneidade local). Para estratégias baseadas em diversidade (cobertura do espaço de características), o modelo global é consistentemente superior devido a representações de características mais discriminativas e alinhadas globalmente.

3. Metodologia: FairFAL

Com base nessas observações, os autores propõem o FairFAL, um framework adaptativo e justo para FAL. Ele consiste em três componentes principais:

A. Seleção Adaptativa de Modelo

O sistema decide dinamicamente, para cada cliente, se deve usar o modelo global ou o local como selecionador de consultas.

• Mecanismo: Calcula duas métricas leves sem vazamento de privacidade:
  1. Severidade do Desequilíbrio Global ($\bar{\gamma}$): Estimada via discrepância de previsões em um subconjunto balanceado de dados rotulados localmente.
  2. Divergência Local-Global ($d_k$): Mede quão diferente a distribuição preditiva local é da global.
• Decisão: Uma pontuação contínua $s_k$ combina essas métricas. Se o desequilíbrio global é alto e a divergência local é baixa, o modelo global é escolhido; caso contrário, o modelo local.

B. Rótulos Pseudo-Guiados por Protótipos (Prototype-Guided Pseudo-Labeling)

Para garantir que a amostragem seja equilibrada por classe, mesmo com distribuições desbalanceadas:

• Uso de Protótipos Globais: Em vez de confiar nas logits do classificador (que podem ser enviesadas), o método usa o modelo global para extrair características e calcular protótipos (médias de características normalizadas) para cada classe.
• Atribuição: Amostras não rotuladas recebem "pseudo-rótulos" baseados na similaridade (cosseno) com esses protótipos globais. Isso força a seleção a considerar todas as classes de forma mais equitativa.

C. Amostragem Balanceada Incerteza-Diversidade (Two-Stage Sampling)

Para evitar redundância e garantir cobertura:

1. Estágio 1 (Candidatos por Classe): Seleciona as amostras mais incertas dentro de cada classe (baseado no pseudo-rótulo).
2. Estágio 2 (Refinamento de Diversidade): Aplica o algoritmo k-center em um espaço de incorporação de gradiente (usando características globais). Isso seleciona um subconjunto final que maximiza a diversidade dentro de cada classe, garantindo que as consultas sejam informativas e representativas.

4. Resultados Experimentais

O FairFAL foi avaliado em cinco benchmarks (FMNIST, CIFAR-10, CIFAR-100, OctMNIST e DermaMNIST) sob configurações extremas de desequilíbrio ($\rho=20$) e heterogeneidade ($\alpha=0.1$ e $\alpha=100$).

• Desempenho Superior: O FairFAL superou consistentemente o estado da arte (SOTA), incluindo métodos como KAFAL, LoGo, IFAL e estratégias híbridas tradicionais (BADGE, GCNAL).
• Robustez em Cenários Difíceis: A vantagem do FairFAL torna-se mais pronunciada à medida que a dificuldade da tarefa aumenta (ex: de FMNIST para CIFAR-100) e em cenários de dados médicos naturalmente desbalanceados (OctMNIST, DermaMNIST).
• Análise de Ablação:
  • A seleção adaptativa de modelo é crucial para estabilizar o comportamento de consulta.
  • Protótipos baseados em características globais superam os baseados em locais.
  • A estratégia de duas etapas (incerteza + diversidade) é superior à seleção direta.
• Generalização: O método demonstrou robustez ao variar o número de clientes, frameworks de FL (FedProx, SCAFFOLD), arquiteturas de rede (MobileNet, ResNet) e medidas de incerteza.

5. Contribuições e Significância

• Insight Teórico: A paper estabelece uma relação clara entre a escolha do modelo de consulta (global vs. local) e as características estatísticas do ambiente federado (desequilíbrio global vs. heterogeneidade local), desafiando a suposição de que um único modelo é sempre ideal.
• Solução Prática: O FairFAL oferece um framework completo que não requer compartilhamento de dados brutos, mas consegue mitigar ativamente o viés de classes minoritárias, um problema crítico em aplicações reais como diagnóstico médico e inspeção industrial.
• Impacto: Demonstra que a "justiça" na amostragem (class-fairness) é um fator determinante para a eficiência do aprendizado federado ativo, permitindo que orçamentos de anotação limitados sejam usados de forma mais eficaz para melhorar a acurácia global, especialmente em classes raras.

Em resumo, o trabalho propõe uma mudança de paradigma no FAL, passando de estratégias de seleção de consultas estáticas para uma abordagem adaptativa que equilibra dinamicamente a exploração de conhecimento global e local para garantir a cobertura justa de todas as classes.