Resumo Técnico: ONDE Gerar Importa: Aumento Sintético Consciente de Orçamento para Aprendizado Federado com Desvio de Rótulos

Declaração do Problema

O desvio de rótulos (label skew), onde os clientes em um cenário de Aprendizado Federado (FL) detêm distribuições de classes localmente desbalanceadas, é um desafio fundamental que causa o desvio do cliente (client drift) e degrada a precisidade do modelo global. Embora os métodos existentes de aumento de dados sintéticos tentem corrigir isso gerando amostras ausentes, a política dominante — Balanceamento Total de Classes (Full Class Balancing) — exige que cada cliente gere amostras até que todas as classes alcancem o tamanho da maior classe do cliente.

Esta abordagem é computacionalmente proibitiva. Como demonstrado no artigo, alcançar o balanceamento total em uma partição padrão do CIFAR-10 com 20 clientes e alto desvio ($\alpha=0.1$) requer a geração de mais de 226.000 amostras sintéticas. Além disso, os métodos existentes com restrição de orçamento frequentemente alocam recursos de geração de forma uniforme ou baseada no tamanho dos dados do cliente, ignorando o desvio específico da distribuição de rótulos. Os autores postulam que a questão crítica não é apenas quanto dado gerar, mas ONDE as amostras devem ir para maximizar a precisão dentro de um orçamento fixo.

Metodologia: FedEAS

O artigo propõe o FedEAS (Federated Entropy-Adaptive Synthesis), uma política que atribui dinamicamente um orçamento de geração por classe a cada cliente com base em sua distribuição de rótulos local. Ao contrário dos métodos anteriores que fixam o orçamento total antecipadamente, o FedEAS deriva o orçamento total de geração a partir da soma dos orçamentos individuais dos clientes.

Mecanismo Central

O FedEAS opera sobre três observações principais derivadas da análise do desvio do cliente e da redução do desbalanceamento:

1. O desbalanceamento está concentrado: Um pequeno subconjunto de clientes altamente desviados contribui desproporcionalmente para o desbalanceamento global.
2. A geração direcionada é eficiente: O desbalanceamento diminui apenas quando amostras são adicionadas a classes escassas ou ausentes; adicionar amostras a classes já abundantes gera retornos decrescentes ou negativos.
3. Retornos decrescentes: O custo para remover o desbalanceamento aumenta à medida que a distribuição se torna mais equilibrada; o balanceamento total é frequentemente desnecessário para ganhos significativos de precisão.

A Regra de Orçamento Adaptativa à Entropia

Para cada cliente $k$, o FedEAS calcula um orçamento de geração por classe $b_k$ usando a seguinte fórmula:

$$b_k = \lfloor \sqrt{\bar{n}_k} \cdot (1 - \tilde{H}_k) \cdot \beta \rfloor$$

Onde:

• $\bar{n}_k = N_k / C$ é a contagem média por classe para o cliente $k$.
• $\tilde{H}_k$ é a entropia de Shannon normalizada da distribuição de rótulos local do cliente (variando de 0 para altamente desviado a 1 para perfeitamente equilibrado).
• $\beta$ é um parâmetro de orçamento escalar compartilhado por todos os clientes.
• O termo $(1 - \tilde{H}_k)$ garante que clientes altamente desviados recebam orçamentos maiores, enquanto clientes quase equilibrados ou IID recebem quase nenhum (reduzindo-se ao FedAvg padrão no limite).
• O termo $\sqrt{\bar{n}_k}$ escala o orçamento de forma sublinear com o tamanho do cliente para evitar a alocação excessiva para clientes grandes.

Geração e Treinamento

Uma vez calculado $b_k$, o cliente gera amostras sintéticas apenas para as classes $c$ onde a contagem local $n_k^c < b_k$. O número de amostras geradas para a classe $c$ é $n_{k, \text{gen}}^c = \max\{0, b_k - n_k^c\}$. Esta estratégia de "preenchimento até o limite" (fill-to-threshold) garante que as amostras sejam direcionadas exclusivamente para classes ausentes ou escassas. A geração é realizada uma única vez por cliente usando um Modelo Probabilístico de Difusão (DDPM) condicional de classe pré-treinado, e as amostras geradas são armazenadas em cache para uso em todas as rodadas de treinamento subsequentes.

Principais Contribuições

1. Alocação de Orçamento Adaptativa à Entropia: O FedEAS introduz uma política que determina tanto a quantidade de dados sintéticos quanto sua distribuição ("ONDE") com base no desvio de rótulos local. Ele aloca orçamentos maiores para clientes desviados e visa apenas classes escassas.
2. Precisão Eficiente de Geração: O método recupera a maior parte dos ganhos de precisão associados ao Balanceamento Total de Classes, reduzindo o orçamento de geração total em 94,1% (ex: 13.437 amostras vs. 226.783 amostras no CIFAR-10). Isso se traduz em uma redução de 3,7× no tempo de execução de ponta a ponta em uma única GPU.
3. Dominância de Alocação: Sob um protocolo de orçamento correspondente (onde todos os métodos usam o mesmo número total de amostras geradas), o FedEAS supera a alocação Uniforme em até 18,82% no CIFAR-10 e CIFAR-100. Ele também converge até 2× mais rápido do que políticas de geração de "apenas ausentes" (Missing-only).

Resultados Experimentais

Os autores avaliaram o FedEAS no CIFAR-10 e CIFAR-100 sob desvio de rótulo de Dirichlet ($\alpha \in \{0.05, 0.1, 0.3\}$) com números variados de clientes ($K=20, 100$).

• Precisão vs. Orçamento: No CIFAR-10 ($\alpha=0.1, K=20$), o FedEAS alcançou 71,65% de precisão, recuperando dois terços do ganho proporcionado pelo Full-Balance (79,91%) usando apenas 5,9% das amostras sintéticas.
• Comparação com Baselines: O FedEAS superou consistentemente os baselines de FL padrão (FedAvg, FedProx, SCAFFOLD, MOON) e os baselines de aumento (Uniform, Missing-only).
• Sensibilidade ao Orçamento: Demonstrou-se que a precisão aumenta monotonicamente com o parâmetro de orçamento $\beta$. Os autores selecionaram $\beta=12$ como o padrão, que satisfazia duas condições: remover pelo menos 50% do desvio inicial e manter as amostras sintéticas abaixo de 25% dos dados totais de treinamento.
• Estudos de Ablação: Remover o fator de entropia ou substituir o escalonamento de tamanho sublinear por uma regra linear resultou em menor precisão e maiores custos de geração, confirmando a necessidade de ambos os componentes na fórmula do orçamento.

Significância e Alegações

O artigo argumenta que a alocação é o principal problema de design para o aumento sintético em FL com desvio de rótulos. Os autores alegam que o orçamento total de geração não deve ser uma restrição fixa e predeterminada, mas sim uma consequência das necessidades por cliente derivadas de suas distribuições locais.

Ao mudar o foco de "balanceamento total" para "orçamento adaptativo à entropia", o FedEAS demonstra que melhorias significativas de precisão podem ser alcançadas com o mínimo de geração de dados sintéticos. O método é agnóstico ao gerador (compatível com qualquer gerador condicional de classe) e não requer mudanças no protocolo de comunicação padrão de FL ou nos pesos de agregação, tornando-o uma solução prática e eficiente para mitigar o desvio do cliente em ambientes heterogêneos.