🤖 machine learning

FAIRVAR: Fair Federated Learning via Variance Regularization

Este artigo apresenta o FairGrad e o FairGrad*, dois métodos regularizados pela variância do gradiente que minimizam efetivamente as disparidades de desempenho entre os clientes em configurações de aprendizado federado heterogêneo, mantendo simultaneamente uma acurácia competitiva do modelo global.

Autores originais: Zahra Kharaghani, Ali Dadras, Tommy Löfstedt

Publicado 2026-06-23

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zahra Kharaghani, Ali Dadras, Tommy Löfstedt

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um grupo de vizinhos tentando construir um único livro de receitas compartilhado. Cada vizinho traz sua própria coleção de ingredientes e notas culinárias (seus dados locais) para contribuir para o livro global. O objetivo é criar uma "Receita Mestra" que funcione bem para todos.

Esta é a ideia básica do Aprendizado Federado (FL). No entanto, há um problema: alguns vizinhos têm despensas enormes e diversas (muitos dados), enquanto outros têm coleções muito pequenas e específicas (poucos dados). Alguns vizinhos só cozinham comida apimentada, enquanto outros apenas assam doces.

Se o grupo apenas tirar a média das notas de todos cegamente, a Receita Mestra final pode ser ótima para os vizinhos com grandes despensas, mas terrível para os que têm coleções pequenas ou únicas. Os vizinhos "apimentados" podem acabar com uma receita que tem gosto de aveia insossa, e os "confeiteiros" podem receber uma receita que queima o forno deles. Isso é injustiça: o modelo global funciona bem para alguns, mas falha para outros.

A Solução do Artigo: "FairVar"

Os autores deste artigo, Zahra Kharaghani, Ali Dadras e Tommy Löfstedt, propõem uma nova maneira de misturar essas receitas chamada FairVar. O objetivo deles é a Equidade de Desempenho (Performance Equitable Fairness): garantir que a receita final funcione tão bem quanto possível para cada vizinho, não apenas na média.

Para fazer isso, eles introduzem o conceito de Regularização de Variância. Pense na "variância" como a medida de quanto os resultados dos vizinhos diferem entre si. O artigo sugere duas formas principais de consertar o livro de receitas:

1. A Abordagem da "Variância de Pontuação" (FairLoss)

Imagine que os vizinhos estão dando uma nota à Receita Mestra após experimentá-la.

O Problema: Se os vizinhos que gostam de apimentado dão uma nota 2/10 e os confeiteiros dão 9/10, a média é uma nota decente de 5,5/10. Mas os vizinhos que gostam de apimentado estão insatisfeitos.
A Solução: O método FairLoss adiciona uma "penalidade" ao objetivo do grupo. Se as pontuações estiverem muito dispersas (alta variância), o grupo é instruído: "Ei, vocês precisam ajustar a receita para que as pontuações baixas subam, mesmo que isso signifique que as pontuações altas caiam um pouco". Isso força a receita a encontrar um meio-termo que satisfaça a todos.

2. A Abordagem da "Variância de Direção" (FairGrad) — A Nova Estrela

Esta é a principal inovação do artigo. Em vez de olhar apenas para as pontuações finais, eles olham para a direção que os vizinhos estão tentando empurrar a receita.

A Metáfora: Imagine que os vizinhos estão todos puxando uma corda gigante para mover um carrinho pesado (o modelo).
- Os "confeiteiros" estão puxando com força para o Norte.
- Os "cozinheiros de comida apimentada" estão puxando com força para o Leste.
- A receita "média" apenas puxa para o Nordeste, o que pode não mover o carrinho muito longe para ninguém.
A Solução: O método FairGrad observa o quanto os vizinhos estão puxando em direções diferentes. Se os que puxam para o "Leste" estão sendo ignorados porque os que puxam para o "Norte" são mais fortes, o FairGrad adiciona uma "tensão" à corda. Ele diz: "Precisamos alinhar nossos puxões de forma mais próxima". Ao forçar os vizinhos a concordarem mais sobre como mudar a receita, o resultado final acaba sendo muito mais justo para os grupos minoritários.

Como Eles Testaram

Os pesquisadores testaram essas ideias em uma "cozinha digital" com quatro conjuntos de dados famosos (MNIST, CIFAR-10, CIFAR-100 e Tiny ImageNet). Eles simularam diferentes níveis de caos:

Baixo Caos: Todos têm ingredientes semelhantes (Dados Homogêneos).
Alto Caos: Todos têm ingredientes totalmente diferentes (Dados Heterogêneos).

Eles compararam seus novos métodos (FairGrad e FairGrad*) contra métodos antigos como o FedAvg (a abordagem padrão de "tirar a média de tudo") e o q-FFL (uma tentativa anterior de equidade).

O Que Eles Descobriram

Quando todos são semelhantes: Se todos os vizinhos têm despensas semelhantes, os novos métodos sofisticados não mudam muita coisa. A abordagem padrão de "tirar a média" funciona bem. Os novos métodos não quebram nada, mas não precisam fazer muito trabalho extra.
Quando todos são diferentes (O Teste Real): Foi aqui que a mágica aconteceu.
- Os métodos padrão (FedAvg) produziram uma receita que era boa na média, mas tinha grandes lacunas: alguns vizinhos amavam, outros odiavam.
- Os métodos FairGrad reduziram significamente essas lacunas. Eles fizeram o vizinho do "pior caso" muito mais feliz sem estragar a experiência para os outros.
- Em muitos testes, o FairGrad não apenas corrigiu a equidade; ele também tornou a receita geral melhor também. Foi como encontrar um ingrediente secreto que fez o prato ter um gosto bom para todos, não apenas para a maioria.

As Duas Versões do FairGrad

O artigo oferece duas maneiras de executar este método "FairGrad":

FairGrad (Aproximado): Esta é a versão "preguiçosa", porém eficiente. Os vizinhos olham para o que o grupo fez da última vez para decidir o que fazer agora. Isso economiza tempo e comunicação (menos conversa entre os vizinhos).
FairGrad (Exato):* Esta é a versão "precisa". Os vizinhos olham para o que o grupo está fazendo agora mesmo. Requer mais conversa e é mais lento, mas é mais preciso. O artigo sugere usá-lo quando a tarefa é muito difícil ou os vizinhos são muito diferentes.

A Conclusão Final

O artigo conclui que, ao adicionar uma "penalidade de variância" (especificamente observando o quanto as direções dos vizinhos diferem), podemos construir modelos de aprendizado de máquina que sejam mais justos. Em vez de deixar as vozes mais altas (os proprietários de maiores volumes de dados) ditarem o resultado, o modelo é induzido a ouvir as vozes mais silenciosas, garantindo que o resultado final funcione bem para todos na sala, independentemente de quanta quantidade de dados eles trouxeram para a mesa.

Resumo Técnico: FAIRVAR - Aprendizado Federado Justo via Regularização de Variância

Declaração do Problema

O Aprendizado Federado (FL) permite o treinamento colaborativo de modelos em múltiplas clientes sem o compartilhamento de dados brutos. No entanto, a heterogeneidade dos dados frequentemente leva a disparidades significativas de desempenho entre as clientes, onde o modelo global apresenta um bom desempenho médio, mas um desempenho ruim para clientes específicos com distribuições de dados distintas ou tamanhos de amostra menores. Essa falta de equidade de desempenho justa — definida como a minimização das disparidades de desempenho entre as clientes enquanto se mantém um alto desempenho global — é um desafio crítico. As abordagens existentes para abordar isso, como a regularização de variância de perda e o $q$ -Aprendizado Federado Justo ( $q$ -FFL), muitas vezes carecem de uma base teórica sólida em relação ao seu comportamento sob heterogeneidade, e permanece incerto quais métodos são mais eficazes em configurações práticas.

Metodologia

O artigo propõe uma nova abordagem para a equidade de desempenho justa baseada na regularização da variância do gradiente. Os autores analisam e comparam diversos métodos existentes e introduzem novos algoritmos derivados de duas funções objetivo primárias:

Regularização de Variância de Perda: Baseando-se em trabalhos anteriores, esta abordagem penaliza a variância das perdas das clientes:
$L_\lambda(x) = F(x) + \frac{\lambda}{2n} \sum_{i=1}^n (f_i(x) - F(x))^2$
onde $F(x)$ é a perda média global e $f_i(x)$ é a perda local para a cliente $i$ .
Regularização de Variância de Gradiente (Proposta): Os autores introduzem um novo objetivo que minimiza a variância dos gradientes das clientes para promover a justiça:
$J_\gamma(x) = F(x) + \frac{\gamma}{2n} \sum_{i=1}^n \|\nabla f_i(x) - \nabla F(x)\|^2$
Aqui, $\nabla F(x)$ é o gradiente médio entre as clientes.

Para resolver esses objetivos não separáveis em um cenário federado, os autores propõem quatro algoritmos:

FairLoss & FairLoss*: Variantes aproximada e exata para minimizar o objetivo de variância de perda ( $L_\lambda$ ).
FairGrad & FairGrad*: Variantes aproximada e exata para minimizar o objetivo de variância de gradiente ( $J_\gamma$ $J_{γ}$ ).
- Variantes aproximadas (FairLoss, FairGrad): Utilizam informações da iteração anterior (ex: perda ou gradiente médio anterior) para reduzir o overhead de comunicação.
- Variantes exatas (FairLoss*, FairGrad*): Utilizam informações da iteração atual para atualizações mais precisas ao custo de maior comunicação.

Estes são comparados contra baselines incluindo FedAvg, Agnostic Federated Learning (AFL), $q$ -FFL e AAggFF.

Análise Teórica

O artigo fornece uma caracterização teórica das relações entre estes métodos sob configurações de dados homogêneos e heterogêneos:

Dados Homogêneos: Em configurações onde todas as clientes compartilham a mesma distribuição de dados, os termos de regularização (variância de perda ou gradiente) não alteram a localização dos pontos estacionários em média. Assim, as soluções ótimas permanecem consistentes com o objetivo padrão do FedAvg, e a regularização é teoricamente desnecessária.
Dados Heterogêneos: Sob heterogeneidade, os termos de regularização deslocam ativamente o cenário de otimização. Os autores provam que, se as perdas ou gradientes das clientes não estiverem alinhados no ótimo do objetivo não regularizado, os objetivos regularizados ( $L_\lambda$ , $J_\gamma$ e $H_q$ ) terão diferentes pontos estacionários. Especificamente, a regularização de variância pode mover a solução para longe de um ótimo de perda média em direção a um ponto com desempenho mais equilibrado entre as clientes.
Conexões: A análise estabelece que o $q$ -FFL (com $q=1$ ) pode ser limitado superiormente pelo objetivo de regularização de variância de perda sob condições específicas, vinculando estas abordagens anteriormente distintas.

Resultados Experimentais

Os métodos foram avaliados em quatro conjuntos de dados de classificação de imagens (MNIST, CIFAR-10, CIFAR-100, Tiny ImageNet) com níveis variados de heterogeneidade de dados controlados por parâmetros de concentração de Dirichlet ( $\alpha \in \{0.05, 0.1, 0.5\}$ ).

Desempenho: Os métodos de regularização de variância propostos, particularmente o FairGrad e o FairGrad*, superaram consistentemente os baselines em configurações heterogêneas.
Justiça (Fairness): Os métodos reduziram significativamente a variância das acurácias das clientes (a métrica de justiça) em comparação ao FedAvg, AFL e $q$ $q$ -FFL.
- No CIFAR-100, o FairGrad* alcançou a melhor acurácia e a menor variância em alta heterogeneidade ( $\alpha=0.05, 0.1$ ).
- No CIFAR-10, o FairGrad alcançou consistentemente a menor variância em todos os níveis de heterogeneidade e a maior acurácia em $\alpha \in \{0.1, 0.5\}$ .
- No Tiny ImageNet, o FairGrad* alcançou a menor variância em $\alpha \in \{0.05, 0.5\}$ .
Configurações Homogêneas: No MNIST (onde os dados são relativamente homogêneos), todos os métodos performaram de forma semelhante, com as variantes regularizadas oferecendo apenas melhorias marginais na justiça, alinhando-se com a previsão teórica de que a regularização é menos crítica em configurações homogêneas.

Significância e Alegações

O artigo alega que o FairGrad e o FairGrad* representam uma abordagem fundamentada e eficaz para melhorar a justiça no Aprendizado Federado. As principais contribuições incluem:

Novidade: A introdução da regularização de variância de gradiente especificamente para a equidade de desempenho justa, uma direção não explorada anteriormente neste contexto.
Clareza Teórica: Fornecer um framework teórico que explica a relação entre métodos de justiça existentes (como $q$ -FFL e regularização de variância de perda) e demonstra como a regularização de variância altera o comportamento de otimização sob heterogeneidade.
Validação Empírica: Demonstrar que a redução da variância do gradiente leva a um desempenho mais equitativo entre as clientes sem sacrificar a acurácia global do modelo, frequentemente superando baselines de justiça de última geração.

Os autores concluem que, embora a regularização baseada em variância seja teoricamente redundante em configurações homogêneas, ela é um mecanismo crucial para alcançar a justiça nos cenários heterogêneos típicos de implementações reais de FL. O trabalho destaca o regularizador de alinhamento de gradiente como um método robusto para balancear o desempenho das clientes.