🤖 machine learning

Who Trains Matters: Federated Learning under Enrollment and Participation Selection Biases

Este artigo aborda a lacuna persistente de desempenho no aprendizado federado causada por vieses de seleção tanto de inscrição quanto de participação, formalizando um modelo de seleção em duas etapas e propondo o \textsc{FedIPW}, um esquema de agregação ponderado por probabilidade inversa que recupera efetivamente os objetivos da população-alvo mesmo quando as covariáveis ao nível do cliente são limitadas.

Autores originais: Gota Morishita

Publicado 2026-04-30

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Gota Morishita

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando assar o bolo perfeito para uma cidade inteira. Para fazer isso, você pede a milhares de padeiros caseiros que lhe enviem uma pequena porção de sua massa para que você possa misturá-la e descobrir a receita ideal. É essencialmente assim que funciona o Aprendizado Federado (FL): em vez de reunir todos os dados em um único local, um servidor central solicita que muitos dispositivos (como telefones) treinem um modelo localmente e retornem apenas as "atualizações" (as porções de massa).

O problema, conforme explicado neste artigo, é que quem você pede para enviar a massa importa tanto quanto como você a mistura.

O Filtro de Duas Etapas: Quem Entra pela Porta?

O artigo argumenta que, na vida real, os padeiros dos quais você acaba recebendo informações raramente são uma amostra perfeita de toda a cidade. Isso ocorre em duas etapas distintas, como uma verificação de segurança em duas etapas em um concerto:

O Viés de "Inscrição" (Quem recebe o convite?):
Primeiro, você precisa ser elegível para se juntar ao projeto. Talvez você precise de um tipo específico de telefone, uma versão determinada de software, ou apenas precise clicar em "Eu Concordo" em um formulário de consentimento. Se seu telefone for antigo ou você morar em uma área com internet precária, você nem sequer recebe o convite. Você é filtrado antes mesmo do jogo começar. O artigo chama isso de Viés de Inscrição.
- Analogia: Imagine que você convida apenas pessoas que possuem um carro vermelho para o seu clube de panificação. Mesmo que você peça a todos com carro vermelho que participem, você já perdeu todos com carros azuis, bicicletas ou nenhum veículo. Seu "clube de panificação" já está enviesado.
O Viés de "Participação" (Quem realmente aparece?):
Segundo, mesmo entre as pessoas que receberam o convite, nem todas aparecem a cada reunião. Talvez a bateria delas esteja morta, a internet seja instável, ou sejam 3 da manhã em seu fuso horário. Elas estão inscritas, mas não participam daquela rodada específica. O artigo chama isso de Viés de Participação.
- Analogia: Mesmo que você tenha convidado todos com carro vermelho, talvez apenas aqueles que estão acordados e têm o tanque cheio realmente dirijam até a reunião.

O Problema: Assando o Bolo Errado

A maioria dos métodos existentes tenta resolver o segundo problema (quem aparece). Eles dizem: "Ok, as pessoas que apareceram hoje à noite são majoritariamente trabalhadores do turno da noite; vamos ajustar a receita para levar isso em conta."

Mas este artigo aponta um problema maior: Se as pessoas que foram convidadas inicialmente (os donos de carros vermelhos) não são como o resto da cidade, corrigir a parte de "quem aparece" não ajudará. Você pode ajustar perfeitamente para os trabalhadores do turno da noite, mas ainda estará assando um bolo baseado inteiramente em donos de carros vermelhos. O resultado final terá um ótimo sabor para os donos de carros vermelhos, mas será terrível para todos os outros.

O artigo chama isso de "Descompasso com a População-Alvo". O modelo aprende a servir as pessoas que são alcançáveis, não as pessoas que deveria servir.

A Solução: Uma Balança Ponderada (FedIPW)

Para corrigir isso, o autor propõe um novo método chamado FedIPW (Ponderação por Probabilidade Inversa Federada).

Pense nisso como usar uma balança ponderada em vez de uma média simples.

O Jeito Antigo (FedAvg): Se 10 pessoas enviarem atualizações, você dá a cada pessoa 1/10 do peso.
O Jeito Novo (FedIPW): Você olha para quem não apareceu e pergunta: "Por quê?"
- Se um grupo de pessoas (digamos, pessoas com telefones Android) raramente recebe convites devido a regras estritas de software, mas aparece quando convidadas, o algoritmo dá peso extra às suas atualizações.
- Se um grupo (digamos, pessoas com iPhones novos) é convidado frequentemente, mas raramente aparece, suas atualizações também são ponderadas cuidadosamente para representar aquelas que realmente apareceram.

Ao "re-pesagem" matematicamente as atualizações com base na probabilidade de receber um convite e na probabilidade de aparecer, o servidor pode reconstruir o que o "padeiro médio da cidade" teria contribuído, mesmo que nunca tenha realmente enviado uma porção de massa.

E Se Não Tivermos Todos os Detalhes? (A Correção de "Informação Limitada")

Às vezes, o servidor não conhece os detalhes das pessoas que não receberam convites (por exemplo, não sabe quantas pessoas na cidade têm telefones antigos). Ele só conhece o panorama geral (por exemplo, "20% da cidade usa Android").

Neste caso, o artigo sugere um truque de Calibração.

Analogia: Imagine que você está assando com uma amostra de padeiros, mas não conhece a demografia exata de toda a cidade. No entanto, você tem um relatório do censo que diz: "A cidade é 50% homens e 50% mulheres".
Se sua amostra de padeiros for 80% homens, você não pode simplesmente ignorar as mulheres. Em vez disso, você dá menos peso às atualizações dos homens e mais peso às das mulheres até que sua amostra pareça com o relatório do censo (50/50).
Isso não corrige tudo perfeitamente, mas o aproxima muito mais da receita certa do que não fazer nada.

O Aviso do "Teto de Viés"

O artigo também alerta sobre um "Teto de Viés".
Imagine que você está tentando acertar o alvo. Se você errar o alvo ligeiramente porque sua mira é instável (erro aleatório), você pode melhorar com a prática. Mas se sua arma estiver torta (erro estrutural), você sempre vai errar o centro, não importa quanto pratique.

O artigo prova que, se você ignorar a etapa de "Inscrição" (a arma torta), você atingirá um Teto de Viés. Não importa quantas rodadas de treinamento você faça, o modelo nunca alcançará a melhor solução verdadeira para toda a população. Ele ficará preso em uma zona "boa o suficiente" que, na verdade, está errada para as pessoas que você se importa.

Resumo

O Problema: O aprendizado federado frequentemente falha porque as pessoas que se juntam ao treinamento (inscrição) e as pessoas que realmente participam não são representativas de toda a população.
A Correção: Use uma correção em duas etapas (FedIPW) que pondera matematicamente as atualizações para levar em conta quem foi excluído no início e quem desistiu durante o processo.
A Lição: Não basta apenas corrigir quem aparece na reunião; você precisa corrigir quem foi convidado para a reunião em primeiro lugar. Se não fizer isso, seu modelo será enviesado para um grupo específico, não importa quão inteligente seja o algoritmo.

1. Declaração do Problema

O Aprendizado Federado (FL) visa treinar um modelo global em uma população-alvo de clientes distribuídos sem centralizar dados brutos. Algoritmos padrão (por exemplo, FedAvg) assumem implicitamente que os clientes que participam de cada rodada de comunicação são uma amostra representativa da população-alvo. No entanto, na prática, essa suposição frequentemente falha devido ao viés de seleção, que o artigo identifica como ocorrendo em dois estágios distintos:

Viés de Inscrição (Enrollment Bias): Determinado por regras de elegibilidade (restrições de dispositivo, requisitos de software, consentimento do usuário) que ditam quais clientes são jamais alcançáveis para treinamento. Isso cria uma incompatibilidade entre o pool inscrito e a população-alvo.
Viés de Participação: Determinado por fatores dinâmicos (bateria, rede, horário local) que ditam quais clientes inscritos participam efetivamente de uma rodada de comunicação específica.

A Questão Central: A literatura existente aborda principalmente o viés de participação em nível de rodada. No entanto, o artigo argumenta que, mesmo que o viés de participação seja perfeitamente corrigido, o viés de inscrição induz uma incompatibilidade persistente entre o objetivo de treinamento (otimização para o subconjunto inscrito) e o objetivo da população-alvo. Se o pool inscrito não for representativo, o modelo converge para uma solução subótima para a população pretendida.

2. Metodologia

O artigo formaliza o FL sob um modelo de seleção em dois estágios e propõe um framework de remoção de viés baseado em Ponderação por Probabilidade Inversa (IPW).

A. Framework de Seleção em Dois Estágios

Os autores modelam a inclusão do cliente como um processo causal:

Estágio 1 (Inscrição): Um cliente $i$ é inscrito ( $E_i=1$ ) com probabilidade $\pi^{enroll}_i = P(E_i=1 | Z_i)$ , onde $Z_i$ são covariáveis pré-inscrição (por exemplo, tipo de dispositivo, região).
Estágio 2 (Participação): Condicionada à inscrição, o cliente $i$ participa da rodada $r$ ( $A_{i,r}=1$ ) com probabilidade $\pi^{part}_{i,r} = P(A_{i,r}=1 | E_i=1, Z_i, X_{i,r})$ , onde $X_{i,r}$ são covariáveis pré-rodada (por exemplo, bateria, rede).

A probabilidade de inclusão geral fatora-se como:
$p_{i,r} = \pi^{enroll}_i \times \pi^{part}_{i,r}$

B. O Algoritmo Proposto: FedIPW

Para recuperar a atualização média da população-alvo, os autores propõem o FedIPW (Ponderação por Probabilidade Inversa Federada).

Mecanismo: Em vez de calcular a média das atualizações igualmente, o servidor pondera a atualização $\Delta_{i,r}$ de cada cliente pelo inverso de sua probabilidade de inclusão:
$\hat{\bar{\Delta}}_r = \frac{1}{N} \sum_{i: A_{i,r}=1} \frac{\Delta_{i,r}}{\hat{p}_{i,r}}$
Estimação: Como as probabilidades verdadeiras são desconhecidas, o FedIPW estima os dois componentes separadamente:
1. $\hat{\pi}^{enroll}_i$ é estimado usando covariáveis pré-inscrição e indicadores de inscrição (requerendo dados em nível populacional).
2. $\hat{\pi}^{part}_{i,r}$ é estimado entre clientes inscritos usando covariáveis em nível de rodada.
Garantia Teórica: Sob suposições de ignorabilidade e positividade, o FedIPW fornece um estimador não viesado da atualização média da população-alvo.

C. Extensão de Informação Limitada: Calibração Agregada

Em muitos cenários do mundo real, covariáveis em nível individual para clientes não inscritos estão indisponíveis, tornando a IPW de inscrição completa impossível.

Solução: Os autores introduzem uma extensão de Calibração Agregada.
Método: Repondera a amostra inscrita de modo que a distribuição ponderada das covariáveis pré-inscrição (por exemplo, região, versão do SO) corresponda a resumos agregados conhecidos da população-alvo (por exemplo, dados do censo).
Função: Isso atua como uma correção parcial para o viés de inscrição quando dados individuais completos estão faltando.

3. Principais Contribuições

Formalização da Seleção em Dois Estágios: O artigo distingue o viés de inscrição do viés de participação, formalizando-os como um processo causal sequencial. Demonstra que ignorar o viés de inscrição leva a uma incompatibilidade estrutural que correções focadas apenas na participação não podem corrigir.
Algoritmo FedIPW: Derivação de um esquema de agregação ponderado por probabilidade inversa que recupera o objetivo da população-alvo sob suposições padrão.
Análise de Otimização com Teto de Viés: Os autores fornecem uma análise agnóstica ao algoritmo mostrando que erros residuais de ponderação (devido a erro de estimação ou má especificação estrutural, como a omissão do estágio de inscrição) induzem um teto de viés não desaparecente.
- O limite de erro decompõe-se em um termo transitório, um termo de variância e um teto de viés proporcional a $\epsilon_w^2 G^2 / \mu$ , onde $\epsilon_w$ é o erro de ponderação e $G$ é a heterogeneidade do gradiente.
- Isso prova que a correção de seleção incompleta (por exemplo, corrigir apenas a participação) resulta em subotimalidade persistente.
Calibração Agregada: Um método prático para regimes de informação limitada que utiliza resumos populacionais para mitigar parcialmente o viés de inscrição.

4. Resultados Experimentais

Os autores validam sua teoria usando regressão logística federada sintética, onde o ótimo verdadeiro da população-alvo pode ser calculado com precisão.

Incompatibilidade de Objetivo: O FedAvg ingênuo converge para uma "solução de cliente selecionado" com uma perda na população-alvo significativamente maior em comparação com o ótimo verdadeiro.
Desempenho do FedIPW: O FedIPW recupera com sucesso o objetivo da população-alvo, rastreando de perto o desempenho "Oráculo" (ideal) mesmo à medida que o viés de inscrição aumenta.
Falha Apenas na Participação: Métodos que corrigem apenas a participação em nível de rodada melhoram em relação ao FedAvg, mas falham em atingir o ótimo à medida que o viés de inscrição se intensifica, confirmando a existência do teto de viés.
Calibração Agregada: Em configurações onde dados individuais de não inscritos estão faltando, a calibração agregada reduz significativamente o erro residual deixado por métodos focados apenas na participação, embora seja sensível a ruídos nos resumos populacionais.

5. Significado e Implicações

Mudança de Paradigma: O artigo argumenta que "quem pode treinar de forma alguma" (inscrição) é tão crítico quanto "quem participa de uma rodada" (participação). Esforços atuais de remoção de viés no FL focados exclusivamente na seleção em nível de rodada são insuficientes se o pool inscrito não for representativo.
Erro Estrutural vs. Estatístico: A análise distingue entre erros de estimação estatística (que podem ser reduzidos com melhores modelos) e má especificação estrutural (por exemplo, omitir o estágio de inscrição), que cria um teto de viés irredutível.
Orientação Prática: O trabalho fornece um roteiro para praticantes:
1. Se dados individuais para usuários não inscritos estiverem disponíveis, use FedIPW com ponderação em dois estágios.
2. Se apenas dados agregados populacionais estiverem disponíveis, use Calibração Agregada para corrigir parcialmente o viés de inscrição.
3. Confiar exclusivamente na correção de participação é teoricamente insuficiente para alcançar objetivos alinhados à população em ambientes heterogêneos.

Em resumo, este artigo estabelece que alcançar um modelo representativo da população-alvo no FL exige corrigir o viés de seleção em ambos os estágios de inscrição e participação, oferecendo um framework matemático rigoroso e algoritmos práticos para atingir esse objetivo.