🤖 machine learning

Assessing the Impacts of Imperfect Datasets on Client Selections in Federated Learning

Este artigo investiga como conjuntos de dados imperfeitos (não-IID e ruidosos) e a seleção enviesada de clientes afetam o desempenho da aprendizagem federada, e propõe um método de pontuação preservador de privacidade para avaliar efetivamente as contribuições dos clientes e mitigar esses problemas.

Autores originais: Yuan-Heng Tsai, Li-Hsing Yen, Yan-Wei Chen

Publicado 2026-08-04

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yuan-Heng Tsai, Li-Hsing Yen, Yan-Wei Chen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine um mundo onde o seu smartphone, o seu smartwatch e o laptop do seu vizinho querem todos aprender a reconhecer um gato, mas não podem compartilhar suas fotos. Talvez as fotos sejam privadas demais, ou talvez a conexão de internet seja lenta demais para fazer o upload de todas elas para um computador central gigante. Este é o problema que o Aprendizado Federado tenta resolver. Em vez de reunir todos os dados em um só lugar, o "professor" (um servidor central) envia um plano de aula básico para todos. Cada aluno (um dispositivo cliente) pratica em suas próprias fotos privadas, descobre o que aprendeu e envia apenas as notas da lição de volta para o professor. O professor mistura todas as notas para criar um plano de aula mais inteligente para a próxima rodada. É como um grupo de estudos massivo e global onde todos mantêm seu dever de casa escondido, mas ainda aprendem juntos.

No entanto, este grupo de estudos tem alguns problemas complicados. Primeiro, nem todos têm a mesma quantidade de dever de casa (alguns têm 10 fotos, outros têm 10.000). Segundo, alguns alunos só têm fotos de gatos laranjas, enquanto outros só têm gatos pretos (isso é chamado de "desvio de rótulo" ou label skew). Terceiro, alguns alunos podem ter acidentalmente escrito "cachorro" em uma foto de um gato (dados rotulados incorretamente). Se o professor escolher alunos aleatoriamente para compartilhar suas notas, a classe pode aprender coisas estranhas ou ficar estagnada. A grande questão é: Como o professor decide quem escolher para ajudar a classe a aprender melhor, sem espiar o dever de casa privado de ninguém?

Este artigo, intitulado "Assessing the Impacts of Imperfect Datasets on Client Selections in Federated Learning" (Avaliando os Impactos de Conjuntos de Dados Imperfeitos na Seleção de Clientes em Aprendizado Federado), mergulha exatamente nessa bagunça. Os autores, pesquisadores da Universidade Nacional Yang Ming Chiao Tung, realizaram uma série de experimentos para ver como diferentes tipos de dados "ruins" afetam a velocidade de aprendizado e a nota final do grupo. Eles descobriram que a solução não é única para todos os casos. Às vezes, você precisa ser justo e escolher todos igualmente; outras vezes, você precisa ser rigoroso e evitar alunos com dados bagunçados. Para resolver isso, eles inventaram um novo sistema de "boletim" que permite ao professor avaliar o quão útil cada aluno é, sem nunca ver suas fotos privadas.

O Grande Experimento do Grupo de Estudos

Os pesquisadores montaram uma sala de aula virtual com 100 clientes (alunos) e um servidor central (o professor). Eles usaram dois conjuntos de dados clássicos para seus experimentos: MNIST (números escritos à mão) e CIFAR-10 (fotos de animais e objetos). Em sua simulação, eles testaram o que acontecia quando mudavam as regras do jogo.

Os Cenários de "Dados Ruins"
Eles criaram três tipos principais de problemas para ver como a classe reagia:

Desvio de Quantidade: Alguns alunos tinham cadernos minúsculos, outros tinham bibliotecas enormes. Eles descobriram que cadernos maiores geralmente levavam a notas melhores, mas se um caderno fosse muito pequeno, ele não conseguia ajudar muito.
Desvio de Rótulo: Imagine um aluno que só tem fotos de "3s" e outro que só tem fotos de "7s". Se a classe apenas ouvir esses dois, eles não aprenderão como é um "1" ou um "2". Os pesquisadores testaram desde "todos têm uma mistura" até "cada um tem apenas um número específico". Eles descobriram que, quando os dados eram muito desequilibrados (como um aluno tendo apenas "3s"), a classe tinha dificuldade para aprender, especialmente com as imagens mais difíceis do CIFAR-10.
Dados Rotulados Incorretamente: Este foi o verdadeiro causador de problemas. Eles simularam alunos que tinham fotos de gatos rotuladas como "cachorros". Eles testaram três formas de isso acontecer: erros aleatórios, erros sequenciais (onde "1" vira "2", "2" vira "3", etc.) e erros cíclicos. Os resultados foram nítidos: dados rotulados incorretamente foram muito piores do que dados desequilibrados. De fato, quando simularam um alto nível de erros sequenciais (onde os rótulos foram deslocados em 7 posições), o processo de aprendizado falhou completamente. A classe não conseguiu aprender nada útil de alunos que estavam confiantes, porém errados.

O Dilema da "Justiça"
Em seguida, eles perguntaram: "O professor deve escolher alunos aleatoriamente (Justo) ou evitar aqueles com dados bagunçados (Injusto)?"

Quando o problema era o Desvio de Rótulo (dados desequilibrados): Ser Justo foi o vencedor. Mesmo que um aluno tivesse apenas fotos de "3s", deixá-lo participar ajudava a classe a aprender esse número específico. Se o professor o excluísse, a classe perderia essa oportunidade. Os resultados mostraram que a seleção justa melhorou a precisão, embora às vezes tenha levado algumas rodadas a mais para terminar.
Quando o problema era o Dado Rotulado Incorretamente: Ser Justo foi um desastre. Incluir alunos com rótulos errados arrastou toda a classe para baixo. Nesses casos, a estratégia "Injusta" (excluir os alunos bagunçados) funcionou melhor. O artigo sugere que, quando os dados estão corrompidos, você deve priorizar a qualidade sobre a justiça.

O Novo Sistema de "Boletim"

Como o professor não pode espiar os cadernos privados dos alunos, como eles sabem quem é útil e quem é bagunceiro? Os autores propuseram um sistema de pontuação de três partes que roda inteiramente do lado do servidor:

Pontuação de Tamanho de Dados (Datasize Score): Isso é simples. Apenas verifica o tamanho do caderno do aluno. Um caderno maior recebe uma pontuação mais alta (normalizada entre 0 e 1).
Pontuação de Qualidade (Quality Score): Esta é a parte inteligente. Após um aluno enviar suas notas de lição de volta, o professor testa essas notas em um "teste prático" cujas respostas o professor já conhece. Se as notas do aluno levarem a uma pontuação alta no teste prático, ele recebe uma Pontuação de Qualidade alta. Se ele falhar no teste prático, sua pontuação cai. Isso diz ao professor: "Os dados deste aluno são úteis" ou "Os dados deste aluno são ruidosos", sem nunca ver as fotos reais.
Pontuação de Justiça (Fairness Score): Este é um "medidor de paciência". A cada rodada, a pontuação de cada aluno aumenta um pouco. Se um aluno for escolhido para participar, sua pontuação volta a zero. Isso garante que alunos que não foram escolhidos há algum tempo tenham uma chance, evitando que o professor ouça apenas os mesmos poucos alunos "inteligentes".

O Balanceador Inteligente
A verdadeira magia é como eles combinam essas pontuações. O sistema observa a variância (a dispersão) das Pontuações de Qualidade.

Se as Pontuações de Qualidade forem todas semelhantes (baixa variância), significa que os dados estão majoritariamente limpos. O sistema então se apoia na Pontuação de Justiça, garantindo que todos tenham sua vez.
Se as Pontuações de Qualidade estiverem totalmente dispersas (alta variância), significa que alguns alunos têm dados terríveis e ruidosos. O sistema muda imediatamente de marcha, ignorando a Pontuação de Justiça e escolhendo apenas os alunos com as maiores Pontuações de Qualidade.

O Que Eles Descobriram (e o Que Não Descobriram)

O artigo conclui que não existe uma única "melhor" maneira de escolher os alunos. Depende inteiramente de por que os dados são imperfeitos.

Se os dados são apenas desequilibrados (alguns alunos têm rótulos raros), o artigo sugere que a justiça é crucial. Excluir esses alunos prejudica o modelo.
Se os dados estão corrompidos (rotulados incorretamente), o artigo sugere que a justiça deve ser sacrificada para proteger o modelo de informações ruins.

Os autores ressaltam cuidadosamente que sua "Pontuação de Qualidade" é uma ótima ferramenta, mas possui um ponto cego. Ela pode dizer que os dados de um aluno são "ruins", mas não consegue dizer o porquê. Ela não sabe se os dados são ruins porque o aluno só tem "3s" (desvio de rótulo) ou porque ele escreveu "cachorro" em uma foto de um gato (rótulo incorreto). Por causa disso, o sistema às vezes tem que adivinhar. Se a variância for alta, o sistema assume o pior (dados rotulados incorretamente) e prioriza a qualidade, o que é uma aposta segura. No entanto, os autores admitem que, se a alta variância for na verdade devida ao desvio de rótulo, essa abordagem conservadora pode perder algumas boas oportunidades de aprendizado.

Em suma, o artigo não afirma ter resolvido o problema para sempre. Em vez disso, ele fornece um guia experimental mensurado, mostrando que um sistema inteligente e adaptável — um que possa alternar entre "ser justo" e "ser rigoroso" dependendo da situação — é o melhor caminho a seguir para o Aprendizado Federado. Eles sugerem que o trabalho futuro deve se concentrar em construir um sistema que consiga distinguir melhor entre dados "desequilibrados" e "corrompidos", para que o professor possa fazer a escolha perfeita todas as vezes.

Resumo Técnico: Avaliando os Impactos de Conjuntos de Dados Imperfeitos na Seleção de Clientes em Aprendizado Federado

Declaração do Problema

O Aprendizado Federado (FL - Federated Learning) permite o treinamento de modelos descentralizados enquanto preserva a privacidade dos clientes, mas enfrenta desafios significativos quando os clientes possuem conjuntos de dados imperfeitos. Essas imperfeições incluem dados não independentes e identicamente distribuídos (não-IID) (manifestando-se como desvio de quantidade, desvio de rótulo e desvio de características) e dados ruidosos (amostras com rótulos incorretos). Tais condições podem degradar a precisão do modelo e aumentar a latência de convergência.

Embora estratégias de seleção de clientes sejam frequentemente empregadas para mitigar esses problemas ao excluir clientes problemáticos, um processo de seleção excessivamente enviesado pode, inadvertidamente, prejudicar o desempenho do aprendizado. Especificamente, existe uma tensão não resolvida entre equidade (fairness — garantindo a participação equilibrada para evitar a convergência para ótimos locais) e qualidade (excluindo clientes com problemas graves de dados). Além disso, a literatura existente carece de um método abrangente e que preserve a privacidade para prever a contribuição de um cliente para o modelo global sem acessar suas distribuições de dados locais.

Metodologia

1. Análise Experimental de Dados Imperfeitos

Os autores realizaram experimentos extensos utilizando os conjuntos de dados MNIST e CIFAR-10 com 100 clientes e o algoritmo FedAvg para quantificar os impactos de várias imperfeições de dados:

Tamanho do Conjunto de Dados: Verificou-se que conjuntos de dados maiores correlacionam-se com melhor precisão e convergência mais rápida.
Desvio de Rótulo (Label Skew): Testaram seis cenários variando de IID a distribuições extremas de rótulo único. Os resultados indicaram que, embora o desvio de rótulo geralmente degrade o desempenho, a severidade varia conforme a tarefa (ex: o MNIST mostrou resiliência em comparação ao CIFAR-10).
Amostras com Rótulos Incorretos (Mislabeled Samples): Avaliaram erros de rotulagem aleatórios, sequenciais e cíclicos. O estudo descobriu que o erro de rotulagem causa uma queda de desempenho mais pronunciada do que o desvio de rótulo, sendo que o erro sequencial (onde os rótulos são deslocados) causa falha no aprendizado em graus elevados.
Equidade vs. Seleção Injusta:
- Em ambientes com desvio de rótulo, a seleção "Justa" (Fair — participação aleatória e uniforme) melhorou significativamente a precisidade em comparação com a seleção "Injusta" (Unfair — excluir clientes com desvio), embora tenha exigido mais rodadas para convergir.
- Em ambientes com rótulos incorretos, a seleção "Injusta" (excluir clientes com dados rotulados incorretamente) superou a seleção justa, pois amostras com rótulos incorretos não fornecem informações de aprendizado valiosas.

2. Mecanismo de Pontuação Proposto

Para atender à necessidade de uma avaliação de clientes que preserve a privacidade, o artigo propõe um sistema de pontuação composta que avalia os clientes com base no tamanho dos dados, qualidade e histórico de participação, sem acessar suas distribuições de dados locais.

Pontuação de Tamanho de Dados ( $d_i$ ): Uma métrica normalizada (0 a 1) baseada no tamanho do conjunto de dados do cliente em relação aos tamanhos mínimo e máximo no conjunto de clientes.
Pontuação de Qualidade ( $q_i$ ): Uma avaliação baseada no servidor calculada ao final de cada rodada de treinamento. O servidor avalia o modelo enviado pelo cliente em um conjunto de teste global. A pontuação é normalizada com base na precisão de teste do cliente em relação à precisão mínima e máxima observada entre todos os clientes. Isso captura o impacto conjunto do desvio de rótulo e do erro de rotulagem.
Pontuação de Equidade ( $f_i^t$ ): Uma pontuação dinâmica que aumenta por uma constante $\beta$ para cada rodada em que um cliente não é selecionado e é resetada/diminui se for selecionado. Isso garante que clientes com longos períodos de inatividade sejam priorizados.

3. Mecanismo de Seleção Adaptativa

O artigo introduz um mecanismo adaptativo para equilibrar equidade e qualidade com base na variância das Pontuações de Qualidade entre os clientes disponíveis:

Baixa Variância: Indica qualidade de dados homogênea (nem desvio de rótulo severo, nem erro de rotulagem). O mecanismo prioriza a equidade, selecionando clientes com altas Pontuações de Equidade.
Alta Variância: Indica heterogeneidade significativa (provavelmente erro de rotulagem severo ou desvio). O mecanismo prioriza a qualidade, expandindo o grupo de candidatos para garantir que clientes de alta qualidade sejam selecionados, independentemente de sua pontuação de equidade.
O número de clientes selecionados ( $L_{fair}^t$ ) é ajustado dinamicamente usando uma fórmula que envolve a variância das Pontuações de Qualidade, um parâmetro de sensibilidade ( $\alpha_1$ ) e um parâmetro de proporção mínima ( $\alpha_2$ ).

Principais Resultados

Impacto do Erro de Rotulagem: O erro de rotulagem sequencial foi identificado como o fator mais prejudicial, causando falha no aprendizado em casos extremos. Isso sugere que clientes com erro de rotulagem severo devem ser excluídos.
Equidade Dependente de Contexto: Os experimentos demonstraram que a estratégia de seleção ideal é dependente do contexto. A equidade é benéfica quando a heterogeneidade de dados provém de desvio de rótulo, mas é prejudicial quando provém de erro de rotulagem.
Eficácia da Pontuação: A Pontuação de Qualidade proposta correlacionou-se com sucesso com a qualidade dos dados. Em experimentos de desvio de rótulo, as pontuações aumentaram com a diversidade de rótulos (até o ponto em que a contagem de amostras por rótulo tornou-se muito baixa). Em experimentos de erro de rotulagem, as pontuações diminuíram à medida que a taxa de erro de rotulagem aumentava.
Desempenho Adaptativo: O mecanismo adaptativo navegou com sucesso pelo compromisso (trade-off), priorizando a equidade quando os dados estavam relativamente limpos e priorizando a qualidade quando a heterogeneidade dos dados era alta.

Significância e Alegações

O artigo afirma fornecer uma análise abrangente de como diferentes tipos de dados imperfeitos (desvio de quantidade, desvio de rótulo e erro de rotulagem) afetam o desempenho do FL. Sua principal contribuição é a demonstração de que uma única estratégia de seleção de clientes é insuficiente; a estratégia deve se adaptar à fonte dominante de heterogeneidade.

Os autores propõem um framework de pontuação que preserva a privacidade, permitindo que o servidor avalie as contribuições dos clientes usando apenas resultados de testes globais e tamanhos de conjuntos de dados, evitando a necessidade de inspecionar as distribuições de dados locais. A significância reside no mecanismo adaptativo que equilibra dinamicamente os objetivos conflitantes de equidade e qualidade de dados, reconhecendo que a equidade pode ser prejudicial quando os clientes possuem dados severamente rotulados incorretamente.

Os autores observam modestamente uma limitação: a Pontuação de Qualidade atual captura o impacto conjunto do desvio de rótulo e do erro de rotulagem, mas não consegue distinguir entre os dois. Consequentemente, o mecanismo adaptativo trata a alta variância de forma conservadora (priorizando a qualidade), o que pode ser subótimo se a variância for causada exclusivamente pelo desvio de rótulo, e não pelo erro de rotulagem. Sugere-se que trabalhos futuros desenvolvam métricas separadas para quantificar esses fatores independentemente.