FedCC: Towards Addressing Label Distribution Skews in Distillation-Based Federated Learning

Na vasta e interconectada teia da comunicação moderna, uma revolução silenciosa está ocorrendo na forma como os computadores aprendem. Tradicionalmente, os sistemas de inteligência artificial são treinados reunindo quantidades massivas de dados em um único local central, onde algoritmos estudam milhões de exemplos para encontrar padrões. No entanto, essa abordagem levanta sérias preocupções sobre privacidade e segurança, pois exige o deslocamento de informações pessoais sensíveis de telefones, dispositivos médicos e servidores privados para um hub central. Para resolver isso, pesquisadores desenvolveram um método chamado aprendizagem federada (federated learning), que permite que muitos dispositivos diferentes aprendam juntos sem nunca compartilhar seus dados brutos. Em vez de enviar os dados em si, os dispositivos enviam apenas as lições que aprenderam — atualizações matemáticas que descrevem o que viram. Isso mantém as informações privadas locais, enquanto ainda permite que uma inteligência global emerja do esforço coletivo.

Contudo, esse processo colaborativo enfrenta um obstáculo persistente: os dados em cada dispositivo raramente são equilibrados. O telefone de uma pessoa pode estar repleto de fotos de gatos, enquanto o de outra contém apenas imagens de carros. Quando esses dispositivos tentam ensinar um modelo compartilhado, aqueles com abundância de dados para certas categorias tendem a dominar a conversa, empurrando o modelo para se tornar um especialista nessas áreas específicas enquanto ignora as raras ou ausentes. Esse desequilíbrio cria um ponto cego, fazendo com que o sistema faça suposições confiantes, porém incorretas, sobre as coisas que nunca viu. O desafio é agravado quando os dispositivos tentam aprender a partir de um conjunto compartilhado de imagens não rotuladas — fotos sem quaisquer etiquetas identificadoras — o que é frequentemente necessário para proteger a privacidade. Sem saber as respostas verdadeiras para essas imagens compartilhadas, o servidor central tem dificuldade em corrigir os vieses introduzidos pelos dispositivos individuais, levando a um modelo global que é distorcido e pouco confiável.

Uma equipe de pesquisadores propôs uma nova abordagem para corrigir este problema, introduzindo um sistema que chamam de FedCC. O trabalho deles foca em um tipo específico de aprendizagem colaborativa onde os dispositivos compartilham suas previsões em vez de suas configurações internas. Nesta configuração, cada dispositivo observa um conjunto de imagens públicas e não rotuladas e envia de volta uma lista de probabilidades indicando o que ele pensa que cada imagem é. O problema surge quando um dispositivo, tendo visto apenas alguns tipos de imagens, é forçado a dar um palpite em tudo. Se um dispositivo só viu fotos de cachorros, ele identificará erroneamente um gato como um cachorro com confiança e, se muitos dispositivos fizerem isso, o servidor central agrega esses erros em uma conclusão única e falha. Os pesquisadores perceberam que a solução não era forçar cada dispositivo a dar um palpite, mas sim dar-lhes permissão para admitir quando não têm certeza.

A inovação central do FedCC é a introdução de uma categoria "desconhecida" (unknown). Nos sistemas tradicionais, um dispositivo deve escolher uma das classes conhecidas, como "cachorro", "gato" ou "carro", mesmo que a imagem seja algo que ele nunca encontrou. O FedCC muda as regras ao permitir que um dispositivo marque uma imagem confusa ou desconhecida como "desconhecida". Essa adição simples atua como uma válvula de escape. Quando um dispositivo encontra uma imagem que está fora de sua experiência limitada, ele pode atribuí-la a esta nova categoria abrangente em vez de forçar uma resposta errada. Isso evita que o dispositivo injete falsa confiança no conhecimento coletivo do grupo. Ao reconhecer o que não sabe, o dispositivo protege o grupo de ser induzido ao erro por sua própria perspectiva estreita.

Para fazer isso funcionar, os pesquisadores projetaram um processo onde os dispositivos primeiro aprendem com seus próprios dados privados e depois usam um conjunto compartilhado de imagens não rotuladas para refinar seu entendimento. Durante esse refinamento, o sistema calcula o quão confiante o dispositivo é em suas previsções. Se o dispositivo estiver altamente confiante, ele compartilha seu palpite. Se estiver incerto, o sistema baseia-se fortemente na categoria "desconhecida". Essa incerteza não é tratada como uma falha, mas como um sinal valioso. O servidor central então combina as previsões de todos os dispositivos, dando mais peso àqueles que estão confiantes e menos peso àqueles que estão inseguros. Crucialmente, o servidor filtra as etiquetas "desconhecidas" ao criar a lição global final, garantindo que o conhecimento compartilhado seja construído apenas sobre informações confiáveis e acordadas. Este método permite que o sistema aprenda efetivamente mesmo quando os dados são fortemente enviesados, o que significa que alguns dispositivos têm muito poucos dados para certas categorias.

Os pesquisadores testaram este método em vários conjuntos de dados de imagens padrão, incluindo coleções de objetos cotidianos e animais, sob condições onde os dados estavam distribuídos de forma muito desigual. No teste mais extremo, eles simularam um cenário onde cada um de dez dispositivos detinha imagens de apenas uma única classe de dez classes possíveis. Nesse ambiente severo, os métodos existentes colapsaram, com sua precisão caindo para níveis próximos ao palpite aleatório, muitas vezes abaixo de doze por cento. Em contraste, o sistema FedCC manteve uma precisão robusta de sessenta e sete vírgula três por cento. Este resultado demonstra que, ao permitir que os dispositivos recuem de cometer erros forçados, o sistema como um todo torna-se significativamente mais preciso. A lacuna entre o FedCC e outros métodos aumentou à medida que os dados se tornavam mais desequilibrados, provando que a abordagem é particularmente eficaz quando o desafio é maior.

Além de melhorar o modelo global final, o estudo mostrou que esta abordagem também ajudou os dispositivos individuais. Ao aprender a reconhecer suas próprias limitações e marcar amostras incertas como "desconhecidas", os dispositivos tornaram-se melhores em identificar as categorias raras que deveriam aprender. O sistema efetivamente atuou como um regularizador, impedindo que os modelos se tornassem excessivamente confiantes nas classes que conheciam bem e ignorassem as que não conheciam. A análise visual dos dados mostrou que os modelos treinados com FedCC mantiveram as diferentes categorias distintas e separadas, enquanto outros métodos tendiam a misturá-las. Essa clareza sugere que a categoria "desconhecida" serve como um amortecedor, absorvendo o ruído e a confusão que geralmente descarrilam a aprendizagem colaborativa.

As descobertas sugerem que, em um mundo de dados diversos e fragmentados, admitir a ignorância é uma ferramenta poderosa para o aprendizado. Ao mudar o objetivo de forçar uma previsão para permitir a incerteza, o FedCC oferece uma maneira simples e eficaz de construir sistemas de inteligência artificial mais confiáveis e justos. O método não requer infraestrutura complexa ou o compartilhamento de dados privados; ele simplesmente altera a forma como os dispositivos comunicam sua confiança. À medida que as redes de dispositivos continuam a crescer e os dados que eles detêm tornam-se cada vez mais variados, técnicas que possam lidar com esses desequilíbrios sem sacrificar a privacidade serão essenciais. O FedCC oferece um caminho claro à frente, mostrando que, às vezes, a melhor maneira de aprender é saber quando dizer: "Eu não sei".