ASWA: An Adaptive Similarity-Weighted Aggregation Algorithm for Communication-Efficient Federated Learning under Non-IID Data

No mundo moderno da inteligência artificial, existe uma tensão fundamental entre o desejo de construir sistemas mais inteligentes e a necessidade de proteger informações privadas. Tradicionalmente, treinar um modelo computacional poderoso exige a coleta de vastas quantidades de dados de milhões de usuários em um único local centralizado. Essa abordagem, no entanto, levanta sérias preocupações de privacidade e enfrenta obstáculos legais, pois muitas organizações não podem simplesmente entregar seus registros confidenciais. Para resolver isso, pesquisadores desenvolveram um método chamado aprendizado federado (federated learning). Em vez de mover os dados para o computador, o computador se move para os dados. Imagine um professor que envia um plano de aula para vinte salas de aula diferentes. Cada aluno aprende com seus próprios livros locais e escreve suas notas. O professor então coleta apenas as notas, não os livros, e as combina para criar um plano de aula melhor para o dia seguinte. Isso permite que um modelo compartilhado melhore sem jamais ver os dados brutos e privados de qualquer participante individual.

A maneira padrão de combinar essas notas é uma média simples, onde a contribuição de cada sala de aula é ponderada pelo número de alunos nela. Isso funciona bem se cada sala de aula tiver uma mistura de assuntos semelhante. Mas no mundo real, os dados raramente são tão uniformes. Uma clínica rural pode atender principalmente pacientes idosos com enfermidades específicas, enquanto um hospital urbano vê uma mistura diferente de casos mais jovens e diversos. Quando os dados estão distribuídos de forma desigual entre esses diferentes locais, o método de média simples começa a ter dificuldades. As notas das diferentes salas de aula começam a puxar o plano de aula em direções conflitantes, fazendo com que o sistema aprenda lentamente, exija muito mais rodadas de comunicação e, muitas vezes, falhe em atingir um alto nível de precisão. Esse problema de dados desiguais é o principal obstáculo que impede que essa tecnologia seja amplamente utilizada em hospitais, bancos e outras instituições.

Um novo estudo propõe uma solução para este problema específico, introduzindo um método chamado Agregação Ponderada por Similaridade Adaptativa, ou ASWA. Os pesquisadores, trabalhando da Universidade de Dilla, na Etiópia, projetaram um sistema que atua como um professor mais inteligente para o processo de aprendizado federado. A abordagem deles não exige o envio de nenhuma nova informação entre o servidor central e os dispositivos locais, nem pede que os dispositivos enviem mais dados do que o habitual. Em vez disso, altera a forma como o servidor central decide em quais notas confiar e quais salas de aula ouvir mais atentamente. O método opera sobre dois princípios simples. Primeiro, ele observa a direção das atualizações de aprendizado vindas de cada cliente. Se as notas de um cliente se alinham bem com a direção geral do grupo, elas recebem mais peso. Se as notas de um cliente parecem estar derivando em uma direção estranha ou conflitante, o sistema reduz sua influência sem descartá-las inteiramente. Isso evita que o modelo global seja desviado por valores atípicos (outliers). Segundo, o sistema altera quem participa de cada rodada. Em vez de escolher as salas de aula aleatoriamente, ele foca sua atenção nos clientes que o modelo atual está tendo mais dificuldade em explicar. Ao concentrar o orçamento limitado de comunicação nas áreas onde o modelo é mais fraco, o sistema aprende de forma mais rápida e eficiente.

Os pesquisadores testaram este novo método contra a abordagem padrão usando uma variedade de cenários simulados onde os dados estavam fortemente desequilibrados, mimetizando as condições desiguais encontradas em instituições do mundo real. Eles realizaram esses testes através de seis níveis diferentes de desigualdade de dados e cinco taxas diferentes de participação de clientes. Os resultados mostraram que, sob condições severas de dados desiguais, o novo método melhorou a precisão final do modelo entre 6,6 e 8,8 pontos percentuais em comparação com a abordagem padrão. Mais importante ainda, ele atingiu um nível alvo de precisão utilizando 26,2 por cento menos rodadas de comunicação e 26,5 por cento menos transmissão total de dados. Essa redução na comunicação é crítica, pois enviar dados de ida e volta é frequentemente a parte mais cara e demorada do processo. O estudo também descobriu que o novo método foi muito mais consistente, mostrando muito menos variação de desempenho de uma execução para a outra, o que sugere que ele é mais confiável em ambientes imprevisíveis.

O estudo confirmou ainda que essas melhorias não vieram à custa do desempenho quando os dados já estavam bem equilibrados. Em situações onde os dados eram quase uniformes, o novo método teve o mesmo desempenho que a abordagem padrão, provando que não introduz complexidade desnecessária quando esta não é necessária. Os pesquisadores também testaram o quão sensível o sistema era a uma configuração específica que controla o equilíbrio entre confiar no tamanho de um conjunto de dados e confiar na direção da atualização. Eles descobriram que uma configuração equilibrada funcionava melhor, confirmando que a configuração escolhida era robusta. Embora os testes iniciais tenham sido realizados em uma escala menor usando um conjunto de dados simples de dígitos manuscritos, os autores forneceram um guia completo e pronto para uso para executar esses mesmos testes em conjuntos de dados muito maiores e mais complexos, incluindo imagens médicas de lesões cutâneas e radiografias de tórax. Isso sugere que o método não é apenas uma ideia teórica, mas uma ferramenta prática que pode ser aplicada a problemas do mundo real onde a privacidade dos dados e a distribuição desigual são grandes preocupações. O trabalho indica que, ao fazer pequenos e inteligentes ajustes na forma como as informações são combinadas e em quem se pede para contribuir, é possível melhorar significavelmente a velocidade e a precisão dos sistemas de aprendizado colaborativo sem aumentar o fardo da comunicação.