How Much Regularization Survives Averaging? Update Masking in Federated Learning

No mundo da inteligência artificial, existe um desafio persistente conhecido como o problema "federado". Imagine um grupo de pessoas, cada uma segurando uma peça única de um quebra-cabeça, que desejam construir uma única imagem completa juntas sem nunca mostrar suas peças individuais a ninguém. É assim que o aprendizado de máquina moderno frequentemente funciona: um computador central coordena muitos dispositivos diferentes, como telefones ou sensores, para aprender uma habilidade compartilhada. O problema é que os dados em cada dispositivo raramente são os mesmos; um telefone pode ter majoritariamente fotos de gatos, enquanto outro tem apenas fotos de carros. Quando o computador central tenta combinar o que todos aprenderam, o modelo resultante muitas vezes tem dificuldade em compreender a imagem completa, falhando em generalizar bem para novas situações. Para corrigir isso, pesquisadores há muito buscam uma maneira de encontrar soluções "planas" no cenário matemático do aprendizado. Pense em um pico agudo versus um planalto largo e plano. Um modelo que cai em um pico agudo pode funcionar perfeitamente para os dados específicos que viu, mas tropeçará imediatamente se os dados mudarem minimamente. Um modelo que se estabelece em um planalto largo e plano é mais robusto; ele pode lidar com pequenas variações nos dados sem desmoronar.

Por anos, cientistas tentaram forçar esses modelos a encontrar esses planaltos planos adicionando ruído ou cometendo erros pequenos e deliberados durante o processo de aprendizado. Esse ruído atua como um sacudidor suave, impedindo o modelo de ficar preso em um lugar estreito e frágil. Recentemente, uma técnica específica chamada "mascaramento de atualização" (update masking) tornou-se popular no treinamento centralizado, onde um único computador faz todo o trabalho. Este método descarta aleatoriamente partes das instruções de aprendizado e reescala o restante, efetivamente adicionando um tipo de ruído útil que empurra o modelo em direção a essas áreas estáveis e planas. No entanto, quando pesquisadores tentaram trazer essa técnica para o ambiente federado, onde muitos dispositivos aprendem separadamente e depois combinam seus resultados, ela pareceu desaparecer. A questão que uma equipe de pesquisadores da Universidade de Sophia e da Shendian Energy Co., Ltd. se propôs a responder era simples: para onde foi esse ruído útil e seria possível recuperá-lo?

Os pesquisadores descobriram que o ruído não desapareceu; ele foi simplesmente diluído pelo próprio ato de combinar os resultados. Em sua configuração, eles tinham cem dispositivos diferentes, ou "clientes", cada um aprendendo em sua própria fatia de dados. Em uma abordagem padrão, cada dispositivo decidiria aleatoriamente quais partes de suas instruções de aprendizado manter e quais descartar, usando seu próprio padrão único de escolhas. Quando o servidor central coletava essas atualizações e as mediava, as escolhas aleatórias dos dispositivos individuais se cancelavam mutuamente. Era como se dez pessoas estivessem tentando empurrar um objeto pesado em direções aleatórias ligeiramente diferentes; o resultado líquido era que o objeto mal se movia. A penalidade matemática que normalmente força um modelo a ser robusto era enfraquecida por um fator igual ao número de dispositivos no grupo. Com dez dispositivos, o efeito útil era reduzido a um décimo de sua força original, deixando o modelo com quase nenhuma proteção contra o sobreajuste (overfitting).

A equipe então testou uma estratégia diferente: e se cada dispositivo usasse exatamente o mesmo padrão de escolhas? Se todas as dez pessoas empurrassem o objeto na mesma direção aleatória, o efeito seria preservado. Os pesquisadores descobriram que sincronizar essas escolhas de fato restaurava o ruído protetor, mas com uma ressalva importante. A força do ruído restaurado dependia inteiramente de quanto os dispositivos concordavam entre si. Se os dispositivos estivessem aprendendo de dados muito diferentes e suas atualizações apontassem em direções conflitantes, o ruído sincronizado tornava-se ineficaz ou até prejudicial. A medida desse acordo é chamada de "diversidade de gradiente", um conceito que essencialmente conta quanto os esforços individuais dos dispositivos se sobrepõem. Quando os dispositivos estão em harmonia, o ruído retorna com força total. Quando estão em conflito, o ruído é diminuído ou perdido inteiramente.

Para entender por que isso acontecia na prática, os pesquisadores realizaram experimentos extensos usando um conjunto de dados de imagens padrão chamado CIFAR-10, particionado entre cem clientes simulados. Eles mediram exatamente quanto do ruído protetor sobrevivia ao processo de média sob diferentes condições. Descobriram que, na configuração mais comum, onde os dispositivos aprendem em pequenos lotes (batches) de dados, a taxa de sobrevivência era assustadoramente baixa. De uma força máxima possível de dez, o ruído que realmente alcançava o modelo final era de apenas cerca de 1,19. Essa fração minúscula significava que o modelo era pouco mais robusto do que se nenhum ruído tivesse sido adicionado. Os pesquisadores rastrearam essa falha até a amostragem aleatória de dados que ocorre em cada etapa do aprendizado padrão. O ruído introduzido pela escolha de pequenos lotes de imagens sobrecarregava o ruído específico e útil gerado pela técnica de mascaramento, abafando-o.

A equipe também investigou se as diferenças nos próprios dados — o fato de alguns dispositivos terem mais gatos e outros terem mais carros — eram a culpada. Eles variaram a distribuição de dados para torná-la extremamente desigual, com alguns dispositivos detendo cem vezes mais dados do que outros. Surpreendentemente, essa diferença extrema teve pouco efeito na taxa de sobrevivência do ruído. Quer os dados fossem quase idênticos ou drasticamente diferentes, a taxa de sobrevivência permanecia estagnada entre 1,17 e 1,50. A verdadeira barreira não era a diversidade dos dados, mas o método de aprendizado. Quando os pesquisadores desligaram a amostragem de pequenos lotes e permitiram que cada dispositivo aprendesse de toda a sua coleção de dados de uma só vez, a taxa de sobrevivência saltou dramaticamente para 8,96. Isso provou que o ruído aleatório dos pequenos lotes era a razão principal para a falha da técnica em ambientes federados.

No entanto, o estudo concluiu com um choque de realidade. Embora seja matematicamente possível recuperar toda a força do ruído protetor usando grandes lotes de dados completos e escolhas sincronizadas, fazer isso tem um custo terrível para o desempenho real do modelo. As configurações que permitiam que o ruído sobrevivesse eram as mesmas que produziam os piores resultados de aprendizado, com a precisão de teste caintando significativamente. Nos experimentos, os melhores modelos, que usavam pequenos lotes, tinham quase nenhum ruído protetor restante, enquanto os modelos com mais ruído eram imprecisos demais para serem úteis. Os pesquisadores não encontraram um meio-termo onde o ruído pudesse ser preservado sem sacrificar a capacidade de aprendizado do modelo.

Em última análise, o artigo revela que a falha do mascaramento de atualização no aprendizado federado não é um descuido ou um erro de programação, mas uma consequência fundamental de como o sistema funciona. O próprio mecanismo que permite que muitos dispositivos aprendam juntos — a média de suas atualizações — também lava o tipo específico de ruído em que o mascaramento de atualização se baseia. Os pesquisadores mostraram que, embora seja possível forçar o ruído a sobreviver através da sincronização dos dispositivos, as condições necessárias para fazê-lo são incompatíveis com as necessidades práticas de treinar um modelo útil. O efeito protetor que funciona tão bem em um único computador simplesmente não se traduz para uma rede de muitos, a menos que se esteja disposto a aceitar um modelo que aprende muito mal. O estudo deixa o campo com uma compreensão clara dos limites desta técnica, sugerindo que soluções futuras devem buscar em outros lugares formas de ajudar os modelos federados a encontrar aqueles planaltos estáveis e planos.