Federated Adversarial Training with Transformers

No mundo moderno da inteligência artificial, as máquinas aprendem estudando vastas quantidades de dados. Geralmente, esses dados são reunidos em um único lugar central, como uma biblioteca massiva, onde um único sistema de computador lê tudo para encontrar padrões. No entanto, um movimento crescente chamado aprendizado federado muda esse arranjo. Em vez de reunir informações privadas de milhões de pessoas em um só lugar, o aprendizado acontece nos próprios dispositivos individuais — telefones, sensores médicos ou servidores locais. Os dispositivos mantêm seus dados privados e enviam apenas pequenas atualizações criptografadas sobre o que aprenderam para um coordenador central. Este coordenador então combina essas atualizações para construir um modelo global mais inteligente, tudo sem jamais ver os dados pessoais brutos. É uma forma poderosa de proteger a privacidade enquanto se avança na tecnologia.

Contudo, esses modelos inteligentes enfrentam um perigo oculto. Assim como um ser humano pode ser enganado por uma ilusão de ótica astuta, uma inteligência artificial pode ser ludibriada por mudanças minúsculas, quase invisíveis, em uma imagem. Uma foto de um panda pode ser alterada por alguns pixels de uma forma que o olho humano não consegue notar, fazendo com que o computador a identifique erroneamente, com confiança, como um gibão. Estes são conhecidos como exemplos adversários. Para se defender deles, pesquisadores utilizam uma técnica chamada treinamento adversário, onde o modelo é repetidamente mostrado essas imagens truqueiras e alteradas durante sua fase de aprendizado, para que aprenda a ignorar o engano. A questão que este novo estudo aborda é se essa defesa funciona quando o aprendizado ocorre de uma forma distribuída e preservadora de privacidade, especificamente usando um tipo moderno de arquitetia chamado transformador de visão (vision transformer), que é atualmente uma das ferramentas mais poderosas para ensinar computadores a enxergar.

Os pesquisadores partiram para testar quão bem esses transformadores de visão poderiam ser treinados para resistir ao engano quando os dados fossem divididos entre cinco clientes diferentes, mimetizando um cenário do mundo real onde os dados não são perfeitamente equilibrados. Eles experimentaram doze variações diferentes do modelo, alterando como as imagens eram fragmentadas em pedaços para o computador analisar e como a decisão final era tomada. Eles também testaram vários métodos diferentes para combinar as atualizações de aprendizado dos cinco clientes. O objetivo era ver qual combinação de design de modelo e método de combinação produzia o resultado mais robusto — um que permanecesse preciso mesmo quando atacado pelos truques mais sofisticados.

A primeira grande descoberta foi uma surpresa para aqueles que esperavam que métodos mais novos fossem sempre melhores. Várias técnicas avançadas, projetadas especificamente para ajudar os modelos a aprenderem mais rápido quando os dados estão distribuídos de forma desigual, na verdade tornaram os transformadores de visão mais vulneráveis a ataques. Esses métodos, que tentam corrigir as diferenças entre os clientes, acabaram retardando o treinamento e exigindo o dobro de dados enviados de volta e de ida entre os dispositivos e o servidor central. Em contraste, o método padrão e mais simples de fazer a média das atualizações teve um desempenho melhor em manter o modelo seguro contra o engano. Resultou que as correções complexas destinadas a corrigir o desequilíbrio de dados eram desnecessárias para este tipo específico de modelo e apenas adicionavam custo sem melhorar a segurança.

O estudo também revelou que a maneira como um modelo olha para uma imagem importa profundamente para sua segurança. Os pesquisadores testaram diferentes formas de fatiar a imagem em tokens, ou pequenos pedaços, antes que o modelo os analisasse. Eles descobriram que um método que divide as imagens em pedaços muito finos e sobrepostos ajudou o modelo a reconhecer objetos melhor em condições normais. No entanto, esse mesmo método tornou o modelo muito mais fácil de ser enganado quando um atacante tentava ludibriá-lo. Por outro lado, modelos que dependiam apenas de tokens visuais específicos para sua decisão final tiveram dificuldades para aprender efetivamente neste ambiente distribuído. A abordagem mais bem-sucedida envolveu um equilíbrio: usar uma mistura de tokens visuais e um token de resumo especial para tomar a decisão final, o que permitiu que o modelo permanecesse preciso enquanto permanecia resistente aos ataques.

Para resolver o problema dos dados desiguais sem o alto custo dos métodos complexos, a equipe introduziu uma nova estratégia chamada FedWAvg. Em vez de tratar a atualização de cada cliente de forma igual ou tentar fazer com que todos pareçam iguais, este novo método observa a camada final de cada modelo de cliente — a parte que realmente toma a decisão. Ele mede o quão proximamente a direção da camada de tomada de decisão de cada cliente se alinha com o modelo global. Se a atualização de um cliente aponta em uma direção semelhante, ele recebe mais peso; se aponta em uma direção muito diferente, recebe menos peso. Isso não é um palpite aleatório, mas um ajuste matemático preciso que garante que o modelo global não se desvie do caminho. Os pesquisadores provaram que esta abordagem nunca torna o modelo pior do que o método padrão e melhora sua capacidade de resistir a ataques especificamente quando os dados são altamente enviesados, enquanto não oferece vantagem consistente sob viés moderado.

Os resultados mostraram que este novo método de ponderação funcionou particularmente bem quando os dados eram muito enviesados, como quando alguns clientes tinham apenas imagens de gatos e cachorros, enquanto outros tinham apenas carros e caminhões. Nesses cenários difíceis, o novo método manteve a precisão do modelo alta e suas defesas fortes, enquanto os métodos antigos e mais complexos falharam. O estudo também destacou que o tamanho do modelo importava; modelos maiores com mais blocos de atenção tiveram um desempenho melhor nesses ambientes desordenados e desiguais, embora exijam mais poder computacional. Os pesquisadores observaram que, embora seus testes tenham sido realizados em um conjunto específico de imagens, os princípios que descobriram sobre como combinar atualizações de aprendizado e como projetar a camada de decisão final do modelo provavelmente se manterão verdadeiros para conjuntos de dados maiores e mais complexos no futuro.

Em última análise, este trabalho fornece um roteiro claro para a construção de uma inteligência artificial segura e preservadora de privacidade. Ele mostra que, na luta contra ataques de decepção, o simples é frequentemente melhor. O caminho mais eficaz à frente não é adicionar mecanismos de correção mais complexos que retardam as coisas, mas sim usar uma forma inteligente e leve de ponderar as contribuições de cada aprendiz. Ao focar no alinhamento das camadas finais de tomada de decisão, o novo método garante que o modelo global permaneça no caminho certo, aprendendo com todos sem ser desviado pelo ruído dos dados desiguais. Esta abordagem oferece uma maneira prática e eficiente de implantar sistemas de visão robustos no mundo real, onde os dados raramente são perfeitos e a privacidade é primordial.