Training-seed variance in single-run comparisons of frozen-CLIP adaptation: evidence from cross-dataset facial expression recognition

No mundo da inteligência artificial, os computadores são cada vez mais ensinados a reconhecer o mundo estudando vastas bibliotecas de imagens e textos em conjunto. Esse processo cria um cérebro poderoso e de propósito geral que pode compreender imagens que nunca viu antes. No entanto, quando esses sistemas são implantados no mundo real, eles frequentemente tropeçam. Um modelo treinado em um conjunto de fotos pode falhar miseravelmente ao ser confrontado com imagens tiradas sob diferentes iluminações, por câmeras diferentes ou apresentando pessoas diferentes. Este é um problema comum no reconhecimento de expressões faciais, onde um computador treinado para detectar felicidade ou raiva em um conjunto de dados muitas vezes perde sua precisidade ao enfrentar uma nova coleção de rostos. Para corrigir isso sem ter que retreinar todo o massivo cérebro, pesquisadores desenvolveram técnicas de "adaptação". Esses métodos mantêm o cérebro principal congelado e inalterado, adicionando apenas uma pequena camada treinável por cima para se ajustar à nova situação. É uma solução prática, mas baseia-se em uma suposição perigosa: a de que, se um pesquisador executar esse processo de ajuste uma única vez e obtiver um resultado, esse resultado é a verdade.

Uma equipe de pesquisadores da Universidade de Tecnologia de Hefei estabeleceu o objetivo de testar se essa suposição de execução única se sustenta. Eles se concentraram em duas formas concorrentes de adaptar esses cérebros de IA congelados para o reconhecimento de expressões faciais. Um método, chamado de "rota global", pega um resumo único de toda a imagem e tenta ajustar esse resumo para se adequar à nova tarefa. O outro, conhecido como "rota de tokens", trabalha de forma diferente; em vez de resumir a imagem primeiro, ele observa as partes individuais da imagem e aprende como ponderá-las antes de tomar uma decisão. Por anos, assumiu-se que a rota de tokens era superior porque preserva mais detalhes. Para testar isso, os pesquisadores aplicaram ambos os métodos de adaptação a um modelo de IA congelado padrão. Mas, em vez de realizar o experimento uma única vez e relatar o vencedor, eles o realizaram muitas vezes, alterando apenas o ponto de partida aleatório do processo de treinamento, conhecido como "semente" (seed). Eles fizeram isso para dois tamanhos diferentes de modelos de IA, executando o experimento dez vezes no modelo menor e quinze vezes no maior, sempre usando exatamente os mesmos dados e regras.

Os resultados deste reteste rigoroso foram surpreendentes. Quando os pesquisadores analisaram os dados de uma única execução, a rota de tokens parecia ser significativamente melhor que o método global em um teste de cross-dataset, liderando por quase quatro pontos percentuais. Este é o tipo de resultado de manchete que costuma definir um campo de estudo. No entanto, quando eles calcularam a média dos resultados ao longo de todas as dez ou quinze execuções de treinamento, essa liderança desapareceu. Na verdade, para o modelo de IA menor, a vantagem inverteu-se inteiramente; a rota de tokens teve, na verdade, um desempenho pior que o método global na média. A diferença entre a melhor e a pior execução foi tão grande que eclipsou completamente a afirmação original. Os pesquisadores descobriram que o ponto de partida aleatório do processo de treinamento foi suficiente para reverter a conclusão do estudo. Cinco das seis principais comparações que fizeram mostraram essa instabilidade, o que significa que um único experimento poderia facilmente relatar um "vencedor" que perderia se o experimento fosse simplesmente repetido com um ponto de partida aleatório diferente.

Houve, contudo, uma exceção que sobreviveu ao teste da repetição. Em um teste específico envolvendo imagens degradadas por distorções sintéticas, como desfoque ou ruído, a rota de tokens superou consistentemente o método global no modelo de IA maior. Essa vantagem manteve-se verdadeira em todas as quinze execuções de treinamento, com a rota de tokens liderando por cerca de três pontos e meio. Para terem absoluta certeza de que isso não era um acaso, os pesquisadores levaram essa descoberta a um conjunto de dados de expressões faciais completamente novo, que nunca haviam tocado antes. Eles aplicaram as mesmas regras estritas e critérios predefinidos. A rota de tokens venceu novamente, liderando por quase três pontos. Isso confirmou que, embora a rota de tokens não seja uma bala de prata universal que vence tudo em todas as situações, ela possui uma força genuína e reproduzível ao lidar com tipos específicos de corrupção de imagem em modelos maiores.

O estudo também revelou que a maneira como os pesquisadores ajustam seus experimentos importa tanto quanto o próprio ponto de partida aleatório. Quando os pesquisadores permitiram que a taxa de aprendizado — uma configuração fundamental que controla a velocidade com que o modelo aprende — fosse escolhida de forma diferente para cada execução aleatória, os resultados mudaram drasticamente. Em um caso, alterar essa configuração moveu a diferença de desempenho em mais de três pontos, que era exatamente o tamanho do efeito que a execução única original havia alegado encontrar. Isso sugere que o "vencedor" de uma comparação depende tanto das escolhas específicas de ajuste quanto do próprio método. Os pesquisadores concluíram que o campo tem dependido excessivamente de comparações de execução única, que podem produzir alegações direcionais enganosas. Eles demonstraram que, para muitos métodos de adaptação, o ruído introduzido pelas variações aleatórias do treinamento é grande o suficiente para inverter os resultados. A única maneira de saber se um método é realmente melhor é executá-lo muitas vezes e relatar a dispersão dos resultados, em vez de apenas o melhor resultado único.

Este trabalho não declara que um método de adaptação é permanentemente superior ao outro. Em vez disso, revela que o cenário da adaptação de IA é muito mais instável do que se pensava anteriormente. A rota de tokens não é uma vitória garantida, nem o método global é um fracasso; seu desempenho é altamente sensível às sementes aleatórias usadas durante o treinamento e às condições específicas do teste. A única descoberta clara e reproduzível é que a rota de tokens oferece uma vantagem real para modelos maiores quando as imagens estão corrompidas, mas essa força não se estende a todas as tarefas ou todos os tamanhos de modelos. O estudo serve como uma correção necessária à forma como essas tecnologias são avaliadas, instando os pesquisadores a irem além de instantâneos únicos de desempenho e abraçarem o quadro completo de variabilidade. Ao fazer isso, a comunidade científica pode distinguir entre o ruído estatístico passageiro e melhorias genuínas e confiáveis na forma como as máquinas entendem os rostos humanos.