Augmentation-induced sibling leakage in small-data surface imaging: measurement and a reporting protocol

No mundo da imagem microscópica, os cientistas frequentemente enfrentam um problema de escassez. Eles precisam ensinar computadores a reconhecer minúsculos defeitos em superfícies metálicas ou átomos individuais em um cristal, mas simplesmente não possuem imagens suficientes para fazê-lo. Uma única varredura pode levar horas, e um pesquisador pode conseguir capturar apenas uma dúzia de imagens de alta qualidade de uma falha específica. Para superar essa falta, os pesquisadores usam um truque padrão chamado aumento de dados (data augmentation). Eles pegam essas poucas imagens originais e as torcem matematicamente — rotacionando-as, invertendo-as, alterando seu brilho ou borrando-as levemente — para criar centenas ou até milhares de novos exemplos de treinamento. É como pegar uma única fotografia de uma árvore e criar uma floresta inteira de versões ligeiramente diferentes dessa mesma árvore para ensinar a um aluno como é uma árvore.

O objetivo deste treinamento é construir um modelo que possa olhar para uma imagem nova e inédita e identificar corretamente um defeito. Para provar que o modelo funciona, os cientistas dividem seus dados em dois montes: um para o ensino e outro para o teste. O modelo aprende com o primeiro monte e é então avaliado no segundo. Se o modelo obtiver uma pontuação alta, assume-se que ele é inteligente e está pronto para o uso no mundo real. No entanto, uma questão crítica permanece: o modelo realmente entende o conceito de um defeito, ou simplesmente memorizou as imagens específicas que lhe foram mostradas? Essa distinção é a diferença entre o aprendizado verdadeiro e o simples reconhecimento.

Um estudo recente de Shaoxuan Zhang, do Instituto de Tecnologia de Harbin, investiga uma falha oculta na forma como esse processo é frequentemente realizado. O pesquisador descobriu que, quando os cientistas criam seus milhares de imagens de treinamento a partir de apenas um punhado de originais, eles frequentemente cometem um erro na forma como separam o monte de ensino do monte de teste. Em vez de manter as imagens originais de origem separadas, eles misturam todas as versões torcidas e depois as distribuem aleatoriamente. Isso significa que uma imagem usada para teste pode ser uma cópia levemente rotacionada ou com brilho alterado de uma imagem que o modelo viu durante o treinamento. O modelo não está sendo testado em sua capacidade de generalizar para novas situações; está sendo testado em sua capacidade de reconhecer uma quase duplicata de algo que já viu. O estudo mede exatamente o quanto esse erro infla as taxas de sucesso relatadas e propõe uma maneira simples de corrigir os padrões de relatório.

Para medir o tamanho desse problema, o pesquisador configurou um experimento controlado usando dois tipos diferentes de dados microscópicos. Um conjunto de dados continha imagens de defeitos em superfícies de aço, e o outro continha imagens de defeitos pontuais em cristais capturadas por um microscópio de tunelamento estocástico. Em ambos os casos, o pesquisador começou com um pequeno número de imagens originais, conhecidas como aquisições. Para cada imagem original, ele gerou oitenta variações diferentes usando truques computacionais padrão. Eles então criaram duas maneiras diferentes de dividir este conjunto de imagens. O primeiro método, que é comum em muitos artigos atuais, pegou todas as variações de todas as imagens originais, misturou-as em um grande balde e escolheu aleatoriamente algumas para treinamento e outras para teste. O segundo método era mais rigoroso: manteve as imagens originais separadas. Ele reservou uma imagem original inteira para teste e usou apenas as variações das imagens originais restantes para o treinamento. Isso garantiu que o modelo nunca tivesse visto nada da imagem de teste antes.

Os resultados mostraram uma lacuna massiva entre os dois métodos. Quando o modelo foi treinado e testado usando o método de mistura aleatória, ele alcançou pontuações quase perfeitas. No conjunto de dados de superfície de aço, o modelo atingiu uma pontuação de 1,000, o que significa que encontrou cada um dos defeitos que deveria encontrar. No entanto, quando o mesmo modelo foi testado usando o método mais rigoroso que manteve as fontes originais separadas, a pontuação caiu dramaticamente. Nos menores orçamentos de dados, onde havia apenas duas imagens originais por tipo de defeito, o método aleatório superestimou o desempenho do modelo em mais de meio ponto em uma escala onde 1,0 é perfeito. Mesmo quando o número de imagens originais foi aumentado para dez, o método aleatório ainda superestimava o desempenho por uma margem significativa. O modelo não estava falhando em aprender; estava tendo sucesso demais em reconhecer cópias do que já havia estudado.

O estudo também revelou que essa inflação não era uniforme em todos os tipos de defeitos. Alguns defeitos eram fáceis de reconhecer apenas pela sua textura, e o modelo teve um bom desempenho independentemente do método de teste. No entanto, para defeitos que dependiam do aspecto específico da varredura original, o método aleatório fez o modelo parecer um gênio, enquanto o método rigoroso mostrou que ele estava com dificuldades. Isso sugere que uma pontuação alta nesses estudos pode não significar que o modelo aprendeu a encontrar defeitos em geral, mas sim que aprendeu a reconhecer os artefatos específicos das poucas imagens em que foi treinado. A lacuna entre os dois métodos diminuiu ligeiramente à medida que mais imagens originais eram adicionadas, mas não desapareceu. Mesmo com dez imagens originais, o método aleatório ainda dava uma pontuação trinta pontos maior do que o método rigoroso, indicando que o problema persiste mesmo com mais dados.

O pesquisador também desenvolveu uma ferramenta simples para detectar esse problema sem a necessidade de treinar um modelo. Ao comparar as imagens no conjunto de teste com as imagens no conjunto de treinamento, a ferramenta pode calcular quantas imagens de teste têm um "irmão" no conjunto de treinamento. Um irmão é simplesmente uma variação da mesma imagem original. Se um grande número de imagens de teste tem irmãos no conjunto de treinamento, é um sinal claro de que a avaliação é falha. Essa verificação leva apenas segundos para ser executada e não requer hardware especial. O estudo descobriu que, nas divisões aleatórias falhas, quase todas as imagens de teste tinham um irmão no conjunto de treinamento, enquanto nas divisões rigorosas, nenhuma tinha.

Com base nessas descobertas, o artigo propõe um novo padrão para como os pesquisadores devem relatar seu trabalho. Em vez de apenas dizer quantas imagens foram usadas, os autores devem relatar com quantas aquisições originais e independentes começaram. Eles devem declarar claramente se os dados foram divididos antes ou depois de as imagens serem torcidas e expandidas. Eles devem especificar a unidade da divisão, como se separaram por imagem individual ou pela fonte original. Finalmente, eles devem incluir uma verificação simples para mostrar quantas imagens de teste têm irmãos no conjunto de treinamento. Essas quatro informações são fáceis de fornecer e tornariam as limitações dos estudos de pequenos conjuntos de dados visíveis, em vez de ocultas.

O estudo conclui que, no campo da imagem de pequenos conjuntos de dados, onde os pesquisadores frequentemente têm apenas algumas varreduras originais, a forma atual de avaliar modelos é enganosa. As pontuações altas relatadas em muitos artigos descrevem a capacidade do modelo de reconhecer cópias dos dados de treinamento, em vez de sua capacidade de encontrar defeitos em situações novas e inéditas. À medida que esses sistemas de computador passam da análise offline para o controle de experimentos reais, confiar nessas pontuações infladas pode levar a decisões erradas. A solução não é necessariamente um novo algoritmo ou computadores mais poderosos, mas uma mudança na forma como os dados são tratados e relatados. Ao manter as fontes originais separadas e ser transparente sobre o processo, a comunidade científica pode garantir que os modelos que constroem estejam verdadeiramente prontos para o mundo real.