Doomed to Re-Annotate, Forever: The ImageNet Story

Imagine que você está tentando ensinar um robô a ver o mundo, como uma criança aprendendo a reconhecer animais em um zoológico. Para fazer isso, você precisa de um livro de figuras enorme onde cada foto é rotulada com o nome correto do que está dentro. No mundo da visão computacional, esse "livro de figuras" é chamado de ImageNet. Por mais de uma década, ele tem sido o padrão ouro, o teste definitivo para ver se os olhos de um robô estão ficando mais aguçados. O teste é simples: mostre ao robô uma imagem e pergunte: "Qual é a coisa principal nesta foto?". Se o robô acertar a palavra, ele ganha um ponto. Essa pontuação, chamada de "acurácia Top-1", tem sido o placar para cada grande avanço na inteligência artificial.

No entanto, há um porém. Imagine se o seu livro de figuras fosse escrito por uma multidão apressada de pessoas que não entendiam muito de animais e eram pagas por hora. Elas poderiam deixar passar um segundo animal escondido nos arbustos, chamar um cachorro de brinquedo de cachorro real, ou rotular o reflexo de um espelho como o objeto real. Com o tempo, esses pequenos erros se acumulam. Se o livro de testes estiver bagunçado, você não consegue realmente dizer se o robô é inteligente ou se ele apenas teve sorte ao adivinhar as respostas bagunçadas. Este artigo mergulha nesse livro de figuras bagunçado para ver o quão bagunçado ele realmente é, e se podemos limpá-lo sem quebrar o placar.

A Grande Limpeza do ImageNet: Uma História de Rótulos Bagunçados e Robôs Inteligentes

Pense no ImageNet-1k como um álbum de fotos gigante, de 50.000 páginas, que todo o mundo da IA tem usado para treinar seus olhos. Por anos, pesquisadores trataram este álbum como um texto sagrado, assumindo que cada rótulo era perfeito. Mas os autores deste artigo, uma equipe da Universidade Técnica de Tchéquia em Praga, decidiram passar uma lupa em tudo. Eles fizeram uma pergunta simples e terrível: E se as respostas em nosso livro de testes estiverem erradas?

Eles não apenas espiaram algumas páginas; eles re-anotaram todo o conjunto de validação do zero. Isso significa que eles olharam para cada uma das 50.000 imagens novamente, mas desta vez com uma abordagem muito mais inteligente e cuidadosa. Eles perceberam que a forma antiga de rotular — onde um humano tinha que escolher apenas uma palavra para uma foto — era como tentar descrever uma festa caótica nomeando apenas a pessoa que estava mais próxima da porta. Você poderia perder o DJ, o bolo ou o gato sobre a mesa.

A Grande Revelação: O Álbum Estava uma Bagunça
Quando terminaram o trabalho, descobriram que os rótulos originais estavam longe de serem perfeitos.

• A Taxa de "Resposta Errada": Cerca de 12% das imagens tinham o rótulo errado inteiramente. É como uma foto de um gato sendo rotulada como um cachorro.
• A Taxa de "Itens Ausentes": Impressionantes 33,3% das imagens continham, na verdade, múltiplos itens importantes, mas os rótulos antigos escolhiam apenas um. Se uma foto tivesse um cachorro, uma bola e uma cerca, o rótulo antigo poderia dizer apenas "cachorro", ignorando o resto.
• A Taxa de "Sem Correspondência": Surpreendentemente, 3,8% das imagens nem sequer continham nada da lista de 1.000 categorias que deveriam estar testando. Eram apenas telas em branco ou coisas que não se encaixavam nas regras.

Para corrigir isso, a equipe criou o ReImageNet. Em vez de forçar os humanos a escolher um único vencedor, eles permitiram anotações de múltiplos rótulos (multilabel). Eles deixaram os anotadores dizerem: "Ok, há um cachorro, uma bola e uma cerca". Eles também adicionaram "atributos" especiais para lidar com situações complicadas:

• Reflexo: Se você vê um rosto em um espelho, é um rosto? Sim, mas é um reflexo.
• Representação (Rendition): Aquela é uma arma real ou uma arma de brinquedo? O rótulo precisa saber a diferença.
• Multidão: Se há cinquenta pessoas em uma foto, contamos todas elas? Eles criaram uma etiqueta especial para grupos para que os anotadores não tivessem que desenhar cinquenta caixas minúsculas.

A Equipe "Humano + Robô"
Uma das partes mais interessantes da história deles é como eles fizeram isso. Eles não apenas contrataram uma multidão de estranhos na internet (um método chamado crowdsourcing) e esperaram pelo melhor. Eles descobriram que o crowdsourcing frequentemente leva à confusão porque as regras são difíceis demais para explicar em um manual curto.

Em vez disso, eles construíram um "time dos sonhos". Eles contrataram um pequeno grupo de especialistas treinados e deram a eles um superpoder: assistentes de IA. Eles usaram modelos de IA poderosos (como o GPT-4o e outros) para olhar as fotos primeiro e sugerir o que havia nelas. Então, os especialistas humanos verificariam essas sugestões. Era uma colaboração: a IA era o batedor rápido e incansável, e o humano era o editor cuidadoso. O artigo descobriu que essa combinação era a melhor maneira de obter rótulos de alta qualidade. A IA sozinha não era perfeita, e os humanos sozinhos eram lentos demais, mas juntos, eles alcançaram um novo nível de precisão.

O Que Aconteceu Quando Testaram os Robôs?
Assim que tiveram os novos rótulos limpos, eles passaram os antigos modelos de IA pelo teste novamente. Os resultados foram uma mistura de "ops" e "uau".

• A Velha Guarda (Modelos Supervisionados): Os modelos de IA tradicionais, que foram treinados com os rótulos bagunçados antigos, não melhoraram muito. Suas pontuações subiram apenas de 0,05% a 1,2%. Parece que eles já tinham aprendido a adivinhar as respostas bagunçadas muito bem.
• Os Novos Garotos (MLLMs): Os modelos mais novos e avançados (Modelos de Linguagem de Grande Escala Multimodais) viram um salto enorme. Suas pontuações aumentaram de 5% a 6%. Isso sugere que esses modelos mais inteligentes estavam, na verdade, confusos pelos rótulos antigos e bagunçados. Quando os rótulos foram limpos, eles finalmente mostraram o quão inteligentes realmente eram.

A Surpresa do "Zoom-In"
A equipe também fez algo inteligente: eles recortaram os objetos específicos das fotos (como recortar a imagem de apenas o cachorro) e testaram os robôs nessas partes minúsculas. Eles descobriram que os robôs do estilo antigo ficavam péssimos em reconhecer coisas quando o fundo desaparecia. A precisão deles caiu em até 33%. Isso significa que esses robôs dependiam do fundo (como saber que um cachorro geralmente está na grama) em vez de realmente reconhecer o cachorro. Os novos modelos, mais inteligentes, foram muito melhores nisso, provando que realmente "viam" o objeto.

O Efeito Cascata
O artigo também nos alerta que essa bagunça não está apenas no ImageNet. Como tantos outros testes foram construídos usando o ImageNet como um modelo, os erros se espalharam como um vírus. Os autores estimam que esses testes derivados têm de 1,7 a 5,8 vezes mais erros do que o original. É como se você construísse uma casa nova usando uma planta que tinha as medidas erradas; a nova casa seria tão torta quanto.

A Conclusão
Os autores concluem que não podemos simplesmente construir um teste perfeito de uma só vez. Não é um trabalho de uma única etapa; é um processo. Você tem que continuar verificando, continuar refinando e continuar usando as melhores ferramentas disponíveis. Eles argumentam que os dias de rotulagem de "etapa única" acabaram. Para construir o futuro da IA, precisamos de uma parceria entre humanos cuidadosos e IAs poderosas, constantemente checando o trabalho um do outro.

Em resumo, o artigo nos diz que, por muito tempo, estivemos avaliando a IA em um teste que estava cheio de erros de digitação. Agora que corrigimos os erros, vemos que algumas IAs são, na verdade, muito mais inteligentes do que pensávamos, enquanto outras eram apenas boas em adivinhar as respostas erradas. E a lição para todos? Não confie em um livro de testes apenas porque ele é antigo; às vezes, você precisa reescrevê-lo.