Doomed to Re-Annotate, Forever: The ImageNet Story

Imaginez que vous essayez d'apprendre à un robot à voir le monde, comme un enfant apprenant à reconnaître les animaux dans un zoo. Pour ce faire, vous avez besoin d'un livre d'images massif où chaque photo est étiquetée avec le nom correct de ce qui se trouve à l'intérieur. Dans le monde de la vision par ordinateur, ce « livre d'images » est appelé ImageNet. Pendant plus d'une décennie, il a été la référence absolue, le test ultime pour voir si les yeux d'un robot s'aiguisent. Le test est simple : montrez au robot une image et demandez-lui : « Quel est l'élément principal dans cette photo ? » Si le robot devine le bon mot, il gagne un point. Ce score, appelé « précision Top-1 », a été le tableau des scores de chaque avancée majeure de l'intelligence artificielle.

Cependant, il y a un piège. Imaginez si votre livre d'images avait été écrit par une foule pressée de gens qui ne connaissent pas grand-chose aux animaux et qui étaient payés à l'heure. Ils pourraient manquer un second animal caché dans les buissons, prendre un chien en jouet pour un vrai chien, ou étiqueter le reflet d'un miroir comme l'objet réel. Avec le temps, ces petites erreurs s'accumulent. Si le livre de test est désordonné, vous ne pouvez pas vraiment savoir si le robot est intelligent ou s'il a simplement eu de la chance en devinant les réponses désordonnées. Ce document plonge dans ce livre d'images désordonné pour voir à quel point il est réellement désordonné, et si nous pouvons le nettoyer sans casser le tableau des scores.

Le grand nettoyage d'ImageNet : Une histoire d'étiquettes désordonnées et de robots intelligents

Considérez l'ImageNet-1k comme un gigantesque album photo de 50 000 pages que le monde entier de l'IA a utilisé pour entraîner ses yeux. Pendant des années, les chercheurs ont traité cet album comme un texte sacré, supposant que chaque étiquette était parfaite. Mais les auteurs de ce document, une équipe de l'Université technique tchèque de Prague, ont décidé de passer l'ensemble au microscope. Ils ont posé une question simple, et terrifiante : Et si les réponses dans notre livre de test étaient fausses ?

Ils ne se sont pas contentés de jeter un coup d'œil à quelques pages ; ils ont ré-annoté l'ensemble du jeu de validation à partir de zéro. Cela signifie qu'ils ont examiné à nouveau chacune des 50 000 images, mais cette fois avec une approche beaucoup plus intelligente et prudente. Ils ont réalisé que l'ancienne méthode d'étiquetage — où un humain devait choisir un seul mot pour une image — revenait à essayer de décrire une fête chaotique en ne nommant que la personne debout près de la porte. Vous pourriez manquer le DJ, le gâteau ou le chat sur la table.

La grande révélation : L'album était un désordre
Lorsqu'ils ont terminé leur travail, ils ont découvert que les étiquettes originales étaient loin d'être parfaites.

• Le taux de « Mauvaise Réponse » : Environ 12 % des images avaient une étiquette totalement erronée. C'est comme une photo de chat étiquetée comme un chien.
• Le taux d'« Éléments Manquants » : Un chiffre impressionnant de 33,3 % des images contenaient en réalité plusieurs choses importantes, mais les anciennes étiquettes n'en choisissaient qu'une seule. Si une photo contenait un chien, une balle et une clôture, l'ancienne étiquette pourrait simplement dire « chien », ignorant le reste.
• Le taux de « Pas de Correspondance » : Étonnamment, 3,8 % des images ne contenaient rien de ce qui figurait dans la liste des 1 000 catégories qu'elles étaient censées tester. C'étaient de simples pages blanches ou des choses qui ne respectaient pas les règles.

Pour corriger cela, l'équipe a créé ReImageNet. Au lieu de forcer les humains à choisir un seul vainqueur, ils ont permis des annotations multi-étiquettes. Ils ont laissé les annotateurs dire : « D'accord, il y a un chien, une balle et une clôture. » Ils ont également ajouté des « attributs » spéciaux pour gérer les situations délicates :

• Réflexion : Si vous voyez un visage dans un miroir, est-ce un visage ? Oui, mais c'est un reflet.
• Rendu : Est-ce un vrai pistolet ou un pistolet jouet ? L'étiquette doit connaître la différence.
• Foule : S'il y a cinquante personnes sur une photo, est-ce qu'on les compte toutes ? Ils ont créé une étiquette spéciale pour les groupes afin que les annotateurs n'aient pas à dessiner cinquante petites boîtes.

L'équipe « Humain + Robot »
L'un des aspects les plus intéressants de leur histoire est la manière dont ils l'ont fait. Ils n'ont pas simplement embauché une foule d'inconnus sur Internet (une méthode appelée « crowdsourcing ») en espérant que tout se passe bien. Ils ont constaté que le crowdsourcing menait souvent à la confusion car les règles sont trop difficiles à expliquer dans un court manuel.

Au lieu de cela, ils ont construit une « équipe de rêve ». Ils ont embauché un petit groupe d'experts formés et leur ont donné un super-pouvoir : des assistants IA. Ils ont utilisé des modèles d'IA puissants (comme GPT-4o et d'autres) pour examiner les photos en premier et suggérer ce qui s'y trouvait. Ensuite, les experts humains vérifiaient ces suggestions. C'était une collaboration : l'IA était l'éclaireur rapide et infatigable, et l'humain était l'éditeur méticuleux. Le document a révélé que cette combinaison était la meilleure façon d'obtenir des étiquettes de haute qualité. L'IA seule n'était pas parfaite, et les humains seuls étaient trop lents, mais ensemble, ils ont atteint un nouveau niveau de précision.

Qu'est-il arrivé lorsqu'ils ont testé les robots ?
Une fois qu'ils ont obtenu les nouvelles étiquettes propres, ils ont soumis les anciens modèles d'IA au test à nouveau. Les résultats étaient un mélange de « oups » et de « wow ».

• La vieille garde (Modèles supervisés) : Les modèles d'IA traditionnels, qui avaient été entraînés sur les anciennes étiquettes désordonnées, ne se sont pas beaucoup améliorés. Leurs scores n'ont augmenté que de 0,05 % à 1,2 %. Il semble qu'ils avaient déjà appris à deviner les réponses désordonnées assez bien.
• Les nouveaux venus (MLLM) : Les modèles plus récents et plus avancés (Modèles de Langage de Grande Taille Multimodaux) ont connu un bond énorme. Leurs scores ont augmenté de 5 % à 6 %. Cela suggère que ces modèles plus intelligents étaient réellement confus par les anciennes étiquette désordonnées. Lorsque les étiquettes ont été nettoyées, ils ont enfin pu montrer à quel point ils étaient réellement intelligents.

La surprise du « Zoom »
L'équipe a également fait quelque chose d'astucieux : elle a découpé les objets spécifiques des photos (comme recadrer une image pour n'avoir que le chien) et a testé les robots sur ces petits morceaux. Ils ont découvert que les anciens types de robots devenaient très mauvais pour reconnaître les choses lorsque l'arrière-plan disparaissait. Leur précision chutait jusqu'à 33 %. Cela signifie que ces robots s'appuyaient sur l'arrière-plan (comme savoir qu'un chien est généralement sur de l'herbe) plutôt que de réellement reconnaître le chien. Les nouveaux modèles, plus intelligents, étaient bien meilleurs à cela, prouvant qu'ils « voyaient » réellement l'objet.

L'effet de ricochet
Le document nous avertit également que ce désordre ne se limite pas à ImageNet. Parce que tant d'autres tests ont été construits en utilisant ImageNet comme modèle, les erreurs se sont propagées comme un virus. Les auteurs estiment que ces tests dérivés comportent 1,7 à 5,8 fois plus d'erreurs que l'original. C'est comme si vous construisiez une nouvelle maison en utilisant un plan qui comporte de mauvaises mesures ; la nouvelle maison serait tout aussi de travers.

La conclusion à retenir
Les auteurs concluent que nous ne pouvons pas simplement construire un test parfait en une seule fois. Ce n'est pas un travail ponctuel ; c'est un processus. Il faut continuer à vérifier, continuer à affiner et continuer à utiliser les meilleurs outils disponibles. Ils soutiennent que l'époque de l'étiquetage en « une seule étape » est révolue. Pour construire l'avenir de l'IA, nous avons besoin d'un partenariat entre des humains méticuleux et une IA puissante, qui vérifient constamment le travail de l'autre.

En résumé, le document nous dit que pendant longtemps, nous avons évalué l'IA sur un test rempli de fautes de frappe. Maintenant que nous avons corrigé les fautes, nous voyons que certaines IA sont en fait bien plus intelligentes que nous le pensions, tandis que d'autres étaient simplement douées pour deviner les mauvaises réponses. Et la leçon pour tout le monde ? Ne faites pas confiance à un livre de test simplement parce qu'il est ancien ; parfois, il faut le réécrire.