Multimodal Large Language Models as Image Classifiers

Cette étude démontre que les performances apparentes inférieures des modèles de langage multimodaux en classification d'images sont principalement dues à des protocoles d'évaluation défectueux et à un bruit dans les données de référence, et non à une véritable déficience des modèles, dont la qualité s'améliore considérablement avec des annotations corrigées.

L'essentiel

Imaginez que vous avez invité cinq nouveaux amis très intelligents (les MLLM, ou Modèles de Langage Multimodaux) à un jeu de devinettes avec des photos. Le but est simple : montrer une photo et demander à l'ami de dire ce qu'il voit.

Ce papier de recherche, c'est un peu comme le rapport d'un organisateur de jeu qui dit : « Attendez, les résultats que vous avez vus jusqu'à présent sont faussés ! Le jeu était mal réglé, et les règles étaient injustes. »

Voici l'explication de ce qui s'est passé, en images et en métaphores :

1. Le problème du "Jeu de la Chaise Musicale" (Les Règles du Jeu)

Jusqu'à présent, pour tester ces modèles, les chercheurs utilisaient trois façons de jouer, mais elles étaient toutes piégées :

• Le mode "Choix Multiple" (La liste de courses) : On donnait au modèle 4 options (ex: "Chien", "Chat", "Oiseau", "Voiture") et on lui demandait de choisir.
  • Le problème : Les chercheurs mettaient souvent des "fausses pistes" trop faciles (comme mettre "Banane" parmi des options de voitures). C'est comme si on demandait à un enfant de choisir entre "Voiture", "Avion", "Banane" et "Pomme". Bien sûr, il va gagner ! Cela gonflait artificiellement les scores.
• Le mode "Monde Ouvert" (La description libre) : On laissait le modèle décrire la photo avec ses propres mots.
  • Le problème : Si le modèle disait "Un petit chien brun" mais que la bonne réponse était "Beagle", les anciens systèmes disaient "Faux !". C'était injuste, car le modèle avait raison, mais il n'avait pas utilisé le mot exact du dictionnaire.
• Le mode "Monde Fermé" (La liste complète) : On donnait toutes les 1000 catégories possibles.
  • Le problème : Les modèles, parfois un peu trop créatifs, répondaient avec des mots qui n'étaient pas dans la liste (ex: dire "Labrador" alors que la liste disait juste "Chien"). Les chercheurs comptaient cela comme une erreur, alors que c'était juste un problème de vocabulaire.

La solution des auteurs : Ils ont créé un nouveau mode de jeu appelé CW+. C'est comme si, au lieu de rejeter la réponse "Labrador", un traducteur intelligent (un encodeur de texte) disait : « Ah, "Labrador" c'est pareil que "Chien" dans notre liste, donc c'est juste ! ». Cela a permis de voir le vrai talent des modèles.

2. Le problème du "Dictionnaire Tacheté" (Les Étiquettes)

Imaginez que vous avez un livre de photos avec des étiquettes collées dessus. Mais ce livre est vieux et les étiquettes sont pleines d'erreurs.

• Parfois, une photo de deux animaux différents est étiquetée comme s'il n'y en avait qu'un.
• Parfois, l'étiquette dit "Chien" alors que c'est un "Loup".
• Parfois, l'étiquette est complètement fausse.

Les chercheurs ont passé du temps à réécrire les étiquettes (ce qu'ils appellent ReGT). C'est comme nettoyer un tableau noir sale avant de commencer le cours.

La révélation choquante : Quand ils ont testé les modèles avec ces nouvelles étiquettes propres, les scores ont explosé !

• Certains modèles ont gagné jusqu'à +10,8 % de réussite.
• Cela signifie que les modèles n'étaient pas "bêtes" comme on le pensait. Ils étaient juste confus par les mauvaises étiquettes. C'est comme si un élève brillant échouait à un examen parce que le professeur avait écrit les questions avec des fautes d'orthographe.

3. Qui est le meilleur ? (Le Classement)

• Les anciens champions (Modèles supervisés) : Ce sont les modèles classiques, entraînés uniquement sur des photos. Ils sont très forts, mais ils sont comme des robots qui apprennent par cœur. Si l'étiquette est fausse, ils se trompent aussi.
• Les nouveaux venus (MLLM) : Ce sont les modèles qui comprennent le langage et les images.
  • Résultat : Avec les nouvelles étiquettes propres, l'écart entre les anciens champions et les nouveaux venus a presque disparu ! Les modèles comme GPT-4o ou Qwen3-VL sont devenus extrêmement performants, parfois même meilleurs que les modèles classiques sur les images difficiles.

4. L'Assistant de l'Humanité (Le Futur)

La partie la plus intéressante, c'est la fin de l'histoire. Les chercheurs ont demandé à des humains de corriger les photos où le modèle et les anciennes étiquettes ne s'accordaient pas.

• Résultat : Dans 50 % des cas difficiles, les humains ont dit : « Attendez, le modèle a raison ! L'étiquette ancienne était fausse. »
• La métaphore : Les modèles ne sont pas là pour remplacer les humains, mais pour être des assistants de nettoyage. Imaginez un robot qui passe devant un humain et dit : « Hé, cette photo de "seagull" (mouette) est étiquetée "oiseau" dans notre base de données, mais regarde, c'est clairement une mouette, et l'ancienne étiquette est floue. Corrigeons-la ! »

En résumé

Ce papier nous dit :

1. Arrêtez de juger les modèles avec des règles de jeu injustes (comme les choix multiples trop faciles ou les descriptions trop rigides).
2. Les données d'entraînement sont souvent sales. Si vous nettoyez les étiquettes, les modèles semblent beaucoup plus intelligents.
3. Les modèles multimodaux sont prêts. Ils ne sont pas encore parfaits, mais ils sont capables de nous aider à nettoyer nos bases de données et à mieux comprendre le monde visuel, à condition qu'on leur donne des règles claires et des données propres.

C'est un appel à la prudence : ne dites pas "l'IA est mauvaise en reconnaissance d'images" sans vérifier si vous ne lui avez pas donné un jeu de devinettes truqué !

Résumé technique

1. Problématique

Les modèles de langage multimodaux à grande échelle (MLLM) ont démontré des capacités impressionnantes en raisonnement vision-langage. Cependant, leur performance en tant que classificateurs d'images (notamment sur le benchmark ImageNet-1k) fait l'objet de conclusions contradictoires dans la littérature. Certaines études affirment qu'ils sont nettement inférieurs aux modèles de vision supervisés classiques, tandis que d'autres suggèrent une performance comparable aux modèles vision-langage (VLM) comme CLIP.

Les auteurs identifient que ces conflits proviennent de protocoles d'évaluation défectueux et d'une qualité insuffisante des vérités terrain (Ground Truth - GT) :

• Biais d'évaluation : Les protocoles actuels (Open-World, Multiple-Choice, Closed-World) introduisent des artefacts. Par exemple, les choix multiples (MC) avec des distracteurs faibles gonflent artificiellement les performances, tandis que l'Open-World (OW) souffre souvent d'une mauvaise correspondance entre la sortie libre du modèle et les classes du dataset.
• Bruit des données : ImageNet-1k contient des erreurs d'étiquetage significatives (environ 20 % d'erreurs dans l'ensemble de validation), des images multi-objets étiquetées comme mono-étiquettes, et des définitions de classes ambiguës. Cela fausse l'évaluation, en particulier pour les modèles qui ne sont pas sur-ajustés (overfit) aux erreurs de l'ensemble d'entraînement.
• Problème de "Hors-Prompt" (OOP) : Les MLLMs génèrent souvent des étiquettes qui ne figurent pas dans la liste de classes fournie (hallucinations), ce qui est compté comme une erreur dans les protocoles stricts, bien que la sémantique puisse être correcte.

2. Méthodologie

Les auteurs proposent une réévaluation rigoureuse des MLLMs en introduisant de nouvelles données et des protocoles améliorés.

A. Nouveau Benchmark : ReGT (Re-annotated Ground Truth)

• Réannotation : Les auteurs ont réannoté manuellement 625 classes de l'ensemble de validation d'ImageNet-1k (sur 1000).
• Objectif : Corriger les erreurs d'étiquetage, gérer les images multi-objets (en passant à une étiquetage multi-étiquettes) et résoudre les ambiguïtés sémantiques.
• Exclusion : Les catégories animales très fines (sauf certaines races de chiens) ont été exclues car nécessitant une expertise pointue, mais un sous-ensemble "Mustelidae" (furets, belettes) a été évalué séparément via des annotations d'experts.
• Métrique : Adaptation de la précision ReaL (ReaL Accuracy) pour tenir compte des étiquettes multiples et des classes sémantiquement équivalentes (ex: "ordinateur portable" vs "notebook").

B. Protocoles d'Évaluation Unifiés

L'étude compare trois tâches dans un cadre unique :

1. Open-World (OW) : Le modèle génère une description libre, qui est ensuite mappée à la classe la plus proche dans l'espace d'encodage textuel (embedding).
2. Multiple-Choice (MC) : Le modèle choisit parmi 4 options (1 vraie + 3 distracteurs). Les auteurs testent des stratégies de distracteurs plus difficiles (basées sur la matrice de confusion d'un modèle supervisé EVA-02) pour éviter les performances gonflées.
3. Closed-World (CW) et CW+ :
   • CW classique : Le modèle doit choisir parmi les 1000 classes.
   • CW+ (Nouvelle contribution) : Si le modèle génère une étiquette hors de la liste (OOP), au lieu de la rejeter, on utilise un mappage par plus proche voisin dans l'espace d'embedding pour l'associer à la classe la plus proche du prompt. Cela résout le problème des "hallucinations" sémantiquement correctes sans décodage contraint coûteux.

C. Modèles Évalués

Cinq MLLMs (GPT-4o, Qwen3-VL, LLaVA-OneVision, InternVL3.5, PaliGemma 2) sont comparés à des VLMs (SigLIP, DINOv3) et des classificateurs supervisés (EfficientNet, EVA-02).

3. Contributions Clés

1. Benchmark MLLM Amélioré : Introduction d'un cadre d'évaluation unifié (OW, MC, CW+) et d'une nouvelle vérité terrain réannotée (ReGT) pour 625 classes, réduisant le bruit des données.
2. CW+ (Closed-World Plus) : Une méthode légère de post-traitement par embedding qui corrige les prédictions hors-prompt, permettant une évaluation complète sur les 1000 classes sans pénaliser injustement les modèles génératifs.
3. Analyse de la Sensibilité au Bruit d'Annotation : Démonstration que les MLLMs bénéficient le plus de la correction des étiquettes (jusqu'à +10,8 % de gain), révélant que leur "faiblesse" apparente était en grande partie un artefact du bruit de Ground Truth.
4. Impact des Choix de Conception : Quantification de l'impact critique de paramètres souvent négligés : taille du lot (batch size), ordre des images, sélection des distracteurs et choix de l'encodeur de texte.
5. MLLMs comme Assistants d'Annotation : Une étude de cas montre que les MLLMs peuvent aider les annotateurs humains à corriger les erreurs résiduelles dans environ 50 % des cas difficiles.

4. Résultats Principaux

• Réduction de l'écart de performance : Sur les nouvelles étiquettes (ReGT), l'écart de performance entre les meilleurs MLLMs (GPT-4o) et les modèles supervisés d'état de l'art (EVA-02) est réduit de moitié.
  • Exemple : GPT-4o passe de 76 % à ~82 % sur ReGT, tandis qu'EVA-02 reste stable (90 %).
• Sensibilité aux modèles : Les modèles moins dépendants des signaux d'entraînement supervisés (comme les MLLMs et les VLMs auto-supervisés) sont plus sensibles à la qualité des annotations. Ils profitent davantage des corrections de ReGT que les modèles supervisés classiques, qui semblent "ancrés" aux erreurs originales d'ImageNet.
• Performance des protocoles :
  • Le protocole MC avec des distracteurs aléatoires surestime considérablement les performances. L'utilisation de distracteurs difficiles (basés sur la confusion) fait chuter la précision de 10 à 15 %.
  • Le protocole CW+ surpasse systématiquement le CW standard, en particulier pour les modèles comme LLaVA-OV qui ont un taux élevé de prédictions hors-prompt (OOP).
  • En Open-World, certains modèles (LLaVA-OV, Qwen3-VL) surpassent même leurs performances en Closed-World, contredisant les études précédentes qui favorisaient systématiquement le CW.
• Étude de cas (Annotation humaine) : Dans un processus de vérification secondaire, les annotateurs humains ont confirmé ou intégré les prédictions du MLLM (GPT-4o) dans ~50 % des cas où il y avait un désaccord avec la première réannotation, prouvant que même les réannotations humaines contiennent du bruit résiduel que les MLLMs peuvent aider à détecter.

5. Signification et Conclusion

Cette étude remet en question la perception actuelle des capacités des MLLMs en vision par ordinateur. Elle démontre que :

1. Les limitations des MLLMs sont souvent artificielles, dues à des protocoles d'évaluation mal conçus et à des données d'entraînement/évaluation bruitées, plutôt qu'à une incapacité fondamentale du modèle.
2. La qualité des données est primordiale. Les modèles modernes, moins dépendants de l'apprentissage supervisé pur, sont plus réactifs à la qualité des étiquettes.
3. L'avenir de l'évaluation doit intégrer des protocoles plus robustes (comme CW+) et des jeux de données plus propres (ReGT).
4. Synergie Humain-IA : Les MLLMs ne remplacent pas les annotateurs, mais agissent comme des assistants puissants pour identifier et corriger les erreurs dans les pipelines de curation de données à grande échelle.

En résumé, l'article plaide pour une réévaluation plus juste des MLLMs, suggérant qu'ils sont déjà des classificateurs d'images très compétitifs, à condition de corriger les biais méthodologiques et les imperfections des benchmarks traditionnels.