Large Multimodal Models as General In-Context Classifiers

Cet article démontre que les grands modèles multimodaux (LMM), grâce à l'apprentissage en contexte et à la méthode proposée CIRCLE pour l'auto-amélioration des exemples, peuvent surpasser les modèles de vision-langage contrastifs (VLM) dans des tâches de classification en monde fermé et ouvert, se positionnant ainsi comme des classificateurs unifiés et flexibles.

L'essentiel

Le Titre du Film : "Les Super-Héros de l'Image"

Imaginez le monde de l'intelligence artificielle visuelle comme un grand royaume peuplé de deux types de gardiens :

1. Les "Compareurs" (les VLMs comme CLIP) : Ce sont des experts en reconnaissance rapide. Ils ont lu des millions de livres et vu des milliards de photos. Si vous leur montrez un chat, ils disent immédiatement : "C'est un chat !". Ils sont très forts pour classer des choses quand on leur donne une liste de choix (par exemple : "Est-ce un chat, un chien ou un oiseau ?").
2. Les "Raconteurs" (les LMMs comme Qwen ou Phi) : Ce sont des conteurs très intelligents. Ils peuvent décrire une image en détail, raconter une histoire, ou répondre à des questions complexes. Mais jusqu'à présent, on pensait qu'ils étaient un peu "lourds" et moins précis pour faire du simple triage (classer des images).

Le problème : Les chercheurs se demandaient : "Pourquoi utiliser le conteur lent et bavard quand le compareur rapide fait le travail mieux ?"

L'Idée Géniale : Le "Copier-Coller" de l'Intelligence

Les auteurs de cette étude ont eu une idée brillante. Ils se sont dit : "Et si on donnait au conteur (le LMM) quelques exemples avant de lui poser la question ?"

C'est ce qu'on appelle l'apprentissage en contexte (In-Context Learning).

L'analogie de l'élève :
Imaginez que vous devez passer un examen de biologie.

• Sans aide (Zero-Shot) : Le conteur regarde la photo d'un animal et essaie de deviner. Il peut se tromper.
• Avec des exemples (In-Context) : Avant l'examen, vous lui montrez 16 photos d'animaux avec leurs noms écrits juste en dessous. "Voici un lion, voici un tigre, voici un ours".
• Le résultat : Le conteur, en voyant ces exemples, comprend soudainement le "style" de l'examen. Il se met dans le bain et devient aussi bon, voire meilleur, que le compareur rapide !

Le Problème : Les "Mauvaises Notes" (Le Monde Ouvert)

Mais il y a un piège. Dans le monde réel (le "Monde Ouvert"), on ne connaît pas toujours la liste des réponses possibles. Parfois, on ne sait pas si l'animal est un "chien" ou un "loup".

Si on donne au conteur des exemples avec de mauvaises étiquettes (par exemple, on lui dit que c'est un "chien" alors que c'est un "loup"), il va se tromper et tout gâcher. C'est comme si un élève apprenait ses leçons avec un professeur qui fait des erreurs : l'élève va apprendre les mauvaises réponses.

La Solution Magique : CIRCLE (Le Cercle de la Vérité)

C'est ici que les auteurs proposent leur invention, appelée CIRCLE.

L'analogie du "Cercle de Discussion" :
Au lieu de donner des étiquettes fixes aux exemples, CIRCLE utilise une méthode intelligente :

1. Il demande au conteur de deviner le nom de chaque exemple.
2. Ensuite, il prend un exemple et lui dit : "Regarde tous les autres exemples que nous avons, et dis-moi si ton nom est correct par rapport à eux."
3. Il répète ce processus plusieurs fois, comme un groupe d'amis qui se corrige mutuellement.

En résumé : CIRCLE permet au modèle de se dire : "Attends, si je regarde les autres images, je me rends compte que celle-ci ressemble plus à un 'loup' qu'à un 'chien'. Je vais corriger mon étiquette."

Les Résultats : Qui Gagne ?

Grâce à cette méthode, les chercheurs ont découvert deux choses étonnantes :

1. En classe fermée (choix limités) : Avec quelques exemples, le "conteur" (LMM) rattrape son retard et devient aussi performant que le "compareur" rapide.
2. En classe ouverte (monde réel) : Le "conteur" devient meilleur que le "compareur". Pourquoi ? Parce qu'il peut comprendre les nuances, corriger ses propres erreurs grâce au cercle CIRCLE, et donner des réponses plus précises et plus humaines.

La Conclusion en Une Phrase

Cette étude nous apprend que nous n'avons pas besoin de choisir entre un expert rapide et un conteur intelligent. En utilisant un peu de "pédagogie" (donner des exemples et laisser le modèle se corriger tout seul), nous pouvons transformer le conteur en un super-classificateur universel, capable de tout comprendre, du plus simple au plus complexe, sans avoir besoin de le réapprendre de zéro.

C'est comme transformer un élève brillant mais distrait en un champion du monde en lui donnant juste un peu de contexte et la possibilité de se corriger !

Résumé technique

1. Problématique

Le domaine de la classification d'images a été transformé par les Modèles Vision-Language (VLM) basés sur le contraste (comme CLIP), qui excellent dans la classification "zero-shot" (sans entraînement supplémentaire) grâce à leur capacité à mesurer la similarité entre une image et des étiquettes textuelles.

Cependant, les Grands Modèles Multimodaux (LMM), conçus pour des tâches génératives complexes, ont traditionnellement été considérés comme inférieurs aux VLM pour la classification discriminative, même dans des scénarios "open-world" (où les classes ne sont pas prédéfinies).

L'article remet en question ce paradigme en posant la question suivante : Les LMM sont-ils intrinsèquement moins bons pour la classification, ou sont-ils simplement mal conditionnés pour cette tâche ? Les auteurs suggèrent que l'omission de la capacité d'Apprentissage en Contexte (In-Context Learning - ICL) des LMM est la cause de cette sous-performance.

2. Méthodologie

Les auteurs explorent l'utilisation de l'ICL pour transformer les LMM en classificateurs performants, tant en monde fermé (Closed-World) qu'en monde ouvert (Open-World).

A. Classification en Monde Fermé (Closed-World)

Dans ce scénario, l'ensemble des classes est connu à l'avance.

• Comparaison : Les auteurs comparent les VLM (utilisant des stratégies de cache comme Tip-Adapter) aux LMM utilisant l'ICL "Vanilla" (où des exemples annotés sont fournis dans le contexte).
• Résultat préliminaire : Bien que les LMM soient inférieurs en zero-shot, l'ajout de quelques exemples en contexte (few-shot) permet de combler, voire de dépasser, l'écart de performance avec les VLM.

B. Classification en Monde Ouvert (Open-World) et la méthode CIRCLE

Le défi majeur en monde ouvert est l'absence d'étiquettes de classe fixes et la nécessité de générer des réponses textuelles libres. Une approche naïve d'ICL (pseudo-étiquetage simple) échoue souvent car les modèles génèrent des étiquettes incohérentes ou bruyantes pour les exemples de contexte, ce qui dégrade la performance.

Pour résoudre cela, les auteurs proposent CIRCLE (Contextual Iterative Refinement of Contextual Learning Examples) :

1. Principe : CIRCLE est une méthode sans entraînement (training-free) qui traite l'ensemble des exemples de contexte non étiquetés comme une ressource malléable.
2. Processus itératif :
   • Le modèle génère d'abord des pseudo-étiquettes pour chaque image de contexte.
   • Ensuite, il procède à une réfinition itérative : pour chaque image de contexte, le modèle utilise les autres images de contexte (avec leurs pseudo-étiquettes mises à jour) comme contexte pour affiner la prédiction de l'image cible.
   • Ce processus de "leave-one-out" est répété sur plusieurs tours.
3. Objectif : Cette boucle permet au modèle de s'auto-corriger, de converger vers une granularité sémantique cohérente et de réduire le bruit dans les pseudo-étiquettes, créant ainsi un contexte robuste pour la classification finale de l'image requête.

3. Contributions Clés

1. Analyse Systématique de l'ICL : Première étude approfondie montrant que les LMM, lorsqu'ils sont conditionnés par l'ICL, peuvent égaler ou surpasser les VLM contrastifs les plus performants (comme CLIP) en classification en monde fermé.
2. Proposition de CIRCLE : Introduction d'une nouvelle méthode pour la classification en monde ouvert qui n'utilise que des images non étiquetées comme contexte. CIRCLE affine itérativement les pseudo-étiquettes pour surmonter les limitations de l'ICL naïf.
3. Preuve de Concept : Démonstration que les LMM, avec la bonne stratégie de contexte, sont des classificateurs unifiés plus flexibles et performants que les VLM spécialisés, en particulier dans les scénarios complexes et ouverts.

4. Résultats Expérimentaux

Les expériences ont été menées sur 10 ensembles de données variés (Caltech101, Flowers102, Stanford Cars, etc.) couvrant des catégories prototypiques, non-prototypiques, et à granularité fine.

• En Monde Fermé :

  • Les LMM (ex: Qwen2-VL, Phi-3.5-Vision) partent d'une performance zero-shot inférieure à CLIP.
  • Avec 16 exemples en contexte (shots), les LMM les plus puissants (ex: Qwen2-VL-7B) atteignent ou dépassent les performances de CLIP ViT-L/14.
  • Les LMM montrent une efficacité d'échantillonnage supérieure : ils bénéficient beaucoup plus de l'ajout de contexte que les VLM (gains de performance relatifs > +50% pour certains LMM contre ~+25% pour CLIP).

• En Monde Ouvert :

  • Les approches naïves (Zero-shot, Contexte Aléatoire, Pseudo-ICL simple) échouent souvent, dégradant parfois les performances par rapport au zero-shot.
  • CIRCLE surpasse systématiquement tous les baselines, y compris les VLM spécialisés (CaSED) et les LMM zero-shot.
  • Métriques : CIRCLE améliore significativement l'inclusion des labels (LI - Llama Inclusion) et la similarité sémantique (SS). Par exemple, sur des tâches prototypiques, CIRCLE porte le score LI de Qwen2-VL de 78,7 (Zero-shot) à 91,5, surpassant largement les VLM.
  • La méthode est robuste même dans des scénarios de flux de données (streaming).

5. Signification et Impact

Ce travail change la perspective sur l'utilisation des Grands Modèles Multimodaux :

• Unification des tâches : Il démontre que les LMM ne sont pas seulement des générateurs de texte, mais peuvent servir de classificateurs universels performants, éliminant le besoin de modèles spécialisés (VLM) pour la classification.
• Importance du Contexte : L'étude souligne que la performance des modèles génératifs dépend crucialement de la qualité et de la cohérence du contexte fourni. CIRCLE résout le problème du bruit contextuel en utilisant le modèle lui-même pour nettoyer et affiner ce contexte.
• Efficacité et Flexibilité : La méthode CIRCLE étant sans entraînement (training-free) et fonctionnant avec des images non étiquetées, elle offre une solution pratique et évolutive pour l'adaptation de modèles multimodaux à de nouvelles tâches de classification sans coût de calcul d'entraînement lourd.

En conclusion, l'article établit que les LMM, lorsqu'ils sont correctement exploités via l'apprentissage en contexte itératif, constituent une alternative supérieure et plus flexible aux VLM traditionnels pour les tâches de classification, tant en monde fermé qu'en monde ouvert.