💻 computer science

Unlocking Few-Shot Capabilities in LVLMs via Prompt Conditioning and Head Selection

Cet article présente Head Ensemble Classifiers (HEC), une méthode sans entraînement qui exploite le conditionnement par prompt et la sélection de têtes d'attention discriminatives au sein des modèles de langage-vision à grande échelle (LVLM) pour combler l'écart de performance avec les méthodes basées sur CLIP et atteindre des résultats state-of-the-art en classification à zéro et à quelques exemples.

Auteurs originaux : Adhemar de Senneville, Xavier Bou, Jérémy Anger, Rafael Grompone, Gabriele Facciolo

Publié 2026-03-26

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Adhemar de Senneville, Xavier Bou, Jérémy Anger, Rafael Grompone, Gabriele Facciolo

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Dilemme : Le Génie qui oublie ses leçons

Imaginez que vous avez un super-héros nommé LVLM (un grand modèle de vision et de langage). C'est un génie capable de décrire des images, de répondre à des questions complexes et de lire du texte dans une photo. Il est très intelligent.

Cependant, ce héros a un problème étrange : si vous lui montrez une photo d'un chien et lui demandez "Est-ce un Berger Allemand ou un Labrador ?", il se trompe souvent. Il est moins bon que son "oncle", un modèle plus simple appelé CLIP, qui est spécialisé uniquement dans la reconnaissance d'images.

Pourquoi ?
Le super-héros a été entraîné pour parler et comprendre le monde, pas juste pour classer des objets. C'est comme un professeur d'histoire brillant qui, lorsqu'on lui demande de trier des pièces de monnaie par année, se perd dans des détails inutiles au lieu de regarder la date.

🛠️ La Solution : HEC (Le Chef d'Orchestre)

Les auteurs du papier ont découvert quelque chose de fascinant : à l'intérieur de ce super-héros, il y a des milliers de petits "assistants" (appelés têtes d'attention). La plupart sont occupés à des tâches générales, mais certains sont des experts cachés très précis pour distinguer les détails.

Leur méthode, appelée HEC (Head Ensemble Classifiers), fonctionne en trois étapes magiques :

1. Le Prompt (La Question Magique) 🗣️

Au lieu de simplement montrer une image, on pose une question très précise au modèle.

Sans astuce : "Qu'est-ce que c'est ?"
Avec l'astuce : "Quelle est la race de ce chien ?" (Conditionnement de domaine).

C'est comme si vous demandiez à un ami : "Qu'est-ce que tu vois ?" (il répondra vaguement) vs "Regarde bien, est-ce que c'est un chien ou un loup ?" (il se concentrera sur les oreilles et la truffe). Cette question force le cerveau du modèle à s'activer sur les bons détails.

2. Le Choix des Experts (Sélection des Têtes) 🎯

Le modèle a des centaines de "têtes" (des parties de son cerveau). La plupart sont bruyantes. L'astuce de HEC est de trier ces têtes pour ne garder que les 20 meilleures pour la tâche précise.

Imaginez une équipe de 1000 joueurs de football. Vous ne voulez pas tous sur le terrain. Vous voulez seulement les 20 meilleurs défenseurs pour ce match précis.
Le papier utilise une technique mathématique (GDA) pour identifier instantanément qui sont ces 20 experts sans avoir besoin de réentraîner le modèle (ce qui serait long et coûteux).

3. Le Vote (Ensemble) 🗳️

Une fois les 20 experts choisis, on ne les écoute pas un par un. On fait une moyenne de leurs avis. Si 18 experts disent "C'est un Berger Allemand" et 2 disent "C'est un Labrador", on gagne. C'est plus fiable que de demander l'avis d'un seul "chef" (le token résumé habituel).

🎨 L'Analogie du Restaurant

Pour rendre cela encore plus clair, imaginez un restaurant :

Le Modèle LVLM est un chef étoilé très polyvalent qui sait cuisiner n'importe quoi et raconter des histoires.
Le problème : Si vous lui demandez de trier 100 types de fromages, il va essayer de vous raconter l'histoire de chaque fromage au lieu de les classer par goût. Il échoue.
La méthode HEC :
1. Vous lui donnez un menu spécial (le Prompt) : "Aujourd'hui, on ne parle que de fromages. Classe-les par affûté."
2. Vous demandez au chef de réveiller ses 20 meilleurs dégustateurs (les têtes sélectionnées) qui sont les seuls capables de sentir les nuances subtiles.
3. Ces 20 dégustateurs goûtent et votent. Le résultat est parfait.

🏆 Les Résultats

Grâce à cette méthode simple (poser la bonne question + choisir les bons experts), le modèle LVLM devient meilleur que les spécialistes (comme CLIP) pour reconnaître des images, même avec très peu d'exemples (Few-Shot).

Avantage clé : On n'a pas besoin de réapprendre le modèle (pas de "fine-tuning"). C'est gratuit et rapide.
Résultat : Le super-héros retrouve ses pouvoirs de détection et bat les records sur 12 jeux de données différents.

En résumé

Ce papier nous dit : "Ne jetez pas le modèle complexe ! Il est déjà un génie, il a juste besoin qu'on lui pose la bonne question et qu'on lui laisse parler à ses meilleurs experts." C'est une victoire de l'intelligence artificielle qui sait s'adapter sans avoir besoin d'étudier plus.

1. Problématique et Contexte

Les Modèles de Langage-Vision à Grande Échelle (LVLM) actuels excellent dans des tâches zéro-shot comme la description d'images (captioning), la réponse aux questions visuelles (VQA) et la reconnaissance optique de caractères (OCR). Cependant, ils présentent une faiblesse surprenante : leur performance en classification d'images (surtout en few-shot et zero-shot) est nettement inférieure à celle des modèles basés sur CLIP, même lorsque les LVLMs héritent des mêmes encodeurs visuels pré-entraînés (comme CLIP ou SigLIP).

Le paradoxe identifié :

Les LVLMs possèdent des représentations internes riches, mais leurs prédictions finales (via le token de résumé) sont sous-optimales pour la classification.
Dans CLIP, les encodeurs visuel et textuel sont indépendants, ce qui limite l'interaction image-texte au moment de la décision.
Dans les LVLMs, les tokens visuels et textuels sont traités conjointement par un décodeur LLM, permettant une interaction riche, mais cette capacité n'est pas pleinement exploitée pour la classification standard.

L'objectif de ce travail est de combler l'écart de performance entre les méthodes basées sur CLIP et celles basées sur les LVLMs, sans fine-tuning (entraînement supplémentaire), en exploitant les représentations internes du modèle.

2. Méthodologie : HEC (Head Ensemble Classifiers)

Les auteurs proposent une méthode nommée HEC (Head Ensemble Classifiers), qui repose sur deux mécanismes principaux : le conditionnement par prompt et la sélection de têtes d'attention.

A. Conditionnement par Prompt (Prompt Conditioning)

Au lieu d'utiliser un prompt générique, la méthode injecte des informations contextuelles dans le prompt d'entrée pour guider le modèle vers des représentations plus discriminatives. Trois niveaux de conditionnement sont définis :

Conditionnement de tâche (Task Conditioning) : Indique la nature de la tâche (ex: "Quel est l'objet dans l'image ?").
Conditionnement de domaine (Domain Conditioning) : Spécifie le domaine (ex: "Quelle race de chien est-ce ?" pour des images de chiens).
Conditionnement de classe (Class Conditioning) : Fournit la liste des classes candidates dans le prompt.

Les expériences montrent que ce conditionnement améliore la séparabilité des classes dans les distributions internes du modèle, en particulier pour le token de résumé (summary token) et les têtes d'attention.

B. Sélection et Ensemble de Têtes (Head Selection & Ensemble)

Au lieu de se fier uniquement au token de résumé (qui agrège toutes les informations), les auteurs extraient les vecteurs d'attention de chaque tête (head) du décodeur LLM.

Analyse préliminaire : Il a été démontré qu'un sous-ensemble rares (sparse) de têtes d'attention contient des représentations bien plus performantes pour la classification que le token de résumé lui-même.
Sélection des têtes (Ranking) :
- Pour le Few-Shot (Vision-Heads) : On utilise une Analyse Discriminante Gaussienne (GDA) sur l'ensemble de support (support set) étiqueté. On calcule la séparabilité des classes pour chaque tête et on sélectionne les $k$ meilleures têtes (appelées vision-heads).
- Pour le Zero-Shot (Text-Heads) : On sélectionne les têtes qui maximisent la probabilité des classes textuelles sur l'ensemble de support. Ces têtes sont transférables d'un domaine à l'autre.
Ensemble (Ensembling) : Les prédictions des $k$ meilleures têtes sont combinées (par moyenne des probabilités de classe) pour former le classifieur final.

C. Les trois Classifieurs HEC

HEC-V : Classifieur few-shot basé uniquement sur les vision-heads sélectionnées. Idéal quand les noms des classes sont inconnus.
HEC-T : Classifieur zero-shot basé sur les text-heads. Il améliore la précision zéro-shot d'un LVLM sans entraînement.
HEC-VT : Classifieur hybride combinant les probabilités de HEC-V et HEC-T, offrant les meilleures performances globales.

3. Contributions Clés

Démonstration expérimentale : Prouver que le conditionnement par prompt améliore la séparabilité des classes dans les distributions internes des LVLMs, en particulier au sein d'un sous-ensemble de têtes d'attention.
Nouvelle méthode de sélection : Introduction d'un mécanisme pour sélectionner et combiner les meilleures têtes d'attention au moment de l'inférence (test-time), basé sur la GDA, sans nécessiter de fine-tuning.
Performance State-of-the-Art (SOTA) : Atteinte de performances record en classification few-shot et zero-shot sur 12 jeux de données, comblant l'écart avec les méthodes basées sur CLIP.
Adaptation de domaine guidée par prompt : Capacité à adapter un modèle à un domaine spécifique (ex: races de chiens, avions) simplement en modifiant le prompt, ce qui est impossible avec les modèles de vision pure ou CLIP standard.

4. Résultats Expérimentaux

Les auteurs ont évalué leur méthode sur 12 jeux de données (incluant des benchmarks fins comme CUB-200, StanfordCars, OxfordPets, etc.) en utilisant des LVLMs modernes (Qwen2-VL et LLaVA-OV).

Few-Shot (Vision-Heads) : HEC-V atteint une précision moyenne de 82,4%, surpassant toutes les méthodes basées sur LVLM (y compris SAVs) et se comparant favorablement aux meilleurs encodeurs visuels (DINOv3) et à CLIP, souvent sans ajustement d'hyperparamètres.
Zero-Shot (Text-Heads) : HEC-T améliore la précision zéro-shot de Qwen2-VL de +10,1% par rapport à la ligne de base, surpassant même le backbone CLIP (DFN) sur certains jeux de données.
Few-Shot Visuel-Textuel (HEC-VT) : La combinaison des deux approches donne le meilleur résultat global, surpassant les méthodes basées sur CLIP sur la majorité des jeux de données, notamment ceux moins centrés sur les objets (textures, scènes).
Robustesse : La méthode est robuste au choix du nombre de têtes ( $k$ ) et fonctionne bien avec des ensembles de support très petits (4 shots).

5. Signification et Impact

Ce travail remet en question l'idée que les LVLMs sont intrinsèquement inférieurs à CLIP pour la classification. Il démontre que :

La faiblesse des LVLMs réside dans l'utilisation du token de résumé final et non dans les représentations internes.
L'exploitation ciblée des têtes d'attention (qui capturent des aspects spécifiques de l'information) est une voie puissante pour l'adaptation de modèles sans entraînement.
Le conditionnement par prompt est un outil crucial pour orienter les représentations multimodales vers des tâches spécifiques (domaine, classe), offrant une flexibilité que les architectures CLIP séparées ne possèdent pas.

En conclusion, HEC offre une solution efficace, légère et sans fine-tuning pour transformer les LVLMs en classifieurs d'images performants, ouvrant la voie à des applications plus robustes dans des domaines spécialisés. Le code est disponible publiquement sur GitHub.