⚡ electrical engineering

Attributes Should Come from Images, Not Class Names: Distribution-Conditioned Attribute Selection for Vision-Language Models

Cet article propose une méthode de sélection d'attributs conditionnée par la distribution qui extrait des descripteurs visuels directement des images cibles plutôt que de s'appuyer sur des descriptions de modèles de langage (LLM) conditionnées par le nom de la classe, améliorant ainsi considérablement la robustesse de la classification zero-shot face aux changements de distribution tout en offrant un résumé interprétable des caractéristiques du jeu de données.

Auteurs originaux : Gautam Rajendrakumar Gare, Jia Shi, Zhiqiu Lin, Deepak Pathak, John Galeotti, Deva Ramanan

Publié 2026-07-22

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Gautam Rajendrakumar Gare, Jia Shi, Zhiqiu Lin, Deepak Pathak, John Galeotti, Deva Ramanan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Détective, la Description et l'Esquisse

Imaginez que vous êtes un détective essayant d'identifier un suspect dans une file de photos. Vous avez un assistant puissant, une IA, qui est incroyablement douée pour associer les mots aux images. Cette IA a vu des millions de photos et sait que les « chiens » ont généralement des poils et que les « fraises » sont généralement rouges. C'est le monde des Modèles Vision-Langage : des ordinateurs capables de regarder une image et de comprendre les mots qui la décrivent, ou de regarder un mot et de trouver l'image correspondante.

Mais voici la partie délicate : parfois, les photos que vous possédez ne sont pas les clichés habituels, en haute définition et colorés. Ce sont peut-être des croquis en noir et blanc, des peintures, ou des photos prises sous un éclairage étrange. Si votre assistant IA se repose uniquement sur une définition de manuel d'une « fraise » (rouge, ronde, avec des graines), il pourrait être confus face à une fraise dessinée comme une ligne grise sur une feuille de papier. Il pourrait penser : « Ce n'est pas rouge, donc ce ne peut pas être une fraise ! »

Pendant un certain temps, les chercheurs ont pensé que la meilleure façon d'aider l'IA était de demander à un robot de langage super intelligent (comme un chatbot très avancé) d'écrire une description détaillée de chaque objet. Ils se sont dit : « Si nous disons à l'IA que les fraises sont rouges et ont des graines, elle fera un excellent travail. » Mais cet article pose une question simple et lancinante : l'IA regarde-t-elle réellement l'image pour prendre sa décision, ou se contente-t-elle de faire aveuglément confiance à la description que nous lui avons donnée ? Les auteurs de cette étude ont décidé de mettre cette idée à l'épreuve, et ce qu'ils ont découvert change la manière dont nous devrions enseigner à ces détectives numériques.

La Grande Erreur de la « Fraise Rouge »

L'histoire commence par une astuce populaire utilisée par les scientifiques. Pour rendre l'IA meilleure dans la reconnaissance d'objets sans lui montrer des milliers d'exemples (un processus appelé « apprentissage zero-shot »), ils demandent à un modèle de langage de décrire une classe d'objets. Pour « fraise », le modèle pourrait dire : « Elle est rouge, possède des feuilles vertes et est couverte de graines. » Ils injectent ensuite cette description dans l'IA de vision avec le nom de la classe.

L'article révèle une faille choquante dans cette méthode. Lorsqu'elle voit une photo normale d'une fraise, l'IA réussit environ 60 % du temps. Mais les auteurs ont réalisé que l'IA ne regardait pas réellement la preuve visuelle de la rougeur de la fraise ; elle se contentait de s'appuyer sur le mot « fraise » pour faire tout le travail. Pour le prouver, ils ont joué à un jeu de « suppression du nom ». Ils ont pris la description (« rouge, a des graines ») et l'ont soumise à l'IA sans lui donner le mot « fraise ».

Le résultat fut un désastre. La précision n'a pas seulement légèrement chuté ; elle s'est effondrée, passant de 59,5 % à 15,5 %. C'était comme si l'IA avait soudainement oublié à quoi ressemblait une fraise dès que vous arrêtiez de prononcer le mot. La description était inutile seule.

Pourquoi ? Parce que le modèle de langage qui a écrit la description n'avait jamais vu les photos spécifiques que l'IA regardait. Il décrivait une fraise « parfaite » issue de ses données d'entraînement. Mais dans le monde réel, spécifiquement dans un ensemble de données appelé ImageNet-Sketch, les fraises étaient des dessins au trait en noir et blanc. Le modèle de langage insistait : « Les fraises sont rouges ! », tandis que l'IA regardait un croquis gris et pensait : « Ce n'est pas rouge, donc ce n'est pas une fraise. » La description luttait contre l'image, au lieu de l'aider.

La Solution : Laissez l'Image Parler

Le diagnostic des auteurs était simple : les attributs (les descriptions) étaient choisis en fonction du nom de l'objet, et non de l'image de l'objet. Ils soutenaient que si vous voulez décrire un groupe d'images, vous ne devriez pas demander à un livre à quoi ressemble une fraise, mais plutôt demander aux images elles-mêmes.

Ils ont donc construit une nouvelle méthode. Au lieu de demander à un robot de langage de deviner les caractéristiques, ils ont laissé l'IA regarder quelques images réelles du groupe cible (comme les fraises esquissées) et lui ont demandé : « Quels mots de notre immense liste de descriptions possibles correspondent à ces images spécifiques ? »

Ils ont pris un vaste réservoir de mots potentiels (comme « rouge », « rond », « esquissé », « incolore », « pointillé ») et les ont évalués par rapport aux images réelles. Pour les fraises esquissées, les mots « rouge » et « mûr » ont reçu des scores faibles car les images n'étaient pas rouges. Mais des mots comme « en forme de cœur », « pointillé » et « incolore » ont reçu des scores élevés car ils correspondaient réellement aux dessins.

Les Résultats : Un Nouveau Type de Détective

Lorsqu'ils ont utilisé ces mots sélectionnés par l'image pour aider l'IA, les résultats ont été beaucoup plus impressionnants, surtout lorsque le nom de la classe était supprimé.

L'ancienne méthode (Descripteurs LLM) : Sans le nom de la classe, la précision était de 15,5 %.
La nouvelle méthode (Sélection par l'image) : Sans le nom de la classe, la précision a bondi à 23,8 % en utilisant le même réservoir de mots.

Cela a prouvé que c'est le mode de sélection qui est le héros, et non seulement le vocabulaire. En laissant les images choisir les mots, l'IA pouvait mieux gérer les situations étranges.

L'article a également montré que cette méthode est incroyablement rapide et efficace.

Vitesse : Il a fallu moins d'une minute pour mettre en place le nouveau système.
Comparaison : Une méthode concurrente appelée CoOp, qui tente d'« ajuster » l'IA en modifiant des nombres invisibles, a nécessité 14 heures d'entraînement et affichait pourtant des performances moindres lorsqu'il n'y avait qu'une seule image par classe (57,15 % contre 60,13 %).
Apprentissage Few-Shot : Avec seulement une image par classe, la nouvelle méthode a battu la méthode d'entraînement de 14 heures. C'est énorme, car cela signifie que vous n'avez pas besoin d'un supercalculateur ou de jours d'attente pour obtenir un système intelligent et interprétable.

Pourquoi cela compte : Lire l'esprit des Données

La partie la plus fascinante de cette découverte est que les mots sélectionnés agissent comme un résumé des données elles-mêmes. Parce que les mots sont choisis en fonction de ce que les images réellement montrent, vous pouvez utiliser ces mots pour décrire comment un ensemble de données a changé.

Par exemple, si vous comparez les mots choisis pour les photos normales et ceux choisis pour les photos esquissées, la différence raconte une histoire. Les photos normales pourraient mettre en avant « rouge » et « vert », tandis que les croquis mettraient en avant « incolore », « gris » et « dessin animé ». Vous pouvez littéralement soustraire une liste de mots de l'autre pour obtenir une phrase qui explique la différence entre les deux groupes d'images.

Les auteurs ont également montré que cela fonctionne pour des choses difficiles à nommer. Si vous avez l'image d'un fruit étrange avec un nom scientifique que l'IA ne connaît pas (comme Cristidiscoidea), l'IA échoue généralement. Mais si vous lui montrez quelques images et la laissez choisir les mots visuels (comme « épineux », « jaune », « petit »), elle peut reconnaître l'objet même sans connaître le nom savant.

L'Essentiel à Retenir

Cet article suggère un changement majeur dans la façon dont nous construisons l'IA. Nous ne devrions pas simplement demander aux modèles de langage de décrire les choses en fonction de leurs noms ; nous devrions laisser les images nous enseigner quels mots comptent.

Ce qu'ils ont invalidé : Ils ont prouvé que le simple fait d'ajouter une description générée par le langage à une instruction (prompt) n'aide pas réellement l'IA à mieux « voir » l'image ; l'IA se contentait de deviner en se basant sur le nom de la classe.
Ce qu'ils ont trouvé : Sélectionner des attributs directement à partir des images rend l'IA plus robuste, plus rapide et plus interprétable.
La nuance : Bien que cette méthode soit excellente pour les données étranges ou décalées, elle ne remplace pas totalement le besoin de noms de classes dans les situations standards. Les meilleurs résultats proviennent toujours de la combinaison du nom de la classe avec les mots sélectionnés par l'image. Mais pour comprendre pourquoi une IA a commis une erreur, ou pour gérer des données qui ne ressemblent en rien à l'ensemble d'entraînement, laisser l'image choisir les mots est la stratégie gagnante.

En bref, si vous voulez que votre IA comprenne le monde, ne lui dites pas seulement à quoi les choses devraient ressembler. Montrez-lui ce qu'elles réellement sont, et laissez-la vous raconter l'histoire.

Résumé technique : Sélection d'attributs conditionnée par la distribution pour les modèles vision-langage

Énoncé du problème
Les approches actuelles de classification zero-shot interprétable utilisent souvent des modèles de langage de grande taille (LLM) pour générer des descripteurs textuels pour les noms de classes (par exemple, inciter un LLM à décrire une « fraise » comme étant « rouge » et « ayant des graines »). Ces descripteurs sont ensuite moyennés pour former des prompts pour les modèles vision-langage (VLM) tels que CLIP. Le papier identifie une faille critique dans ce paradigme : ces descripteurs sont conditionnés uniquement par le nom de la classe et la connaissance générale, et non par la distribution de l'image cible.

Les auteurs démontrent que lorsque le nom de la classe est supprimé du prompt, ne laissant que les descripteurs générés par le LLM, la précision sur ImageNet s'effondre de 59,5 % à 15,5 %. Cela indique que les descripteurs eux-mêmes fournissent peu de preuves visuelles ; la performance repose lourdement sur le nom de la classe agissant comme une ancre sémantique. De plus, sous un changement de distribution (par exemple, ImageNet-Sketch), ces descripteurs conditionnés par l'étiquette échouent de manière catastrophique car ils décrivent le concept canonique (par exemple, « fraises rouges ») plutôt que les données réelles (par exemple, « dessins au trait incolores »), induisant activement le classifieur en erreur.

Méthodologie : Sélection d'attributs conditionnée par la distribution
La solution proposée déplace la variable de conditionnement du nom de la classe vers les images cibles. La méthode, nommée Sélection d'attributs conditionnée par la distribution, fonctionne comme suit :

Regroupement d'attributs (Attribute Pooling) : Un large pool fixe de chaînes d'attributs candidates est agrégé à partir de jeux de données existants (VAW, LSA) et de descripteurs générés par LLM. Les noms de classes explicites et les doublons sont supprimés de ce pool.
Scoring conditionné par l'image : En utilisant un modèle CLIP gelé, la méthode encode la collection d'images cibles et le pool de textes d'attributs. Pour chaque image, elle calcule un vecteur de similitudes cosinus mises à l'échelle entre l'embedding de l'image et tous les embeddings de texte des attributs.
Appariement Classe-Attribut : Pour chaque classe, un score est estimé pour déterminer à quel point chaque attribut décrit la classe. Cela est fait soit en moyennant les scores d'attributs sur les images d'entraînement de la classe, soit en entraînant une simple sonde linéaire sur les caractéristiques des attributs.
Sélection : Les $k$ meilleurs attributs ayant les scores les plus élevés pour chaque classe sont sélectionnés pour former l'ensemble de prompts de la classe.
Classification : Lors de l'inférence, une image de test est classée en faisant correspondre son embedding aux prompts d'attributs sélectionnés. Les prompts peuvent être utilisés avec ou sans le nom de la classe.

Crucialement, les encodeurs d'attributs restent gelés, et aucun couple image-texte n'est utilisé pour l'entraînement ; la seule composante apprenable est une sonde linéaire utilisée pour le classement, qui nécessite un minimum de données étiquetées.

Contributions clés

Diagnostic du biais du nom de classe : Les auteurs établissent que les descripteurs générés par LLM tirent leur utilité presque entièrement du nom de la classe. La suppression du nom entraîne une chute de précision de 44 points, prouvant que les prompts de descripteurs standards ne fournissent pas de véritables preuves au niveau des attributs.
Mécanisme de sélection conditionné par l'image : Le papier propose une procédure légère en entraînement qui sélectionne les attributs basés sur la distribution des images cibles plutôt que sur l'étiquette. En maintenant le pool d'attributs constant et en ne changeant que le mécanisme de sélection, les auteurs montrent que le conditionnement sur les images récupère 3,9 points de pourcentage de précision par rapport au pool LLM seul (de 15,5 % à 19,4 %) et atteint 23,8 % avec un pool plus large (VAW+LSA) dans un contexte de seuls attributs.
Espace de caractéristiques interprétable : Les attributs sélectionnés servent de résumé lisible du jeu de données. Les auteurs démontrent que soustraire les profils d'attributs moyens de deux jeux de données produit une description basée sur les mots du changement de distribution (par exemple, identifiant « incolore » et « dessin animé » comme des changements dominants dans ImageNet-Sketch).

Résultats

Performance des seuls attributs : Sans le nom de la classe, la méthode proposée atteint une précision de 23,8 % sur ImageNet (en utilisant le pool VAW+LSA et les 5 meilleurs attributs), surpassant nettement la ligne de base de 15,5 % des descripteurs LLM. Avec un budget d'attributs non plafonné et un schéma de vote pondéré, la précision atteint 45,5 %.
Changement de distribution : La méthode maintient son avantage relatif à travers quatre variantes de changement d'ImageNet (V2, Sketch, A, R), la marge la plus importante étant observée sur ImageNet-R.
Apprentissage à quelques exemples (Few-Shot Learning) : Avec une seule image par classe, la méthode atteint 6 de 60,13 % de précision, surpassant CoOp (57,15 %) de 3 points. Elle s'exécute en moins d'une minute contre 14 heures pour CoOp. Cependant, la méthode plafonne à environ 61,4 % de précision à mesure que le nombre de shots augmente, tandis que les méthodes basées sur le gradient comme CoOp continuent de progresser, indiquant que l'approche de sélection est mieux adaptée aux régimes de few-shot extrêmes.
Applications :
- Description du changement : La méthode quantifie avec succès les écarts de domaine en mots (par exemple, décrivant ImageNet-R comme « cartoon » et « peinture »).
- Changement de couleur : Dans une tâche de classification de fruits avec des variantes de couleurs, la méthode atténue la tendance de CLIP à se focaliser sur la couleur, récupérant 4 points de précision perdus à cause du changement de couleur.
- Vocabulaires impossibles à analyser : Pour les noms scientifiques (iNaturalist) que l'encodeur de texte de CLIP ne peut pas analyser, la méthode améliore la précision de 3 % à 7,25 % en remplaçant le nom par des attributs visuels.
- Localisation : La méthode permet une localisation d'objets sans nom de classe en calculant les similitudes d'attributs sur les patchs d'images.

Signification et revendications
Le papier soutient que pour une classification zero-shot interprétable, les attributs doivent être dérivés de la distribution des données, et non de l'étiquette. Les auteurs affirment que leur méthode offre une alternative robuste et lisible par l'humain au réglage de prompt (prompt tuning) dans le régime de few-shot extrême, ne nécessissant aucun prompt "soft" appris.

La signification s'étend au-delà de l'algorithme spécifique : les auteurs proposent un changement de protocole pour le domaine. Ils soutiennent que tout travail revendiquant une interprétabilité au niveau des attributs via des prompts de descripteurs doit rapporter la précision sans nom de classe, car le protocole standard (incluant le nom de la classe) confond l'évidence de l'attribut avec l'ensemblage de prompts. De plus, pour les pipelines à goulot d'étranglement conceptuel (concept-bottleneck), le papier suggère que les pools de concepts doivent être sélectionnés par rapport à la distribution de déploiement plutôt que générés à partir des étiquettes pour garantir la robustesse face au changement de distribution.

Les auteurs restent modestes quant aux limites : la performance des seuls attributs n'égale pas encore le prompting avec nom de classe (23,8 % contre 60,8 %), et la méthode ne prétend pas résoudre l'apprentissage à moyen nombre d'exemples (medium-shot) où les méthodes basées sur le gradient excellent. De plus, la performance de la méthode est limitée par la qualité et la pertinence du pool d'attributs préexistant.