🤖 machine learning

Neutral-Reference Prompting for Vision-Language Models

L'article propose NeRP, une stratégie de correction d'invite plug-and-play qui atténue le compromis Base-Nouveau dans les modèles vision-langage en exploitant des invites textuelles neutres et des images de référence pour identifier et corriger les mauvaises classifications asymétriques, dominées par les a priori, sur des classes non vues, sans modifier les paramètres du modèle.

Auteurs originaux : Senmao Tian, Xiang Wei, Shunli Zhang

Publié 2026-05-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Senmao Tian, Xiang Wei, Shunli Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une bibliothécaire très intelligente et bien voyageuse (le Modèle Vision-Langage) qui a lu des millions de livres et vu des millions d'images. Cette bibliothécaire est excellente pour reconnaître les choses qu'elle a déjà vues, comme « pomme » ou « voiture ». Mais lorsque vous lui montrez quelque chose de légèrement nouveau ou sous un angle différent, elle se trompe parfois.

L'article identifie un problème spécifique : le compromis « Base–Nouveau ».
Imaginez-le ainsi : si vous essayez d'enseigner à cette bibliothécaire quelques nouveaux tours (comme reconnaître un type spécifique de fleur rare), elle se concentre souvent tellement sur le nouveau tour qu'elle commence à oublier comment identifier les choses courantes qu'elle connaissait déjà parfaitement. C'est une situation de « perdant-perdant ».

Le problème caché : une confusion à sens unique

Les auteurs ont remarqué quelque chose d'étrange se produire. Habituellement, lorsqu'un modèle se trompe entre deux choses (disons un « chien » et un « loup »), il les confond de manière égale. Mais souvent, la confusion est à sens unique.

Confusion symétrique : Le modèle pense qu'un chien est un loup 50 % du temps, et qu'un loup est un chien 50 % du temps. Il est simplement difficile de les distinguer.
Confusion asymétrique (la découverte de l'article) : Le modèle toujours confond un « loup » avec un « chien », mais il confond presque jamais un « chien » avec un « loup ».

Pourquoi ? Parce que lors de l'entraînement initial de la bibliothécaire (pré-entraînement), elle a vu beaucoup plus d'images de chiens que de loups, ou les descriptions textuelles des chiens étaient plus courantes. Cela a créé un « biais » caché ou un paramètre par défaut dans le cerveau de la bibliothécaire. Lorsqu'elle voit un loup, son cerveau crie : « C'est probablement un chien ! » car c'est le chemin de moindre résistance.

La solution : NeRP (Neutral-Reference Prompting)

Les auteurs ont créé une solution appelée NeRP. C'est comme un outil « plug-and-play » que vous pouvez attacher au cerveau de la bibliothécaire sans réellement réécrire sa mémoire ni la réentraîner.

Voici comment fonctionne NeRP, en utilisant une analogie simple :

1. La « Référence Neutre » (La Table Rase)
Imaginez que vous avez une photo d'un « objet » générique et une phrase qui dit simplement « une photo de quelque chose ». Cela ne décrit aucun animal ou objet spécifique.

Les auteurs utilisent cette image et ce texte « vides » pour demander à la bibliothécaire : « Si je ne vous montre rien de spécifique, vers quelle catégorie penchez-vous naturellement ? »
Cela révèle le biais caché de la bibliothécaire. Si la bibliothécaire penche fortement vers « chien » même sans preuve spécifique, NeRP sait : « Ah, cette bibliothécaire a un fort biais envers les chiens. »

2. La « Vérification des Preuves »
Maintenant, vous montrez à la bibliothécaire une photo d'un loup.

La Preuve : L'image ressemble un peu à un loup, mais peut-être pas à 100 % clairement.
Le Biais : Le cerveau de la bibliothécaire crie « CHIEN ! » à cause de ce biais caché.
Le Conflit : La preuve (l'image) est faible, mais le biais (le paramètre par défaut) est fort.

3. Le « Renversement Local »
NeRP agit comme un arbitre intelligent. Il voit que la bibliothécaire prend une décision basée principalement sur son biais, et non sur l'image réelle.

Si la bibliothécaire dit « Chien » mais que la preuve est faible, et que NeRP sait que la bibliothécaire est biaisée vers « Chien », NeRP intervient et dit : « Attendez, vous êtes trop confiant. Retournons cela vers l'autre option probable (Loup). »
Il ne le fait que lorsque la bibliothécaire est clairement « paresseuse » et s'appuie sur de vieilles habitudes au lieu d'examiner les nouvelles preuves.

Pourquoi c'est une grande nouvelle

Pas de réentraînement : Vous n'avez pas besoin d'enseigner de nouvelles leçons à la bibliothécaire. Vous lui donnez simplement une nouvelle « liste de contrôle » (NeRP) à utiliser lorsqu'elle est incertaine.
Préserve les anciennes compétences : Contrairement à d'autres méthodes qui tentent d'enseigner de nouvelles choses mais font accidentellement oublier les anciennes à la bibliothécaire, NeRP corrige les nouvelles erreurs sans nuire aux anciennes, parfaites, notes.
Fonctionne partout : L'article a testé cela sur 15 types de tâches différents (de la reconnaissance de fleurs à celle des voitures, en passant par les images satellites) et cela a fonctionné à merveille à chaque fois.

Résumé

L'article déclare : « Les modèles Vision-Langage ont souvent un biais à sens unique où ils confondent la Classe A avec la Classe B, mais pas l'inverse. Cela se produit en raison de la façon dont ils ont été entraînés à l'origine. Nous avons créé un outil appelé NeRP qui agit comme un « détecteur de biais ». Il vérifie si le modèle prend une décision basée sur une hypothèse faible ou une forte habitude. S'il s'agit juste d'une habitude, NeRP corrige doucement la réponse. Cela rend le modèle beaucoup plus performant pour reconnaître de nouvelles choses sans le faire oublier les anciennes. »

Résumé Technique : Amorçage à Référence Neutre pour les Modèles Vision–Langage (NeRP)

1. Énoncé du Problème

Les modèles Vision–Langage (VLM) ont démontré de fortes capacités en zéro-shot, pourtant leur transfert efficace via l'ajustement d'amorces (prompt tuning) ou l'adaptation légère souffre souvent du compromis Base–Nouveau (BNT). L'amélioration des performances sur des classes invisibles (nouvelles) dégrade fréquemment la précision sur des classes connues (de base).

Alors que la littérature existante attribue le BNT principalement au surapprentissage sur les classes de base lors du fine-tuning, cet article identifie un problème sous-jacent plus subtil : la confusion asymétrique. Contrairement à la confusion symétrique (où des classes similaires sont mal classées à des taux comparables), les VLM présentent des biais systématiques et unidirectionnels où des échantillons de la classe A sont fréquemment prédits comme étant de la classe B, tandis que l'inverse (B → A) se produit rarement. Ce biais, hérité des déséquilibres des données de pré-entraînement, persiste pour les classes invisibles car le fine-tuning standard (utilisant la perte d'entropie croisée) supprime efficacement les biais pour les classes observées mais ne peut pas corriger les priors induits par le pré-entraînement pour les classes invisibles.

2. Méthodologie : NeRP

Les auteurs proposent NeRP (Amorçage à Référence Neutre), une stratégie plug-and-play qui corrige les prédictions au moment de l'inférence sans modifier les paramètres du modèle ni réentraîner. La méthode repose sur l'observation que le fine-tuning déforme principalement le sous-espace de faible dimension engendré par les prototypes des classes de base, laissant la géométrie zéro-shot des classes invisibles relativement stable.

Composantes Principales :

Amorces à Référence Neutre : La méthode définit une amorce « neutre » agnostique à la classe.
- Côté Texte : Une amorce générique (par exemple, « une photo d'un objet ») qui décrit tout échantillon sans indices spécifiques à la classe.
- Côté Image : Une image « neutre » construite en prenant la moyenne pixel par pixel de toutes les images d'entraînement, préservant le style du domaine mais supprimant le contenu sémantique spécifique.
Mesure de l'Écart de Prior : En projetant ces références neutres contre les prototypes de classe, la méthode calcule les priors neutres ( $\pi_{txt}$ et $\pi_{img}$ ). La différence entre ces priors pour une paire de classes $(i, j)$ révèle la direction et l'intensité du biais inhérent du modèle (l'« écart de prior »).
Score Surrogé de Style Bayésien : La méthode construit un score surrogé en combinant la marge de logit observée de l'échantillon ( $m_{ij}$ ) avec l'écart de prior neutre ( $\Sigma_{i,j}$ ).
$s_{ij}(x) \approx m_{ij}(x) + \Sigma_{i,j}(D) + \hat{\beta}(D)$
Règle de Décision (Inversion Locale) : Pour un échantillon donné, si le prior favorise fortement une classe spécifique (grand $\Sigma_{i,j}$ ) mais que la preuve observée (marge de logit) est faible, la prédiction est jugée « dominée par le prior » et probablement erronée. Dans de tels cas, NeRP effectue une inversion locale entre des paires de classes facilement confondables pour corriger le biais. Si le prior et la preuve sont tous deux faibles, la prédiction reste inchangée.

Justification Théorique :
L'article fournit des preuves théoriques (Proposition 3.5 et Corollaire 3.6) montrant que, sous un modèle de déformation de faible rang du fine-tuning, l'écart de prior neutre s'aligne avec la marge de logit attendue pour les classes invisibles avec une forte probabilité. Cela permet au prior neutre de servir d'ancrage fiable pour détecter et corriger le biais.

3. Contributions Clés

Identification de la Confusion Asymétrique : L'article met en évidence que le BNT n'est pas uniquement causé par le surapprentissage mais est significativement piloté par des biais de pré-entraînement persistants et asymétriques sur les classes invisibles.
Mécanisme à Référence Neutre : L'introduction d'amorces de texte et d'images neutres pour mesurer les préférences de prior par classe le long de la géométrie inter-classe pré-entraînée.
Correction Sans Paramètres : NeRP est une stratégie post-hoc, plug-and-play, qui ne nécessite aucun entraînement supplémentaire, aucune mise à jour de paramètres ni aucun changement architectural sur les VLM existants.
Analyse Théorique : Le travail établit un lien formel entre les priors neutres et la stabilité de la géométrie zéro-shot, prouvant que ces priors peuvent détecter de manière fiable la direction du biais sur des classes nouvelles.

4. Résultats Expérimentaux

Les auteurs ont évalué NeRP sur 15 benchmarks, incluant 11 ensembles de données de reconnaissance en few-shot (par exemple, ImageNet, Caltech101, OxfordPets) et 4 ensembles de données de généralisation inter-domaine/au-delà du domaine (par exemple, ImageNet-V2, ImageNet-Sketch).

Lignes de Base : La méthode a été intégrée à quatre méthodes distinctes d'ajustement d'amorces et d'adaptation à l'état de l'art : CoCoOp, PromptSRC, MMA et MMRL.
Performance :
- Généralisation Base-vers-Nouveau : NeRP a amélioré de manière constante la précision sur les classes invisibles (nouvelles) à travers toutes les lignes de base et tous les ensembles de données. Par exemple, sur EuroSAT, les gains ont dépassé 5 %, tandis que des améliorations de 0,5 à 2 % ont été observées sur ImageNet et Flowers102.
- Préservation des Performances de Base : Crucialement, NeRP a amélioré les performances sur les classes nouvelles sans dégrader la précision sur les classes de base, atténuant efficacement le BNT.
- Généralisation Inter-Domaine et au-Delà du Domaine : NeRP a produit des gains immédiats sur les tâches de généralisation inter-ensemble de données et inter-domaine, avec des améliorations moyennes d'environ 1 % sur 10 ensembles de données.
Études d'Ablation : Les expériences ont confirmé que la méthode est robuste face à différentes granularités de recherche pour les hyperparamètres et efficace même avec très peu d'échantillons utilisés pour l'étalonnage.

5. Signification et Revendications

L'article positionne NeRP comme un « repas gratuit » pour l'apprentissage par transfert efficace dans les VLM. Sa signification principale réside dans le découplage du compromis entre discrimination (sur les classes de base) et généralisation (sur les classes nouvelles) en s'attaquant à la cause racine du biais asymétrique plutôt qu'à simple symptôme du surapprentissage.

Les auteurs affirment que NeRP sert de stratégie de correction universelle et agnostique au modèle qui équilibre discrimination et généralisation. En exploitant des références neutres pour révéler et corriger les biais induits par le pré-entraînement, NeRP permet aux méthodes d'adaptation de VLM existantes d'atteindre de meilleures performances sur les classes invisibles sans le coût computationnel du réentraînement ni le risque de compromettre la précision sur les classes connues. Le travail suggère que la compréhension et la correction de la « confusion asymétrique » constituent une voie critique, jusqu'ici sous-explorée, pour améliorer la robustesse des VLM.