💻 computer science

Near OOD Detection for Vision-Language Prompt Learning with Contrastive Logit Score

Cet article propose le Contrastive Logit Score (CLS), une méthode post-hoc plug-and-play qui améliore significativement la détection des données hors distribution proches (near OOD) pour l'apprentissage par prompt des modèles vision-langage sans nécessiter de réentraînement ni de modification architecturale.

Auteurs originaux : Myong Chol Jung, Joanna Dipnall, Belinda Gabbe, He Zhao

Publié 2026-04-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Myong Chol Jung, Joanna Dipnall, Belinda Gabbe, He Zhao

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🎨 Le Contexte : Le Super-Héros un peu naïf

Imaginez un super-héros nommé CLIP. C'est un détective visuel et linguistique incroyable. Il a lu des milliards de livres et vu des milliards de photos. Grâce à cela, il peut reconnaître un chat, une voiture ou une fleur simplement en lisant une phrase comme "une photo d'un chat".

Cependant, CLIP a un petit défaut : il est un peu naïf.

Si vous lui montrez un vrai chat, il dit : "C'est un chat !" (Parfait).
Mais si vous lui montrez un chien qui ressemble étrangement à un chat, ou un robot fait pour ressembler à un chat, il peut se tromper et dire : "C'est aussi un chat !"

Dans le monde de l'intelligence artificielle, on appelle cela le problème "Near OOD" (Out-of-Distribution). C'est le cas où l'objet est très proche de ce que le modèle connaît (un chien qui ressemble à un chat), mais qui n'est pas tout à fait ce qu'il devrait voir. C'est dangereux, surtout pour des applications critiques comme les voitures autonomes ou le diagnostic médical.

🛠️ Le Problème : Comment apprendre au héros à douter ?

Les chercheurs ont essayé d'entraîner CLIP pour qu'il soit plus précis (c'est ce qu'on appelle le "Prompt Learning", ou l'apprentissage par consignes). Ils lui donnent des phrases optimisées pour mieux reconnaître les choses.

Mais le problème reste : Comment savoir quand CLIP est en train de se tromper ?
Les méthodes actuelles sont soit trop compliquées (il faut réapprendre tout le cerveau du modèle), soit elles ne fonctionnent pas bien pour ces cas "limites" où l'erreur est subtile.

💡 La Solution : Le "Score de Logique Contrastive" (CLS)

Les auteurs de ce papier proposent une astuce géniale, appelée CLS (Contrastive Logit Score). Imaginez que c'est un filtre de réalité que l'on peut clipser sur les lunettes de CLIP sans avoir à le rééduquer.

Voici comment cela fonctionne avec une analogie simple :

1. Le Dilemme du Détective

Quand CLIP regarde une image, il se dit : "Est-ce un chat ?"

Méthode ancienne (MaxLogit) : Il regarde juste l'intensité de sa certitude. "Je suis à 90% sûr que c'est un chat." -> Il valide.
Le problème : Un chien très semblable à un chat peut aussi lui donner 90% de certitude. Il ne fait pas la différence entre un "vrai chat" et un "faux chat".

2. La Nouvelle Astuce (CLS)

La méthode CLS ajoute une deuxième question à CLIP : "Est-ce que cette image a l'air d'être un 'chat générique' ou quelque chose de totalement inconnu ?"

Pour cela, ils utilisent un vecteur de contexte (noté V dans le papier).

Imaginez que V est une moyenne floue de tous les chats que CLIP a vus, sans se focaliser sur une race précise. C'est comme une "essence de chat".
La méthode CLP compare deux choses :
1. La certitude que c'est un chat spécifique (ex: "un chat roux").
2. La certitude que l'image correspond à l'essence générale d'un chat (le vecteur V).

L'analogie du "Filtre de Sécurité" :
Si vous voyez un animal qui ressemble à un chat, mais qui a une odeur de chien (ou une texture bizarre), le vecteur V va dire : "Attends, ce n'est pas tout à fait dans la moyenne des chats que je connais."

La formule magique du papier est :

Score Final = (Certitude d'être un chat) - (Ajustement basé sur la "moyenne" des chats)

En soustrayant cette "moyenne", le système devient plus exigeant.

Si c'est un vrai chat : La certitude est haute, la moyenne est haute, le score reste bon.
Si c'est un faux chat (Near OOD) : La certitude est haute (il ressemble), mais la moyenne ne colle pas parfaitement. Le score chute.
Résultat : Le système dit : "Hé, ça ressemble à un chat, mais quelque chose cloche. Je vais marquer ça comme 'douteux'."

🚀 Pourquoi c'est génial ?

C'est du "Plug-and-Play" (Branchez et jouez) : Vous n'avez pas besoin de réapprendre le cerveau de CLIP. C'est comme ajouter un nouveau filtre à votre machine à café. Vous gardez la machine, vous changez juste le filtre pour avoir un meilleur café.
C'est rapide et léger : Le calcul se fait en une fraction de seconde après que le modèle a déjà fait son travail.
Ça marche partout : Les chercheurs l'ont testé sur 13 bases de données différentes (fleurs, voitures, animaux, etc.) et sur 8 modèles différents. Dans presque tous les cas, cela a amélioré la capacité à détecter les erreurs de 11% en moyenne. C'est énorme !

🏁 En Résumé

Ce papier propose une astuce mathématique simple pour rendre les intelligences artificielles visuelles plus prudentes. Au lieu de simplement dire "Oui, c'est ça", le modèle apprend à se demander : "Est-ce que c'est vraiment ce que je connais, ou est-ce juste un sosie ?"

C'est comme donner un sixième sens à un expert qui a tout vu, pour qu'il sache enfin dire : "Je ne suis pas sûr, je ne devrais pas répondre." C'est une étape cruciale pour rendre l'IA plus sûre dans le monde réel.

1. Problématique

L'article aborde le défi de la détection des données hors distribution (OOD) proches (Near OOD) dans le contexte de l'apprentissage par prompt (Prompt Learning) pour les modèles vision-langage, tels que CLIP.

Contexte : Les modèles pré-entraînés comme CLIP excellent en classification "zero-shot" et "few-shot" grâce à l'apprentissage par contraste. L'apprentissage par prompt (ex: CoOp, MaPLe) optimise des vecteurs de contexte continus pour améliorer la précision de classification avec peu d'exemples.
Le problème : Bien que ces modèles soient performants pour la classification in-distribution (ID), leur capacité à détecter les échantillons OOD, en particulier les Near OOD, est sous-exploitée.
- Near OOD : Les échantillons proviennent du même domaine que les données d'entraînement (ex: des images de fleurs) mais appartiennent à des classes non vues (ex: une espèce de fleur différente). C'est plus difficile à détecter que le "Far OOD" (ex: des images de chiens vs des chiffres).
Limites des méthodes existantes : Les méthodes actuelles de détection OOD nécessitent souvent un réentraînement complet, une modification de l'architecture du modèle, ou ne sont pas conçues spécifiquement pour les modèles basés sur l'apprentissage par prompt de CLIP. De plus, les scores de confiance classiques (comme MaxLogit) peinent à distinguer les échantillons ID atypiques des échantillons Near OOD.

2. Méthodologie : Le Contrastive Logit Score (CLS)

Les auteurs proposent une solution post-hoc (après entraînement) et plug-and-play appelée Contrastive Logit Score (CLS). Cette méthode ne modifie pas l'architecture du modèle ni ne nécessite de réentraînement.

A. Motivation Théorique

La méthode s'inspire d'un test d'hypothèse :

$H_{ID}$ : L'image provient de la distribution in-distribution.
$H_{OOD}$ : L'image provient de la distribution Near OOD.
L'objectif est de maximiser le rapport de vraisemblance. Comme la vraisemblance OOD est inconnue, les auteurs introduisent une classe "nulle" (classe 0) pour modéliser les caractéristiques générales de la distribution ID sans les associer à des classes spécifiques.

B. Formulation du Score

Le score CLS est défini comme la différence entre le meilleur score de classe connu et un score de "contexte" générique, pondéré par un facteur d'échelle :

$\text{CLS}(x) = \max_{i \in \{1..K\}} \langle I, P_i \rangle - \beta \langle I, V \rangle$

Où :

$I$ : Représentation de l'image.
$P_i$ : Représentation du prompt pour la classe $i$ (incluant le nom de la classe).
$V$ : Vecteur de contexte appris (les vecteurs $V_1...V_M$ optimisés lors du prompt learning) sans aucun nom de classe. Ce vecteur capture les caractéristiques génériques de la distribution ID.
$\langle \cdot, \cdot \rangle$ : Similarité cosinus.
$\beta$ : Facteur d'échelle (scaling factor).

Logique :

Le terme $\max \langle I, P_i \rangle$ (similaire au MaxLogit) mesure la confiance de classification.
Le terme $\langle I, V \rangle$ mesure à quel point l'image correspond aux caractéristiques générales de la distribution ID.
Les échantillons Near OOD ont souvent une forte similarité avec $V$ (car ils partagent le même domaine) mais une faible similarité avec les $P_i$ spécifiques. En soustrayant $\beta \langle I, V \rangle$ , on pénalise les échantillons qui ressemblent au domaine mais ne correspondent à aucune classe connue, améliorant ainsi la séparation.

C. Estimation du Facteur d'Échelle ( $\beta$ )

Le facteur $\beta$ est crucial pour décorréler le score de confiance et le score de contexte. Au lieu de le fixer manuellement, les auteurs proposent une estimation fermée (closed-form) basée uniquement sur les données d'entraînement few-shot :

On cherche à minimiser la covariance entre le score MaxLogit et le score $\langle I, V \rangle$ sur les données d'entraînement.
La solution optimale est donnée par la formule de régression linéaire simple (Lemme 1) :
$\beta = \frac{\sum (x_i - \mu_x)(y_i - \mu_y)}{\sum (x_i - \mu_x)^2}$
où $x = \langle I, V \rangle$ et $y = \text{MaxLogit}$ .

3. Contributions Clés

Nouvelle fonction de score (CLS) : Une méthode post-hoc conçue spécifiquement pour les modèles vision-langage à base de prompt learning, exploitant la structure contrastive de CLIP.
Approche sans réentraînement : La méthode est "plug-and-play", applicable à n'importe quel modèle de prompt learning pré-entraîné sans modification de l'architecture ni coût de calcul supplémentaire significatif.
Estimation automatique de $\beta$ : Une stratégie efficace pour adapter le facteur d'échelle à chaque jeu de données en utilisant uniquement les échantillons d'entraînement few-shot.
Amélioration des performances Near OOD : Démonstration que l'ajout du terme de contexte $\langle I, V \rangle$ permet de mieux distinguer les échantillons Near OOD des échantillons ID atypiques, là où les méthodes classiques échouent.

4. Résultats Expérimentaux

Les auteurs ont évalué leur méthode sur 13 jeux de données (incluant ImageNet, Caltech101, CIFAR, etc.) et 8 modèles de prompt learning (CoOp, CoCoOp, MaPLe, LoCoOp, etc.).

Amélioration de l'AUROC : La méthode CLS améliore la détection Near OOD jusqu'à 11,67 % en termes d'AUROC (Area Under the Receiver Operating Characteristic) par rapport au score MaxLogit de base.
Performance globale : Sur 104 évaluations (13 datasets × 8 modèles), CLS-M (version basée sur MaxLogit) a montré une amélioration dans 100 cas.
Comparaison avec l'état de l'art :
- CLS surpasse les méthodes spécifiques à CLIP comme LoCoOp et NegPrompt.
- Il surpasse également les méthodes de détection OOD générales (MSP, ODIN, Mahalanobis) qui ne sont pas adaptées aux modèles sans tête de classification.
- Dans le cadre du Far OOD, CLS reste compétitif (deuxième meilleure performance), bien que conçu pour le Near OOD.
Efficacité : La méthode n'ajoute qu'un coût computationnel négligeable (calcul d'un vecteur de contexte et estimation de $\beta$ ).

5. Signification et Impact

Ce travail comble un vide important dans la recherche sur les modèles vision-langage. Alors que la plupart des études se concentrent sur l'amélioration de la précision de classification, la fiabilité (détection d'anomalies) est cruciale pour les applications réelles critiques (santé, conduite autonome).

Généralité : La méthode est applicable à toute la famille des modèles dual-encoder (CLIP, ALIGN, SigLIP, etc.).
Praticité : En étant post-hoc et sans réentraînement, elle permet de déployer des systèmes de détection OOD robustes sur des modèles existants sans refaire tout le pipeline d'entraînement.
Perspective : L'article établit que l'exploitation de la structure contrastive intrinsèque de CLIP (via les vecteurs de contexte génériques) est une voie prometteuse pour la détection d'anomalies dans les modèles multimodaux.

En résumé, le Contrastive Logit Score offre une solution simple, efficace et généralisable pour rendre les modèles de prompt learning plus sûrs et plus fiables face à des données inconnues mais sémantiquement proches.