Mind the Way You Select Negative Texts: Pursuing the Distance Consistency in OOD Detection with VLMs

Ce papier présente InterNeg, un cadre innovant pour la détection hors distribution (OOD) avec des modèles vision-langage (VLM), qui améliore les performances en assurant une cohérence des distances inter-modales lors de la sélection des textes négatifs et de la génération d'embeddings textuels à partir d'images OOD, surpassant ainsi les méthodes existantes sur plusieurs benchmarks.

L'essentiel

Imaginez que vous êtes un gardien de musée très intelligent, capable de reconnaître n'importe quelle œuvre d'art classique (les chats, les chiens, les voitures) que vous avez étudiée. C'est ce qu'on appelle un modèle d'intelligence artificielle "en distribution" (ID).

Mais que se passe-t-il si quelqu'un vous montre un objet étrange, comme un extraterrestre en plastique ou une tasse qui flotte ? C'est une donnée "hors distribution" (OOD). Le problème, c'est que votre gardien, trop confiant, va essayer de forcer cet objet étrange à rentrer dans l'une de ses catégories connues. Il dira : "Ah, c'est un chat !" alors que c'est un extraterrestre. C'est dangereux, surtout dans des domaines comme la conduite autonome ou le diagnostic médical.

Voici l'histoire de InterNeg, une nouvelle méthode proposée par des chercheurs pour aider ce gardien à mieux dire "Je ne connais pas ça".

Le Problème : Le Gardien qui utilise la mauvaise règle

Jusqu'à présent, pour aider les gardiens (les modèles d'IA) à repérer les objets inconnus, on utilisait une astuce : on leur montrait une liste de mots "négatifs" (des choses qui ne sont pas des chats, des chiens, etc.).

Le problème, c'est que les chercheurs utilisaient une règle de comparaison un peu bizarre, comme si on comparait des pommes avec des oranges :

1. L'ancienne méthode (Intra-modalité) : On comparait le mot "extraterrestre" avec le mot "chat" (texte contre texte).
2. La réalité du modèle (Inter-modalité) : Le modèle est entraîné à comparer une image avec un texte (une photo de chat avec le mot "chat").

C'est comme si vous essayiez de vérifier si une photo est un chat en regardant seulement si le mot "chat" ressemble au mot "chien". C'est logique pour un humain, mais pas pour le modèle ! Cette incohérence crée des erreurs : le modèle peut penser qu'un objet étrange est un "chat" juste parce que le mot "chat" est loin du mot "chien", même si l'image de l'objet est très proche de l'image d'un chat.

La Solution : InterNeg (Le Gardien qui a les yeux et les oreilles alignés)

Les auteurs proposent InterNeg, une méthode simple mais ingénieuse qui remet tout à l'endroit en respectant la logique du modèle : Image vs Texte.

Voici comment ça marche, en deux étapes magiques :

1. Le Tri des Mots (La perspective Textuelle)

Au lieu de choisir des mots "négatifs" au hasard ou juste parce qu'ils sont loin des mots "positifs", InterNeg utilise une boussole spéciale.

• L'analogie : Imaginez que vous avez une photo de référence pour chaque catégorie (un "proxy" de chat, un "proxy" de chien).
• L'action : InterNeg cherche des mots qui sont loins de toutes les photos de référence. Si un mot est loin de la photo de chat ET loin de la photo de chien, alors c'est un bon candidat pour dire "Ce n'est ni l'un ni l'autre".
• Résultat : On obtient une liste de mots "négatifs" qui sont vraiment cohérents avec la façon dont le modèle voit le monde.

2. La Magie de l'Inversion (La perspective Visuelle)

C'est la partie la plus créative. Parfois, le modèle voit une image bizarre et dit : "Je suis sûr à 99% que ce n'est pas un chat".

• L'analogie : C'est comme si le modèle voyait un monstre et criait "C'est un monstre !". Au lieu de juste ignorer ce cri, InterNeg prend cette image de "monstre" et la transforme en mot.
• L'action : Le système utilise une technique appelée "inversion de modalité". Il prend l'image de l'objet inconnu et génère un nouveau mot (un "token") qui décrit cette image. Ce nouveau mot devient un "mot négatif" supplémentaire.
• Le filtre : Pour éviter d'inventer des mots pour des erreurs, le système vérifie une dernière fois : "Est-ce que ce nouveau mot est vraiment loin de toutes les photos de référence ?". Si oui, il l'ajoute à la liste.

Pourquoi c'est génial ?

Imaginez que vous apprenez à un enfant à ne pas toucher au feu.

• L'ancienne méthode : Vous lui dites "Ne touche pas au feu, c'est comme toucher à la glace" (comparaison texte-texte).
• InterNeg : Vous lui montrez une photo de feu et vous lui dites "Ce n'est pas une pomme, ce n'est pas une voiture, et regarde, même si tu vois un objet bizarre qui ressemble à ça, ce n'est pas une pomme" (comparaison image-texte cohérente).

Les Résultats

Grâce à cette cohérence, InterNeg est devenu le champion du monde sur plusieurs tests :

• Il se trompe beaucoup moins souvent en classant un objet inconnu comme un objet connu.
• Il détecte les objets étranges avec une précision record, même sur des bases de données géantes comme ImageNet.

En résumé : InterNeg a simplement dit aux chercheurs : "Arrêtez de comparer des pommes avec des oranges. Si votre modèle apprend avec des images et des textes, utilisez des images et des textes pour le tester." Et ça a fonctionné du premier coup !

Résumé technique

---

1. Problématique

La détection de données hors distribution (Out-of-Distribution ou OOD) vise à identifier les échantillons provenant de classes inconnues, une capacité cruciale pour déployer des modèles d'apprentissage automatique dans des environnements ouverts (monde réel).

Bien que les Modèles Vision-Langage (VLM) comme CLIP aient démontré leur efficacité pour cette tâche grâce à leurs représentations multimodales riches, les méthodes actuelles souffrent d'une incohérence fondamentale :

• L'incohérence de distance : Les VLM de type CLIP sont optimisés pour minimiser la distance inter-modale (entre une image et son texte correspondant) et maximiser la distance entre les paires non appariées. Cependant, les méthodes existantes (comme NegLabel ou AdaNeg) utilisent souvent des distances intra-modales (comparaison texte-texte ou image-image) pour sélectionner des textes négatifs ou des proxies.
• La conséquence : Cette approche crée un décalage. Un texte peut être très éloigné d'une étiquette ID dans l'espace textuel (grande distance intra-modale) mais rester proche d'une image ID dans l'espace inter-modale. Cela conduit à des erreurs de classification où des données ID sont incorrectement rejetées comme OOD (faux positifs), limitant ainsi les performances globales.

2. Méthodologie : InterNeg

Les auteurs proposent InterNeg, un cadre simple mais efficace qui résout ce problème en assurant une cohérence stricte de la distance inter-modale à la fois du point de vue textuel et visuel, sans nécessiter d'entraînement sur les données ID (Zero-Shot).

A. Sélection de textes négatifs guidée par l'inter-modale (Perspective Textuelle)

Au lieu de sélectionner des textes négatifs uniquement basés sur leur distance aux étiquettes ID dans l'espace textuel, InterNeg introduit une métrique basée sur les proxies d'images ID.

1. Création de proxies : Pour chaque classe ID, on calcule un vecteur moyen (proxy) à partir d'un petit nombre d'images d'entraînement (ex: 16 images par classe).
2. Critère de sélection : Un texte candidat est sélectionné comme négatif uniquement si sa distance inter-modale (cosinus) avec tous les proxies d'images ID est supérieure à une distance de base définie par la relation image-texte de la classe ID elle-même.
3. Résultat : Cela garantit que les textes négatifs sélectionnés sont véritablement éloignés des concepts visuels ID, alignant la sélection sur l'objectif d'optimisation de CLIP.

B. Inversion d'images OOD à haute confiance (Perspective Visuelle)

Pour enrichir l'espace textuel négatif dynamiquement lors de l'inférence :

1. Détection initiale : Les images de test sont évaluées. Celles ayant un score OOD élevé (confiance forte) sont considérées comme des images OOD.
2. Inversion de modalité (Modality Inversion) : Ces images OOD sont transformées en embeddings textuels négatifs supplémentaires. Cela se fait en optimisant un ensemble de "pseudo-tokens" pour minimiser la distance cosinus entre l'embedding de l'image et l'embedding du texte généré.
3. Filtrage dynamique : Pour éviter d'inclure du bruit (images ID mal classées), ces embeddings textuels générés sont filtrés selon le même critère inter-modale que celui utilisé pour la sélection initiale (distance aux proxies ID). Seuls les embeddings respectant ce critère sont ajoutés à l'ensemble des textes négatifs.

3. Contributions Clés

1. Identification d'une incohérence fondamentale : Les auteurs sont les premiers à mettre en évidence que l'utilisation de distances intra-modales dans la détection OOD avec des VLM CLIP-like est sous-optimale et conduit à des erreurs de classification ID.
2. Proposition d'InterNeg : Un cadre Zero-Shot qui harmonise la détection OOD avec l'objectif d'entraînement des VLM en utilisant exclusivement des distances inter-modales cohérentes, sans nécessiter d'entraînement sur les données ID ni de données supplémentaires.
3. Performance State-of-the-Art (SOTA) : Démonstration expérimentale que cette approche surpasse les méthodes existantes, y compris celles qui nécessitent un entraînement, sur plusieurs benchmarks complexes.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks standards (ImageNet-1K avec les ensembles Four-OOD et OpenOOD).

• Benchmark Four-OOD (ImageNet-1K) :

  • Réduction de 3,47 % du taux de faux positifs à 95 % (FPR95) par rapport aux méthodes existantes.
  • Amélioration de 0,77 % de l'AUC (AUROC).
  • InterNeg atteint un FPR95 de 0,40 %, surpassant largement les méthodes Zero-Shot (ex: NegLabel à 1,91 %) et les méthodes entraînées.

• Benchmark Near-OOD (OpenOOD) :

  • C'est le scénario le plus difficile (données OOD proches des données ID).
  • Amélioration significative de 5,50 % de l'AUROC.
  • Réduction de 2,09 % du FPR95.
  • InterNeg devient compétitif, voire supérieur, aux méthodes nécessitant un entraînement sur des données ID ou supplémentaires.

• Robustesse : Des études d'ablation montrent que l'utilisation combinée de la sélection de textes négatifs guidée par l'inter-modale et de l'inversion d'images OOD est cruciale. La méthode reste robuste face aux déséquilibres de données (rapports ID:OOD variables) et aux choix de corpus.

5. Signification et Impact

Ce travail est significatif car il remet en question le paradigme dominant de la détection OOD basée sur les VLM. En démontrant que l'alignement entre l'objectif de détection et l'objectif d'entraînement du modèle (la cohérence inter-modale) est la clé de la performance, InterNeg offre une nouvelle direction pour le développement de systèmes d'IA plus fiables et sécurisés.

La méthode est particulièrement pertinente pour les applications réelles (conduite autonome, diagnostic médical) où :

• L'entraînement sur des données étiquetées est coûteux ou impossible.
• La fiabilité (éviter de rejeter des données valides) est critique.
• L'adaptabilité à des environnements ouverts est requise.

En conclusion, InterNeg prouve qu'une sélection rigoureuse des "textes négatifs" basée sur la cohérence physique du modèle (image-texte) est plus efficace que des heuristiques purement textuelles, établissant un nouvel état de l'art pour la détection OOD Zero-Shot.