🤖 AI

Respecting Modality Gap in Post-hoc Out-of-distribution Detection with Pre-trained Vision-Language Models

Cet article propose un cadre de pseudo-supervision en ligne qui apprend des prototypes de classes visuelles à partir de données de test non étiquetées pour combler l'écart modal intrinsèque entre les représentations textuelles et visuelles, permettant ainsi d'atteindre une détection post-hoc hors distribution à la pointe de l'état de l'art sans nécessiter de données d'entraînement dans la distribution.

Auteurs originaux : Yuanwei Hu, Bo Peng, Yadan Luo, Zhen Fang, Ling Chen, Jie Lu

Publié 2026-05-27

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yuanwei Hu, Bo Peng, Yadan Luo, Zhen Fang, Ling Chen, Jie Lu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez une bibliothécaire très intelligente et bien informée (le modèle d'IA) qui a passé des années à étudier une immense bibliothèque de livres sur des sujets spécifiques, comme « les chats », « les voitures » et « les arbres ». Cette bibliothécaire est excellente pour identifier ces choses. Cependant, dans le monde réel, des gens pourraient entrer et montrer à la bibliothécaire une photo d'un « grille-pain pailleté » ou d'une « banane volante ». Ce sont des choses que la bibliothécaire n'a jamais vues auparavant.

L'objectif de la détection hors distribution (OOD) est d'apprendre à la bibliothécaire de dire : « Je ne sais pas ce que c'est », plutôt que de deviner qu'il s'agit d'un chat ou d'une voiture et de se tromper.

L'Ancienne Méthode : Le Problème du « Manuel »

Récemment, des scientifiques ont découvert un nouvel outil : un modèle vision-langage (comme CLIP). Imaginez cela comme une bibliothécaire capable de lire à la fois des images et des mots. Pour aider la bibliothécaire à reconnaître les « chats », l'ancienne méthode consistait simplement à écrire le mot « chat » sur une carte et à dire à la bibliothécaire : « Ce mot représente l'idée d'un chat. »

Le problème est que les mots et les images sont des langues différentes.

Le mot « chat » existe dans le monde du texte.
L'image d'un chat existe dans le monde des images.

L'article soutient que simplement utiliser le mot « chat » comme substitut de l'image d'un chat, c'est comme essayer de se repérer dans une ville en utilisant une carte d'une autre ville. Même si la carte et la ville partagent certains noms, les rues ne correspondent pas parfaitement. Il existe un « écart de modalité » — un décalage structurel entre la description textuelle et la réalité visuelle réelle. Peu importe la manière ingénieuse dont vous réécrivez l'invite (les instructions), vous ne pouvez pas combler cet écart, car le texte et l'image ne vivent tout simplement pas dans le même « quartier » du cerveau de l'IA.

La Nouvelle Solution : Apprendre en Faisant (L'Approche « En Ligne »)

Les auteurs proposent une nouvelle façon de résoudre ce problème. Au lieu de s'appuyer sur des cartes de texte statiques, ils laissent la bibliothécaire apprendre la carte visuelle directement pendant qu'elle travaille.

Voici comment leur méthode fonctionne, en utilisant une analogie simple :

La Configuration : La bibliothécaire commence avec les cartes de texte (l'ancienne méthode) comme point de départ approximatif.
Le Flux : Alors que des gens entrent avec de nouvelles images (données de test), la bibliothécaire les examine.
La Devinette : La bibliothécaire fait une « devinette douce » basée sur ses connaissances actuelles. « Cela ressemble à 80 % à un chat, à 20 % à un chien. »
La Mise à Jour :
- Si la bibliothécaire est très convaincue qu'il s'agit d'un chat, elle ajuste légèrement sa « carte mentale du chat » pour qu'elle corresponde à l'image réelle qu'elle vient de voir.
- Si la bibliothécaire est très convaincue qu'il ne s'agit pas d'un chat (c'est un objet inconnu), elle ajuste sa « carte des objets inconnus ».
- Si la bibliothécaire est confuse, elle ignore l'image pour le moment.
Le Résultat : Avec le temps, la bibliothécaire cesse de dépendre des cartes de texte imparfaites et construit une carte visuelle parfaite de ce à quoi un « chat » et un « inconnu » ressemblent réellement dans le monde réel.

Pourquoi Cela Compte

L'article prouve mathématiquement que l'ancienne méthode (utiliser le texte comme prototype) présente un défaut permanent car le texte et les images sont fondamentalement différents. Leur nouvelle méthode corrige cela en calibrant la carte à la volée en utilisant les images elles-mêmes, sans avoir besoin d'étiquettes humaines ni de réentraîner l'ensemble du système.

La Preuve

Ils ont testé cela sur d'énormes ensembles de données (comme ImageNet, qui contient des milliers de catégories). Les résultats étaient impressionnants :

La nouvelle méthode était bien meilleure pour repérer les « inconnus » (comme la banane volante) que les méthodes précédentes.
Elle a réduit considérablement le nombre de fois où l'IA devinait avec confiance la mauvaise chose (Faux Positifs).
Elle fonctionnait bien même lorsque les images étaient mélangées dans un ordre différent ou provenaient de sources différentes.

En résumé, l'article dit : « Ne lisez pas seulement l'étiquette ; regardez l'image et apprenez-en au fur et à mesure. » Cela permet à l'IA d'être beaucoup plus fiable lorsqu'elle rencontre des choses qu'elle n'a jamais vues auparavant.

Résumé technique : Respect de l'écart modal dans la détection hors distribution a posteriori avec des modèles vision-langage pré-entraînés

Énoncé du problème

La détection hors distribution (OOD) est cruciale pour garantir la fiabilité des modèles d'apprentissage automatique dans des environnements ouverts, où les échantillons de test peuvent appartenir à des classes inconnues non rencontrées lors de l'entraînement. Bien que les récents progrès des modèles vision-langage (VLM) pré-entraînés, en particulier CLIP, aient permis une détection OOD en zéro-shot sans accès aux données d'entraînement in-distribution (ID), les approches existantes reposent sur un paradigme spécifique : traiter les embeddings textuels des noms de classes comme des prototypes de classes.

Ce papier remet en question la validité de ce paradigme « texte-comme-prototype ». Il soutient que les méthodes existantes supposent implicitement que les représentations textuelles sont bien alignées avec les prototypes visuels optimaux des classes. Cependant, des preuves récentes suggèrent un « écart modal » persistant où les représentations textuelles et visuelles dans les modèles basés sur CLIP restent distinctes. Les auteurs postulent que les prototypes textuels prêts à l'emploi sont généralement mal alignés avec les prototypes visuels optimaux, créant un écart structurel intrinsèque qui ne peut être résolu uniquement par l'ingénierie de prompts ou l'extraction de labels négatifs. Cet désalignement conduit à des performances de détection OOD sous-optimales.

Méthodologie

Pour combler l'écart modal dans le cadre de contraintes a posteriori (où aucune donnée d'entraînement ID n'est disponible), le papier propose un cadre de pseudo-supervision en ligne qui apprend et met à jour directement les prototypes de classes dans l'espace des caractéristiques visuelles.

1. Caractérisation théorique de l'écart modal

Les auteurs fournissent d'abord une analyse théorique dans le cadre d'une formulation supervisée idéalisée. Ils dérivent une expression sous forme fermée pour les prototypes visuels optimaux de classes, prouvant que ces prototypes doivent résider entièrement dans l'enveloppe des caractéristiques visuelles. En revanche, les prototypes dérivés du texte contiennent souvent des composantes orthogonales à ce sous-espace visuel.

Théorème 1 : Établit que les prototypes visuels optimaux sont des combinaisons linéaires de caractéristiques visuelles.
Théorème 2 : Prouve une borne inférieure non nulle sur la distance entre les prototypes textuels et les prototypes visuels optimaux chaque fois que les embeddings textuels contiennent des composantes en dehors du sous-espace des caractéristiques visuelles. Cela formalise l'« écart modal » comme une limitation structurelle.

2. Cadre d'apprentissage de pseudo-supervision en ligne

Puisque les labels de vérité terrain ne sont pas disponibles dans le cadre en zéro-shot, la méthode utilise les fortes capacités de transfert en zéro-shot des modèles CLIP pré-entraînés pour générer des pseudo-labels souples.

Objectif de pseudo-supervision : Le cadre remplace les labels de vérité terrain durs par des prédictions souples issues du VLM pré-entraîné pour construire une fonction de perte de pseudo-supervision.
Optimisation en ligne : Un procédé d'optimisation en ligne est développé pour mettre à jour incrémentalement les prototypes visuels en utilisant des flux de données de test non étiquetés. Cela respecte la contrainte a posteriori en traitant les données au fur et à mesure de leur arrivée.
Stratégie de mise à jour des prototypes :
- L'espace de labels ID est étendu pour inclure $L$ pseudo-classes OOD (espaces réservés).
- Une règle de seuillage dur basée sur les scores OOD existants (par exemple, issus de NegLabel) classe les échantillons de test entrants comme « positifs » (probablement ID) ou « négatifs » (probablement OOD).
- Les prototypes de classes ID sont mis à jour uniquement lorsqu'un échantillon est classé comme ID ; les prototypes de pseudo-classes OOD sont mis à jour lorsqu'un échantillon est classé comme OOD.
- Les échantillons avec des scores incertains sont ignorés.
Garanties de convergence : Le Théorème 3 fournit des garanties théoriques pour la convergence du procédé d'optimisation en ligne proposé, bornant le regret cumulatif par $O(\sqrt{N})$ .

3. Score OOD

Le score OOD final pour une image de test est calculé en comparant la caractéristique visuelle de l'image aux prototypes visuels mis à jour (à la fois les classes ID et les pseudo-classes OOD) à l'aide d'une mesure de similarité basée sur softmax, plutôt que de s'appuyer sur les embeddings textuels originaux.

Contributions clés

Insight théorique : Le papier démontre théoriquement que l'hypothèse « texte-comme-prototype » dans la détection OOD a posteriori basée sur CLIP est fondamentalement erronée en raison d'un écart modal intrinsèque. Il prouve que les embeddings textuels ne peuvent pas représenter parfaitement les prototypes visuels optimaux sans calibration visuelle.
Cadre novateur : Il introduit un cadre de pseudo-supervision en ligne qui apprend les prototypes de classes directement dans l'espace des caractéristiques visuelles en utilisant des flux de test non étiquetés et des prédictions souples de VLM, comblant efficacement l'écart modal.
Garanties théoriques : Les auteurs fournissent des garanties de convergence rigoureuses pour leur algorithme d'optimisation en ligne.
Performances de l'état de l'art : La méthode obtient de nouveaux résultats de l'état de l'art sur divers benchmarks de détection OOD, y compris ImageNet-1K, OpenOOD et les ensembles de données CIFAR, surpassant des bases solides comme AdaNeg et NegLabel.

Résultats expérimentaux

Des expériences extensives valident l'efficacité de la méthode proposée :

ImageNet-1K : La méthode atteint un AUROC de 97,75 % et un FPR95 de 12,79 %, dépassant l'état de l'art précédent (AdaNeg) avec des marges significatives (par exemple, +1,09 % AUROC et -6,13 % FPR95).
Benchmark OpenOOD : Des améliorations constantes sont observées sur les ensembles de données Near-OOD et Far-OOD, démontrant une robustesse face à différents types de décalages de distribution.
Benchmarks CIFAR : La méthode montre des gains constants sur les configurations CIFAR-10 et CIFAR-100.
Études d'ablation : La méthode s'avère robuste face aux choix d'hyperparamètres, efficace sur différentes architectures d'encodeurs visuels (ResNet-50, ViT-B/32, ViT-L/14) et évolutive vers des résolutions d'entrée plus grandes.
Généralisation de domaine : L'approche maintient des performances supérieures lorsque les données ID subissent des décalages de domaine (par exemple, ImageNet-A, ImageNet-R, ImageNet-S).

Importance et revendications

Le papier revendique que sa principale importance réside dans l'identification et la résolution d'une limitation structurelle dans le paradigme actuel de la détection OOD en zéro-shot. En s'éloignant de la dépendance aux embeddings textuels comme prototypes statiques et en apprenant à la place des prototypes visuels dynamiques et calibrés à partir de données de test, la méthode offre une solution plus fondée théoriquement et empiriquement efficace.

Les auteurs soulignent que leur approche n'est pas simplement un ajustement technique mais un changement fondamental dans la manière dont les prototypes sont construits pour la détection OOD basée sur les VLM. Ils affirment que l'écart modal est un problème structurel indépendant des stratégies d'extraction de labels négatifs, et que leur cadre fournit une manière principielle d'atténuer cet écart, conduisant à des gains de performance constants sur divers benchmarks sans nécessiter de réentraînement sur des données ID.