🤖 machine learning

Debiased Negative Mining Improves Out-of-distribution Detection with Pre-trained Vision-Language Models

Cet article propose une nouvelle méthode de détection hors distribution utilisant des modèles vision-langage préentraînés, qui résout le problème des faux négatifs dans l'extraction d'étiquettes négatives en introduisant un cadre théorique pour un échantillonnage débiaisé, mis en œuvre pratiquement par un échantillonnage de Monte-Carlo afin d'atteindre des performances à la pointe de l'état de l'art.

Auteurs originaux : Bo Peng, Jie Lu, Guangquan Zhang, Zhen Fang

Publié 2026-05-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bo Peng, Jie Lu, Guangquan Zhang, Zhen Fang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La Vue d'Ensemble : Le Problème du « Danger Inconnu » pour l'IA

Imaginez que vous avez un garde de sécurité très intelligent (un modèle d'IA) qui a été entraîné à reconnaître 1 000 animaux spécifiques (comme des chats, des chiens et des aigles). Ce garde est excellent pour identifier ces animaux. Cependant, dans le monde réel, le garde pourrait rencontrer un animal complètement nouveau qu'il n'a jamais vu, comme un ornithorynque ou un chien robot.

Si le garde est trop confiant, il pourrait essayer de forcer l'ornithorynque dans la catégorie « canard » ou « castor », ce qui est une erreur. C'est ce qu'on appelle une erreur Hors Distribution (OOD). L'objectif de ce papier est d'enseigner au garde comment dire « Je ne sais pas ce que c'est », au lieu de faire une mauvaise supposition.

La Solution Actuelle : La « Liste de Ce N'est Pas »

Pour aider le garde à repérer les inconnus, les chercheurs ont commencé à utiliser un outil spécial appelé Modèle Vision-Langage (VLM). Imaginez cet outil comme un garde qui non seulement voit l'animal, mais connaît aussi les noms de milliers d'autres animaux.

La méthode populaire actuelle fonctionne ainsi :

Le garde regarde l'animal inconnu.
Il compare l'animal aux 1 000 animaux connus (Distribution Intérieure ou ID).
Il compare aussi l'animal à une longue liste d'animaux aléatoires qu'il a choisis dans un dictionnaire (Étiquettes Négatives).
Si l'animal inconnu ressemble davantage à la « liste aléatoire » qu'à la « liste connue », le garde le signale comme un inconnu.

Le Problème : La méthode actuelle choisit ces « animaux aléatoires » (étiquettes négatives) selon une règle simple : « Choisissez des mots qui sonnent ou qui ressemblent différemment des animaux connus ».

Le Défaut : C'est comme essayer de trouver un « non-chien » en choisissant des mots qui ne sont pas « chien ». Vous pourriez accidentellement choisir « loup » ou « renard ». Pour l'IA, un loup ressemble beaucoup à un chien. Ainsi, l'IA se trompe. Elle pense : « Eh bien, cet animal nouveau ressemble à un loup, et un loup est sur ma liste de 'pas-chien', donc cela doit être un chien ! »
Le Résultat : L'IA fait des erreurs parce que sa « liste d'inconnus » est contaminée par des choses qui ressemblent en réalité à celles qu'elle est censée connaître. C'est ce qu'on appelle le Biais d'Extraction Négative.

La Solution du Papier : Le Détective « Débiaisé »

Les auteurs de ce papier disent : « Nous avons besoin d'un meilleur moyen de choisir notre liste d'« inconnus » sans choisir accidentellement des choses qui ressemblent à nos amis. »

Ils ont développé un tour de passe-passe mathématique pour corriger ce biais sans avoir besoin qu'un humain vérifie chaque mot de la liste. Voici comment ils procèdent, en utilisant une analogie :

L'Analogie : La Station de Radio Bruitée

Imaginez que vous essayez d'écouter une chanson spécifique (le signal « Vrai Inconnu »), mais votre radio capte du bruit statique et d'autres chansons (le « Corpus Sauvage » ou données non étiquetées).

Ancienne Méthode : Vous augmentez simplement le volume du bruit statique, en espérant que la chanson que vous voulez est assez forte pour se démarquer. Parfois, le bruit couvre la chanson, ou vous confondez une chanson qui sonne de manière similaire avec celle que vous voulez.
Nouvelle Méthode (Extraction Négative Débiaisée) : Les auteurs ont réalisé que le « bruit statique » (les données sauvages) est en fait un mélange de deux choses :
1. Des choses qui sont similaires à vos amis connus (Bruit positif).
2. Des choses qui sont vraiment des inconnus (Bruit négatif).

Au lieu de deviner lequel est lequel, ils utilisent un tour de passe-passe de soustraction mathématique.

Ils estiment la quantité de bruit « ressemblant à un ami » dans le mélange.
Ils soustraient mathématiquement ce bruit « ressemblant à un ami » du bruit statique total.
Ce qui reste est un signal beaucoup plus propre de ce à quoi ressemble réellement un « vrai inconnu ».

En termes techniques, ils utilisent une technique appelée Échantillonnage par Importance. Ils prennent les données bruyantes et non étiquetées, et ils corrigent mathématiquement le fait que certaines d'entre elles ressemblent trop aux classes connues. Cela crée un score « Débiaisé ».

Comment Ils Procèdent (Les 3 Étapes)

Le papier décrit un processus pratique en trois étapes pour construire ce meilleur « détecteur d'inconnus » :

Choisir les Meilleurs « Inconnus » : Ils prennent un énorme dictionnaire de mots en désordre (le corpus sauvage). Au lieu de les choisir au hasard, ils choisissent les mots qui sont les plus « denses » ou regroupés ensemble. Pensez-y comme choisir les exemples les plus représentatifs de « l'étrangeté » plutôt que des valeurs aberrantes aléatoires.
Simuler les « Amis » : Puisqu'ils n'ont pas de liste d'« vrais amis » à soustraire, ils créent une fausse liste. Ils prennent les noms d'animaux connus (par exemple, « Chat ») et ajoutent une petite touche de « bruit » (aléatoire) dans la mémoire de l'ordinateur. Cela simule à quoi ressemble un « ami » dans les données en désordre.
La Magie Mathématique : Ils insèrent ces deux listes dans leur formule. Ils calculent le score pour l'animal inconnu, puis soustraient le score simulé « ami » du score « inconnu » en désordre. Cela annule la confusion.

Les Résultats : Pourquoi Cela Compte

Les auteurs ont testé cette nouvelle méthode contre les anciennes en utilisant des ensembles de données d'images célèbres (comme ImageNet).

Le Résultat : Leur méthode a systématiquement battu les meilleures méthodes précédentes.
La Preuve : Lors des tests, leur IA était beaucoup meilleure pour dire « Je ne sais pas » lorsqu'on lui montrait une image étrange, et beaucoup moins susceptible de faire une supposition confiante sur le mauvais animal.
Robustesse : Cela a bien fonctionné même lorsque les animaux « connus » étaient légèrement différents (par exemple, des dessins au lieu de photos) ou lors de l'utilisation de différents types de cerveaux d'IA.

Résumé

Ce papier corrige un défaut spécifique dans la façon dont l'IA apprend à repérer les « inconnus ». L'ancienne méthode était comme essayer de trouver une aiguille dans une botte de foin en ignorant le foin, mais en ramassant accidentellement d'autres aiguilles qui ressemblaient. La nouvelle méthode utilise un filtre mathématique pour éliminer ces « fausses aiguilles », offrant à l'IA une vision beaucoup plus claire de ce qui est vraiment inconnu. Cela rend l'IA plus sûre et plus fiable lorsqu'elle rencontre des choses qu'elle n'a jamais vues auparavant.

Résumé Technique : L'Extraction de Négatifs Débiaisée Améliore la Détection Hors Distribution avec des Modèles Vision-Langage Pré-entraînés

Énoncé du Problème
La détection hors distribution (OOD) est cruciale pour garantir la fiabilité des modèles d'apprentissage automatique dans des scénarios de monde ouvert où les données de test peuvent contenir des classes non vues. Bien que les modèles vision-langage (VLM) pré-entraînés, tels que CLIP, aient montré des promesses dans la détection OOD a posteriori en exploitant les affinités sémantiques entre les étiquettes In-Distribution (ID) et les étiquettes « négatives » (sémantiquement distinctes des ID), les approches existantes font face à une limitation théorique significative. Les méthodes actuelles, comme NegLabel, reposent sur des règles heuristiques (par exemple, la similarité cosinus) pour extraire des étiquettes négatives à partir de données « sauvages » non étiquetées (par exemple, WordNet). Les auteurs soutiennent que ces règles heuristiques manquent de garanties théoriques pour capturer une véritable dissimilarité sémantique, conduisant à un « biais d'extraction de négatifs ». Ce biais se produit car l'ensemble négatif extrait est inévitablement contaminé par de « faux négatifs » (des étiquettes qui sont en réalité sémantiquement similaires aux classes ID), résultant en des fonctions de score OOD sous-optimales. Le défi central abordé est de savoir comment atténuer ce biais d'échantillonnage sans nécessiter d'informations de similarité de vérité terrain ni de feedback humain supplémentaire sur le corpus sauvage.

Méthodologie
La méthode proposée, l'Extraction de Négatifs Débiaisée, introduit un cadre théorique pour corriger le biais d'échantillonnage des étiquettes négatives en approximent indirectement la vraie distribution des étiquettes négatives. L'approche repose sur les étapes suivantes :

Modélisation de la Distribution : Les auteurs modélisent la distribution des données sauvages non étiquetées ( $Q_Y$ ) comme un mélange d'étiquettes positives vraies ( $P^+_Y$ ) et d'étiquettes négatives vraies ( $P^-_Y$ ) en utilisant le modèle de contamination de Huber : $Q_Y = \tau \cdot P^+_Y + (1-\tau) \cdot P^-_Y$ , où $\tau$ est une probabilité a priori traitée comme un hyperparamètre.
Déduction Théorique : En réarrangeant le modèle de mélange, la distribution négative vraie est exprimée comme $P^-_Y = (Q_Y - \tau \cdot P^+_Y) / (1-\tau)$ . Les auteurs dérivent une fonction de score OOD non biaisée basée sur cette relation.
Approximation Asymptotique : Pour éviter des estimations coûteuses en calcul, la méthode utilise le théorème de convergence dominée pour montrer que, lorsque le nombre d'étiquettes négatives tend vers l'infini, la fonction de score converge vers une forme dépendante des espérances de la distribution sauvage et de la distribution positive.
Échantillonnage d'Importance Monte-Carlo : La fonction de score débiaisée finale est implémentée comme un estimateur Monte-Carlo. Elle nécessite :
- Échantillonnage du Corpus Sauvage ( $u_i$ ) : Sélection d'échantillons représentatifs du corpus sauvage basés sur la densité locale (en utilisant les $\alpha$ -plus proches voisins) pour approximer l'espérance sur $Q_Y$ .
- Synthèse d'Étiquettes Positives ( $v_i$ ) : Puisque les étiquettes positives vraies du corpus sauvage sont inconnues, la méthode synthétise des caractéristiques positives en appliquant une transformation préservant la sémantique (ajout de bruit gaussien et normalisation) aux embeddings des étiquettes ID connues.
- Notation : Le score OOD final est calculé en combinant les affinités des étiquettes ID avec la différence pondérée entre l'espérance du corpus sauvage et l'espérance positive synthétisée, annulant efficacement la contamination des faux négatifs.

Contributions Clés

Cadre Théorique : L'article développe un cadre théorique novateur qui corrige le biais d'échantillonnage des étiquettes négatives sans nécessiter d'informations de similarité ou de dissimilarité de vérité terrain, adressant le problème des « faux négatifs » inhérent à l'extraction heuristique.
Implémentation Pratique : Les auteurs implémentent cette correction comme une stratégie d'échantillonnage d'importance efficace qui repose uniquement sur l'accès à des exemples positifs (étiquettes ID) et à des données sauvages non étiquetées, évitant ainsi le besoin de supervision supplémentaire.
Performances de l'État de l'Art : Des expériences extensives démontrent que la méthode établit de nouveaux résultats de l'état de l'art sur divers benchmarks de détection OOD, différentes architectures CLIP (ViT-B/32, ViT-L/14, ResNet-50) et différentes résolutions d'entrée.
Robustesse : La méthode montre une forte généralisation et robustesse dans des scénarios de décalage de domaine (par exemple, ImageNet-A, ImageNet-R, ImageNetV2), surpassant les méthodes zero-shot existantes.

Résultats Expérimentaux
La méthode a été évaluée sur le benchmark ImageNet-1K avec des étiquettes ID, testée contre des ensembles de données OOD incluant iNaturalist, SUN, Places365 et Textures.

Performance : La méthode proposée a atteint un AUROC moyen de 94,52 % et un FPR95 de 22,37 %, surpassant la meilleure méthode zero-shot précédente, NegLabel (94,21 % AUROC, 25,40 % FPR95).
Ablation : La méthode a constamment surpassé NegLabel sur différents backbones visuels (ViT-B/32, ViT-L/14, ResNet-50) et résolutions d'entrée (224x224 vs 336x336).
Sensibilité au Corpus : La méthode a démontré une performance supérieure à NegLabel lors des tests avec différentes sources de corpus (Common-20K et Tags de Parties du Discours), indiquant une flexibilité dans le choix des données sauvages.
Hyperparamètres : La méthode s'est révélée stable sur une large gamme d'hyperparamètres, incluant la probabilité a priori $\tau$ , l'intensité du bruit $\sigma$ et le nombre d'étiquettes échantillonnées $L$ .

Signification
L'article affirme que si l'extraction d'étiquettes négatives a été une heuristique réussie, son potentiel n'a pas été pleinement libéré en raison du problème non résolu des faux négatifs. En fournissant une correction théorique pour ce biais, le travail « libère » le potentiel des VLM pour la détection OOD. Les auteurs soulignent que leur approche atteint ces gains sans nécessiter de données d'entraînement supplémentaires ni de feedback humain sur le corpus sauvage, en faisant une solution pratique et robuste pour la détection OOD zero-shot. Le travail suggère que les directions futures pourraient impliquer l'intégration de Modèles de Langage Multimodaux Pré-entraînés, mais la contribution actuelle se concentre sur l'affinement du processus d'extraction de négatifs au sein des cadres VLM existants.