Résumé technique : Medix – Détection de données hors distribution à partir de données sauvages non étiquetées via des statistiques de gradient robustes

Problématique

Le déploiement de modèles d'apprentissage automatique dans des environaux réels expose ces derniers à des entrées hors distribution (Out-of-Distribution ou OOD) — des données issues de catégories inconnues que le modèle n'a pas été entraîné à reconnaître. Bien que les réseaux de neurones soient intrinsèquement vulnérables à de telles entrées, leur détection lors de l'inférence est difficile car les modèles ne sont pas exposés à des distributions inconnues durant l'entraînement.

Des approches récentes ont tenté d'utiliser des données non étiquetées « dans la nature » (in-the-wild) pour améliorer la détection OOD. Cependant, un obstacle majeur subsiste : les données sauvages sont un mélange complexe d'échantillons de la distribution intra-distribution (In-Distribution ou InD) et de l'OOD. Contrairement aux méthodes qui supposent l'accès à un ensemble auxiliaire de données OOD propres (par exemple, l'exposition aux valeurs aberrantes ou Outlier Exposure), les données sauvages du monde réel manquent de labels distincts. L'absence d'un ensemble propre d'échantillons OOD complique l'entraînement d'un classificateur OOD optimal, car le modèle doit distinguer les échantillons InD des échantillons OOD au sein d'une distribution contaminée sans supervision explicite.

Méthodologie : Le cadre Medix

Les auteurs proposent Medix, un nouveau cadre conçu pour identifier les échantillons candidats aberrants à partir de données sauvages non étiquetées en utilisant des statistiques de gradient robustes par médiane élément par élément (EWM). Le cadre opère en deux étapes principales :

1. Extraction des valeurs aberrantes (Filtrage)

L'innovation centrale de Medix réside dans sa capacité à filtrer les échantillons candidats OOD d'un ensemble de données sauvages mixtes ($S_{wild}$) sans connaissance préalable de leurs étiquettes.

• Estimation du gradient de référence : D'abord, un classificateur InD ($f_\phi$) est entraîné uniquement sur des données InD étiquetées ($S_{in}$). Le gradient moyen ($\bar{\nabla}_{in}$) de la fonction de perte par rapport aux paramètres du modèle est calculé sur $S_{in}$. Cela sert de gradient de référence.
• Filtrage robuste via l'EWM : La méthode postule que la présence d'échantillons OOD dans les données sauvages provoque un écart entre le gradient moyen InD et la tendance centrale des gradients des données sauvages. Pour identifier cette tendance centrale de manière robuste, Medix utilise la médiane élément par élément des gradients plutôt que la moyenne. La médiane est choisée pour sa stabilité face au bruit et aux valeurs aberrantes.
• Suppression gourmande itérative : Le cadre formule un problème d'optimisation pour trouver un sous-ensemble de données sauvages qui minimise la distance entre son EWM et le gradient de référence $\bar{\nabla}_{in}$. Comme la résolution exacte est intraitable, Medix utilise une approche gourmande et itérative de type « leave-one-out » (Algorithme 1) :
  1. Calculer l'EWM de l'ensemble sauvage actuel.
  2. Identifier les échantillons dont la suppression entraîne la plus grande réduction de la distance L2 entre le nouvel ECM et $\bar{\nabla}_{in}$.
  3. Supprimer ces $k$ échantillons de tête comme candidats aberrants.
  4. Répéter jusqu'à ce que la réduction de la distance tombe en dessous d'un seuil $\epsilon$.
• Résultat : Ce processus isole un ensemble d'échantillons candidats aberrants ($\hat{S}_{out}$) et conserve un ensemble plus propre d'échantillons de type InD.

2. Entraînement du détecteur

Une fois les candidats aberrants extraits, le cadre entraîne un détecteur binaire OOD ($g_\theta$).

• Le détecteur est entraîné en utilisant les données InD originales étiquetées ($S_{in}$) comme exemples positifs et les candidats aberrants extraits ($\hat{S}_{out}$) comme exemples négatifs.
• L'objectif est de maximiser la séparabilité entre ces deux groupes, en imposant une frontière de décision où les échantillons InD produisent des sorties positives et les aberrants des sorties négatives.

Analyse théorique

L'article fournit des garanties théoriques formelles pour l'étape de filtrage sous le modèle de contamination de Huber, où les données sauvages sont un mélange de distributions InD et OOD avec un ratio de contamination $\pi$.

• Borne de mauvaise classification des Inliers : Les auteurs dérivent une borne supérieure sur la fraction d'échantillons InD réels incorrectement écartés en tant qu'aberrants. Cette borne dépend du ratio de contamination et de la concentration des gradients InD (supposés être sub-gaussiens).
• Borne de mauvaise classification des Outliers : Inversement, ils borner la fraction d'échantillons OOD réels incorrectement retenus comme InD. Cette borne repose sur la séparation entre la moyenne du gradient OOD et le gradient de référence InD, ainsi que sur la nature sub-gaussienne des gradients OOD.
• Insight clé : L'analyse démontre que le filtrage basé sur la médiane permet une séparation robuste même lorsque les échantillons OOD constituent une part importante du mélange (jusqu'à 50 %), à condition que les distributions soient suffisamment séparées.

Résultats expérimentaux

Medix a été évalué sur onze paires de jeux de données InD-OOD, utilisant principalement CIFAR-10 et CIFAR-100 comme jeux de données InD et divers jeux de données (SVHN, PLACES365, LSUN, TEXTURES) comme sources OOD. La méthode a été comparée à 20 bases de référence compétitives, incluant :

• Méthodes InD-uniquement : MSP, ODIN, Mahalanobis, Energy, ReAct, DICE, KNN, ASH, CSI, KNN+.
• Méthodes de données sauvages (Wild-data) : Outlier Exposure (OE), Energy-regularization, WOODS, CONJ, DRL.

Principaux résultats :

• Performance supérieure : Medix a surpassé toutes les bases de référence sur l'ensemble des tests. Sur CIFAR-100, il a réduit le taux moyen de faux positifs à un taux de vrais positifs de 95 % (FPR95) de 40,98 % par rapport à la base forte KNN+ et de 1,32 % par rapport à la méthode de données sauvages de l'état de l'art, WOODS.
• Robustesse à la contamination : La méthode a maintenu une performance élevée même lorsque les données sauvages contenaient un mélange de 50 % d'échantillons OOD.
• Scalabilité : Des expériences sur des architectures plus larges (ResNet-50) et des jeux de données à grande échelle (ImageNet-1k) ont confirmé que le signal de filtrage basé sur la L2 reste robuste dans les espaces de gradients de haute dimension.
• Études d'ablation : Les auteurs ont démontré que les gains de performance proviennent spécifiquement de la précision du filtrage basé sur la médiane, plutôt que du seul pipeline en deux étapes. Le remplacement du filtre de la médiane par un filtre naïf de probabilité de softmax maximale (MSP) entraînait un effondrement significatif des performances.

Signification et affirmations

L'article affirme que Medix comble une lacune critique dans la détection OOD : la capacité d'exploiter des données sauvages non étiquetées et mixtes sans nécessiter de jeux de données OOD auxiliaires propres ou de fortes hypothèses de distribution.

• Mécanisme novateur : En exploitant la robustesse de la médiane élément par élément, Medix fournit un mécanisme théoriquement fondé pour filtrer les valeurs aberrantes à partir de données mixtes, une tâche auparavant considérée comme difficile en raison de l'absence de labels OOD distincts.
• Fondement théorique : Le travail établit des bornes d'erreur prouvables pour la mauvaise classification des inliers et des outliers, offrant un fondement théorique formel pour le contexte « in-the-wild », un domaine où de tels fondements étaient auparavant rares.
• Impact pratique : La méthode offre une plus grande flexibilité pour le déploiement dans le monde réel, où les modèles doivent opérer dans des environnements dynamiques avec des distributions de données inconnues. Les résultats empiriques suggèrent que Medix peut considérablement améliorer la sécurité et la fiabilité des systèmes d'apprentissage automatique en identant et en gérant efficacement les entrées OOD grâce à des données non étiquetées facilement disponibles.

Les auteurs concluent que Medix représente une étape importante vers l'apprentissage en monde ouvert (open-world learning), démontant que les statistiques de gradient robustes peuvent transformer efficacement les données sauvages non étiquetées en une supervision utile pour la détection OOD.