🤖 machine learning

MahaVar: OOD Detection via Class-wise Mahalanobis Distance Variance under Neural Collapse

Ce papier présente MahaVar, une méthode de détection hors distribution a posteriori qui s'appuie sur l'observation théoriquement fondée que les échantillons in-distribution présentent une variance élevée de la distance de Mahalanobis par classe en raison de la géométrie de l'effondrement neuronal, atteignant ainsi des performances de pointe sur des benchmarks standards.

Auteurs originaux : Donghwan Kim, Hyunsoo Yoon

Publié 2026-05-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Donghwan Kim, Hyunsoo Yoon

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un gardien de sécurité très intelligent (un réseau de neurones) qui a passé des années à apprendre à reconnaître des types spécifiques de personnes : « Médecins », « Pompiers » et « Chefs ». Ce gardien est excellent dans son travail lorsqu'il voit quelqu'un portant une blouse blanche, un casque ou une toque. Mais que se passe-t-il lorsqu'un touriste quelconque entre en portant un costume de clown rose vif ?

Dans le monde de l'IA, ce touriste est appelé un échantillon Hors Distribution (OOD). Le problème est que le gardien pourrait se confondre et affirmer avec assurance : « C'est définitivement un Chef ! » parce que le costume de clown possède certaines couleurs que le gardien a déjà vues. Cela est dangereux dans la vie réelle (comme une voiture autonome confondant un sac en plastique avec un rocher).

Ce papier, MahaVar, introduit une nouvelle façon pour le gardien de repérer ces « clowns » avant qu'ils ne causent des ennuis. Voici comment cela fonctionne, expliqué simplement :

L'Ancienne Méthode : « À quelle distance êtes-vous ? »

Auparavant, le gardien utilisait une méthode appelée Distance de Mahalanobis. Imaginez que le gardien possède une carte avec des « zones » spécifiques pour les Médecins, les Pompiers et les Chefs.

Lorsqu'une nouvelle personne arrive, le gardien mesure sa distance par rapport au centre de la zone « Médecin », de la zone « Pompier », etc.
Si la personne est très proche de l'une de ces zones (disons la zone Médecin), le gardien suppose qu'il s'agit d'un Médecin.
Si elle est loin de toutes les zones, le gardien suppose qu'il s'agit d'un étranger.

Le Défaut : Parfois, un touriste confus pourrait être également loin de toutes les zones, ou simplement légèrement plus proche d'une par accident. L'ancienne méthode ne regardait que la zone la plus proche et ignorait le reste.

La Nouvelle Découverte : La « Montagne Aiguë » vs La « Colline Plate »

Les auteurs de ce papier ont remarqué quelque chose d'intéressant sur l'apparence des distances lorsque vous les alignez de la plus proche à la plus éloignée.

Pour un vrai Médecin (Dans la Distribution) : Les distances ressemblent à un pic de montagne aigu. La distance à la zone « Médecin » est minuscule (le pic), mais la distance aux zones « Pompier » et « Chef » est énorme. Il y a un écart massif entre la plus proche et le reste.
- Analogie : Imaginez un alpiniste debout juste au sommet. Il est très proche du sommet, mais très loin du camp de base et de chaque autre sommet. La différence d'altitude est énorme.
Pour un touriste confus (Hors Distribution) : Les distances ressemblent à une colline plate. Le touriste n'est pas proche de la zone « Médecin », ni de la zone « Pompier ». Il est juste un peu « au milieu » de nulle part. Les distances à toutes les zones sont à peu près les mêmes et modérément grandes.
- Analogie : Imaginez quelqu'un debout sur un plateau plat. Il est à la même distance du sommet du Médecin, du sommet du Pompier et du sommet du Chef. Il n'y a pas de pic aigu ; c'est juste un paysage plat et ennuyeux.

Le Secret de la « Variance »

Le papier appelle cette différence Variance.

Haute Variance (La Montagne) : Une distance est minuscule, les autres sont énormes. Les nombres sautent beaucoup. Cela signifie « Je suis définitivement un Médecin ».
Basse Variance (La Colline Plate) : Toutes les distances sont similaires. Les nombres sont ennuyeux et plats. Cela signifie « Je n'appartiens à aucun groupe spécifique ».

Les auteurs ont réalisé qu'en mesurant à quel point ces distances « sautent » (la variance), ils pouvaient faire la différence entre un échantillon ID réel et un échantillon OOD factice bien mieux que de simplement regarder le plus proche.

La Solution : MahaVar

Ils ont construit un nouvel outil appelé MahaVar.

Il vérifie toujours à quel point la personne est proche de son groupe le plus proche (comme l'ancienne méthode).
Mais, il ajoute aussi un « Score de Variance ». Il demande : « La distance au groupe le plus proche est-elle nettement différente des autres ? »
Si la réponse est « Oui » (Haute Variance), il s'agit probablement d'un échantillon ID réel.
Si la réponse est « Non » (Basse Variance), il s'agit probablement d'un échantillon OOD.

Pourquoi Cela Fonctionne (La Théorie de l'Effondrement Neuronal)

Le papier explique pourquoi cela se produit en utilisant un concept appelé Effondrement Neuronal.
Imaginez que l'IA s'entraîne depuis si longtemps que la zone « Médecin » s'est rétrécie en un minuscule point serré, et que les zones « Pompier » et « Chef » se sont éloignées pour former une forme géométrique parfaite (comme une étoile).

Les vrais Médecins sont attirés directement dans ce minuscule point « Médecin ».
Les touristes, qui n'appartiennent pas, restent coincés flottant dans l'espace vide entre les points.
Grâce à cette géométrie, les vrais échantillons créent naturellement ce motif de « montagne aiguë », tandis que les faux échantillons créent le motif de « colline plate ».

Les Résultats

Les auteurs ont testé cela sur des ensembles de données d'images célèbres (comme CIFAR et ImageNet).

Le Résultat : MahaVar a systématiquement attrapé plus de « clowns » (échantillons OOD) et a fait moins d'erreurs que les méthodes précédentes.
La Contrainte : Cela fonctionne mieux lorsque l'IA a été bien entraînée et possède suffisamment d'« espace » dans son cerveau (dimensions) pour former ces formes géométriques parfaites. Sur certains modèles très complexes, cela fonctionne toujours très bien, mais la « montagne aiguë » n'est pas tout à fait aussi aiguë.

Résumé

Pensez à MahaVar comme à un gardien de sécurité qui ne demande pas seulement : « Êtes-vous proche d'un groupe connu ? » mais aussi : « Votre relation à ce groupe est-elle unique par rapport à tous les autres ? » Si vous êtes unique proche d'un groupe et loin de tous les autres, vous êtes probablement un vrai membre. Si vous êtes un peu proche de tout le monde, vous êtes probablement un imposteur. Cette simple addition de « vérifier la dispersion » rend le système beaucoup plus fiable.

Résumé Technique : MahaVar : Détection OOD via la Variance de la Distance de Mahalanobis par Classe sous l'Effondrement Neural

Énoncé du Problème
Le déploiement de réseaux de neurones profonds dans des environnements réels présente un défi critique : les modèles entraînés sous une hypothèse de monde clos rencontrent souvent des échantillons de test en dehors de leur distribution d'entraînement (Out-of-Distribution ou OOD). Ces échantillons peuvent entraîner des prédictions excessivement confiantes et potentiellement catastrophiques. Bien que la détection Out-of-Distribution (OOD) soit essentielle pour des domaines critiques comme la conduite autonome et l'imagerie médicale, les méthodes post-hoc existantes (qui ne nécessitent ni réentraînement ni accès aux données OOD) reposent souvent sur des signaux limités. Plus précisément, les détecteurs basés sur la distance de Mahalanobis, une référence solide, se concentrent typiquement uniquement sur la distance minimale vers la distribution gaussienne conditionnelle par classe la plus proche, ignorant potentiellement la géométrie structurelle des distances à travers toutes les classes.

Méthodologie : MahaVar
Les auteurs proposent MahaVar, un détecteur OOD post-hoc simple mais efficace qui enrichit la distance de Mahalanobis standard d'un terme de variance de distance par classe. La méthode repose sur la logique suivante :

Observation Empirique : Les auteurs observent que pour les échantillons In-Distribution (ID), les distances de Mahalanobis par classe triées présentent une « structure de minimum net prononcé ». La distance vers la classe la plus proche est significativement plus petite que les distances vers toutes les autres classes, qui restent grandes et relativement uniformes. En revanche, les échantillons OOD présentent un minimum moins prononcé, avec des distances vers toutes les classes comparativement grandes et moins variables. Cette asymétrie structurelle implique que les échantillons ID ont une variance plus élevée des distances par classe par rapport aux échantillons OOD.
Fondement Théorique (Effondrement Neural) : L'article fournit une analyse théorique basée sur l'Effondrement Neural, un phénomène géométrique où les caractéristiques avant-dernières de chaque classe s'effondrent vers leur moyenne de classe, et où les moyennes de classe s'arrangent elles-mêmes en un Cadre Équiangulaire Compact Simplexe (ETF). Sous des hypothèses d'Effondrement Neural assouplies (spécifiquement la compacité intra-classe et la séparation inter-classe), les auteurs prouvent que les échantillons ID présentent structurellement une variance de distance par classe strictement supérieure à celle des échantillons OOD. Le Théorème 4.3 et le Corollaire 4.4 établissent des conditions suffisantes sous lesquelles cette séparation de variance est garantie, en particulier lorsque les échantillons OOD maintiennent une séparation angulaire suffisante par rapport aux moyennes de classe ou ne se situent pas dans le sous-espace engendré par les moyennes de classe.
Fonction de Score : Le score OOD proposé $S(x)$ combine la distance de Mahalanobis minimale négative avec la variance par classe de ces distances :
$S(x) = -\min_{c} d_{Maha,c}(\hat{\phi}(x)) + \alpha \cdot \text{Var}_c[d_{Maha,c}(\hat{\phi}(x))]$
Où $\hat{\phi}(x)$ représente les caractéristiques avant-dernières normalisées en L2, et $\alpha$ est un hyperparamètre contrôlant le poids du terme de variance.

Contributions Clés
L'article apporte trois contributions principales :

Découverte Empirique : Identification d'une asymétrie structurelle précédemment inexploitée : les échantillons ID présentent un minimum net dans les distances de Mahalanobis par classe (variance élevée), tandis que les échantillons OOD présentent une distribution plus plate (variance faible).
Justification Théorique : Une analyse rigoureuse reliant cette observation à la géométrie de l'Effondrement Neural, prouvant que sous des conditions géométriques spécifiques, les échantillons ID dominent strictement les échantillons OOD en termes de variance de distance par classe.
Proposition Algorithmique : L'introduction de MahaVar, un détecteur post-hoc qui intègre ce terme de variance dans le cadre Mahalanobis++.

Résultats Expérimentaux
Les auteurs ont évalué MahaVar selon le protocole de référence OpenOOD v1.5 à travers trois configurations In-Distribution (ID) : CIFAR-10, CIFAR-100 et ImageNet, en utilisant à la fois les configurations d'évaluation Near-OOD et Far-OOD.

Performance : MahaVar atteint des performances State-of-the-Art (SOTA) sur CIFAR-100 et ImageNet parmi toutes les méthodes évaluées.
Comparaison avec les Références : Il surpasse systématiquement toutes les références basées sur Mahalanobis (y compris Mahalanobis et Mahalanobis++) sur les trois benchmarks en termes d'AUROC et de FPR@95.
Robustesse : Sur le benchmark à grande échelle ImageNet, moyenné sur trois architectures de base (ResNet-50, Swin-B et ViT-B), MahaVar atteint le meilleur AUROC moyen et FPR@95. Notamment, alors que d'autres méthodes de mise en forme des activations (comme ASH-S et SCALE) se dégradent considérablement sur les architectures de base basées sur des Transformers (Swin-B, ViT-B), MahaVar maintient des performances stables et supérieures.
Études d'Ablation : Les expériences confirment que le terme de variance fournit une information complémentaire significative même sans normalisation L2, bien que la combinaison de la normalisation L2 et de la variance produise les meilleurs résultats. La méthode est également robuste au choix de la métrique de distance (L1, L2, Mahalanobis), Mahalanobis performant le mieux grâce à sa prise en compte de la structure de covariance.

Signification et Revendications
L'article affirme que la structure complète des distances par classe contient des informations discriminatives plus riches que la seule distance à la classe la plus proche. En exploitant les propriétés géométriques de l'Effondrement Neural, MahaVar offre une méthode théoriquement fondée et empiriquement robuste pour la détection OOD. Les auteurs soulignent que cette approche est particulièrement précieuse pour le déploiement réel où le réentraînement des modèles est peu pratique.

Cependant, les auteurs maintiennent un ton modeste concernant les limites :

Sur CIFAR-10, les méthodes basées sur KNN atteignent encore un AUROC légèrement supérieur, suggérant que les approches non paramétriques peuvent être supérieures dans des configurations à faible nombre de classes.
Le cadre théorique repose sur des hypothèses d'Effondrement Neural, qui supposent des réseaux bien entraînés proches de la phase terminale de l'entraînement. Les auteurs notent que l'assouplissement de ces hypothèses pour couvrir des géométries de caractéristiques plus générales est une direction pour les travaux futurs.
L'implémentation pratique omet l'étape de centrage de la moyenne globale utilisée dans les preuves théoriques, car le centrage s'est avéré dégrader les performances sur ResNet-50 en raison de la géométrie de caractéristiques non négatives induite par les activations ReLU.