📊 statistics

A Bayesian Nonparametric Perspective on Mahalanobis Distance for Out of Distribution Detection

Ce papier établit un lien formel entre les modèles bayésiens non paramétriques et le score de distance de Mahalanobis relatif pour la détection hors distribution, en proposant des modèles de mélanges hiérarchiques généralisés qui démontrent des performances supérieures, en particulier lorsque les classes d'entraînement présentent des structures de covariance variables ou des données limitées.

Auteurs originaux : Randolph W. Linderman (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Noah Cowan (Statistics Department, Stanford University, Stanford, CA, USA), Yiran Chen (Electr

Publié 2026-05-28

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Randolph W. Linderman (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Noah Cowan (Statistics Department, Stanford University, Stanford, CA, USA), Yiran Chen (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Scott W. Linderman (Statistics Department, Stanford University, Stanford, CA, USA, The Wu Tsai Neurosciences Institute, Stanford University, Stanford, CA, USA)

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes gardien de sécurité dans une galerie d'art très exclusive. Vous avez passé des années à étudier les tableaux de la galerie (vos données d'entraînement). Vous savez exactement à quoi ressemble, à quoi ressemble et comment se comporte un tableau « authentique ».

Un jour, un étranger entre en tenant un objet bizarre. S'agit-il d'un chef-d'œuvre d'un nouvel artiste que vous n'avez pas encore vu (un échantillon hors distribution ou OOD), ou s'agit-il simplement d'une poubelle de forme étrange (une valeur aberrante) ? Votre travail consiste à repérer la poubelle immédiatement et à déclencher l'alarme.

Ce papier traite de la construction d'un gardien de sécurité plus intelligent en utilisant un type spécifique de mathématiques appelé non-paramétrique bayésien. Voici comment les auteurs expliquent leur approche, en utilisant des analogies simples.

L'Ancienne Méthode : La Règle « Taille Unique »

Pendant longtemps, les gardiens de sécurité ont utilisé un outil simple appelé la Distance de Mahalanobis (spécifiquement, une version appelée RMDS).

Pensez-y comme à une règle qui suppose que chaque tableau de la galerie a exactement la même forme et la même texture.

Si un tableau est légèrement étiré, la règle dit : « C'est bizarre ! »
Si un tableau est légèrement froissé, la règle dit : « C'est bizarre ! »

Le problème est que, dans le monde réel, tous les tableaux ne sont pas identiques. Certains sont larges et plats ; d'autres sont hauts et fins. Certains sont peints sur une toile rugueuse ; d'autres sur de la soie lisse. Si vous forcez une règle « taille unique » à les mesurer tous, vous pourriez manquer la poubelle parce qu'elle ressemble à un « tableau normal » large, ou vous pourriez déclencher une fausse alarme parce qu'un tableau haut paraît « anormal » à votre règle plate.

La Nouvelle Idée : L'Approche « Sagesse Partagée et Flexible »

Les auteurs proposent un nouveau gardien de sécurité basé sur les Modèles de Mélange de Processus de Dirichlet (DPMM).

Au lieu de supposer que tous les tableaux sont identiques, ce nouveau gardien comprend que :

Il existe de nombreux types de tableaux : La galerie peut avoir 100 styles différents (clusters).
De nouveaux tableaux peuvent apparaître : Il y a toujours une chance qu'un nouveau style existe que le gardien n'a jamais vu auparavant.
Ils partagent leur sagesse : Même si chaque style de tableau est différent, ils peuvent tout de même apprendre les uns des autres.

L'Analogie de la « Sagesse Partagée » (Priors Hiérarchiques)

Imaginez que la galerie compte 100 départements d'art différents.

L'Ancienne Méthode : Chaque département tente de mesurer ses propres tableaux en utilisant sa propre règle. Si un département n'a que 5 tableaux, sa règle est instable et peu fiable.
La Nouvelle Méthode (Hiérarchique) : Tous les départements partagent une « Règle Maître » à laquelle ils peuvent emprunter. Si un département a très peu de tableaux, il s'appuie fortement sur la Règle Maître. Si un département a des milliers de tableaux, il fait davantage confiance à ses propres mesures.

C'est ce que les auteurs appellent les Priors Hiérarchiques. Cela permet au système d'être flexible (admettant différentes formes) mais aussi stable (ne se laissant pas troubler lorsque les données sont rares).

La Grande Découverte : L'Ancien et le Nouveau sont des Cousins

Le papier fait une découverte surprenante. Les auteurs ont prouvé mathématiquement que l'ancienne règle « Taille Unique » (RMDS) est en fait simplement une version spéciale et simplifiée de leur nouveau système « Flexible ».

Pensez-y ainsi : l'ancienne règle est comme une photo en noir et blanc de la scène. Le nouveau système est une vidéo couleur haute définition. Les auteurs ont montré que si vous plissez les yeux sur la vidéo et désactivez la couleur, elle ressemble exactement à la photo en noir et blanc. Cela signifie que l'ancienne méthode n'était pas « fausse » ; elle était simplement une version simplifiée d'une idée plus puissante.

Les Nouveaux Outils : Trois Types de Gardiens Flexibles

Parce qu'ils ont réalisé que l'ancienne méthode n'était qu'une version simplifiée, les auteurs ont construit trois nouveaux gardiens plus puissants pour gérer différentes situations :

Le Gardien « Corps Entier » (Covariance Complète) : Ce gardien examine chaque détail de la forme et de la texture du tableau simultanément. Il est très précis mais nécessite beaucoup de mémoire et de temps. Il fonctionne mieux lorsque vous avez une immense galerie avec de nombreux tableaux par style.
Le Gardien « Scan Rapide » (Covariance Diagonale) : Ce gardien examine la largeur et la hauteur séparément, en ignorant comment elles pourraient interagir. Il est plus rapide et nécessite moins de mémoire. Il fonctionne bien lorsque la galerie est immense mais que vous n'avez pas assez de temps pour examiner chaque détail.
Le Gardien « Scan Rapide Lié » (Diagonale Couplée) : C'est l'invention novatrice des auteurs. C'est comme le gardien « Scan Rapide », mais il remarque que si la largeur d'un tableau est « bizarre », la hauteur est probablement « bizarre » aussi. Il lie ces deux idées ensemble. Cela s'est avéré être le meilleur performant dans de nombreux tests, surtout lorsque la galerie avait de nombreux styles mais peu d'exemples de chacun.

Qu'Ont-ils Découvert ?

Les auteurs ont testé ces nouveaux gardiens sur un célèbre benchmark appelé OpenOOD (un immense test de différentes galeries d'art et poubelles).

Lorsque la galerie est petite et bondée : Le nouveau gardien « Lié » était le meilleur pour repérer les poubelles.
Lorsque la galerie a très peu d'exemples de chaque style : Les nouveaux gardiens étaient bien meilleurs que l'ancienne règle car l'ancienne règle se laissait troubler par le manque de données.
Lorsque les styles sont très différents les uns des autres : Les nouveaux gardiens s'adaptaient mieux car ils ne forçaient pas tout dans la même « boîte ».

La Conclusion

Le papier soutient que nous ne devrions pas nous fier uniquement à des règles simples et rigides (comme l'ancien RMDS) pour détecter des données étranges. Au lieu de cela, nous devrions utiliser des modèles non-paramétriques bayésiens qui agissent comme un système flexible de sagesse partagée.

En traitant le problème comme « déterminer si cet nouvel élément appartient à un groupe connu ou à un tout nouveau groupe », et en permettant à différents groupes de partager leur force statistique, nous pouvons construire des systèmes de sécurité bien meilleurs pour repérer les poubelles dans la galerie d'art, surtout lorsque la galerie est désordonnée ou que les exemples sont rares.

En bref : Le papier prend un cadre mathématique complexe et flexible, montre qu'il explique pourquoi nos outils simples actuels fonctionnent, puis utilise ce cadre pour construire des outils meilleurs et plus adaptables qui surpassent les anciens dans des situations délicates.

Résumé Technique : Une Perspective Bayésienne Non Paramétrique sur la Distance de Mahalanobis pour la Détection Hors Distribution

Énoncé du Problème

Les systèmes d'apprentissage automatique, en particulier ceux construits sur des modèles de base entraînés sur des ensembles de données massifs, rencontrent inévitablement des données qui s'écartent de leurs distributions d'entraînement. Détecter ces échantillons hors distribution (OOD) est crucial pour la sécurité et la fiabilité. Bien que les méthodes bayésiennes non paramétriques offrent un cadre probabiliste cohérent pour estimer la probabilité qu'un point de données appartienne à un nouveau cluster, elles ont été largement évitées au profit de métriques basées sur des distances plus simples. Un obstacle majeur à l'adoption des approches bayésiennes réside dans le défi computationnel et statistique de l'estimation de matrices de covariance de haute dimension pour les plongements de caractéristiques, en particulier lorsque le nombre d'échantillons d'entraînement par classe est faible par rapport à la dimension du plongement.

Méthodologie

Lien Théorique : RMDS et DPMM

Les auteurs établissent une relation théorique formelle entre le score de distance de Mahalanobis relative (RMDS), largement utilisé, et l'inférence bayésienne non paramétrique. Plus précisément, ils démontrent que le RMDS est une approximation proche de la probabilité d'atypie dérivée d'un modèle de mélange de processus de Dirichlet gaussien (DPMM) avec matrices de covariance liées (où toutes les classes partagent une seule matrice de covariance).

Proposition 4.1 : Montre que la probabilité d'un inlier pour un DPMM général peut être exprimée comme une fonction logistique d'un score $\tilde{C}(x)$ , qui est analogue au score de Mahalanobis relative.
Proposition 4.2 : Prouve que, sous des régimes spécifiques (données sous-gaussiennes, tailles de clusters égales, et conditions spécifiques sur la matrice de covariance relative), le score DPMM d'un modèle à covariance liée est presque parfaitement corrélé avec le RMDS. Cela relie l'approche heuristique du RMDS à une inférence bayésienne rigoureuse.

DPMM Gaussiens Hiérarchiques

Reconnaissant que l'hypothèse de covariance liée (et donc le RMDS) peut ne pas tenir lorsque les classes présentent des structures de covariance significativement différentes, les auteurs proposent des DPMM Gaussiens Hiérarchiques. Ces modèles relâchent l'hypothèse de covariance liée en inférant des matrices de covariance séparées pour chaque cluster tout en partageant la force statistique entre les classes via une loi a priori hiérarchique.

L'article introduit trois variantes de modèles spécifiques :

Modèle à Covariance Complète : Utilise une loi a priori conjuguée Normale-Inverse Wishart (NIW). Cela permet des matrices de covariance complètes mais risque le surapprentissage dans les hautes dimensions.
Modèle à Covariance Diagonale : Suppose que les variances sont indépendantes entre les dimensions, utilisant une loi a priori du khi-deux inverse échelonné. Cela réduit le nombre de paramètres mais suppose l'indépendance entre les dimensions.
Modèle à Covariance Diagonale Couplée : Une approche novatrice qui capture les corrélations entre les dimensions en introduisant un facteur d'échelle spécifique à la classe $\gamma_k$ . Ce facteur met à l'échelle les variances pour toutes les dimensions d'une classe spécifique, permettant au modèle de capturer des variations systématiques de l'ampleur de la variance entre les classes tout en maintenant une efficacité computationnelle.

Estimation

Les auteurs développent des algorithmes efficaces de Maximisation de l'Espérance (EM) pour estimer les hyperparamètres de ces modèles hiérarchiques.

Pour les modèles à Covariance Complète et Diagonale, les étapes M pour les hyperparamètres (concentration $\nu_0$ et mise à l'échelle de la précision $\kappa_0$ ) sont calculées sous forme fermée ou via une méthode de Newton généralisée.
Pour le modèle à Covariance Diagonale Couplée, la loi a posteriori sur le facteur d'échelle $\gamma_k$ n'a pas de forme fermée. Les auteurs approximent cela en utilisant une quadrature numérique sur une grille dense, exploitant le fait que $\gamma_k$ est unidimensionnel.

Résultats Clés

Expériences Synthétiques

Les simulations sur des données 2D ont confirmé que les modèles hiérarchiques surpassent les modèles à covariance liée (et le RMDS) lorsque :

Les matrices de covariance diffèrent significativement entre les clusters (faible $\nu_0$ ).
Le nombre de points de données par classe ( $N_k$ ) est faible par rapport à la dimensionnalité ( $D$ ).
Dans les régimes où $N_k/D$ est faible, le RMDS indépendant (utilisant des covariances par classe sans lois a priori hiérarchiques) échoue en raison du surapprentissage, tandis que les DPMM hiérarchiques maintiennent des performances robustes.

Évaluation sur la Référence OpenOOD

Les modèles ont été évalués sur la référence OpenOOD utilisant les ensembles de données CIFAR-10, CIFAR-100 et ImageNet-1K avec divers ensembles de données OOD (Proches et Lointains).

ImageNet-1K : Le modèle à Covariance Diagonale Couplée a obtenu les meilleures performances sur la détection d'OOD proches, surpassant le RMDS standard et le DPMM lié. Le modèle à Covariance Complète a mal performé, probablement en raison d'un surapprentissage dans l'espace de haute dimension (768D).
CIFAR-10 : Le modèle hiérarchique à Covariance Complète a produit les performances les plus élevées sur les tâches OOD proches et lointaines, suggérant que pour des plongements de plus faible dimension (512D) et des ensembles de données plus petits, la structure de covariance complète est apprenable et bénéfique.
Analyse de Dimensionnalité : À mesure que la dimensionnalité des caractéristiques augmentait, les performances du modèle à Covariance Complète ont plafonné ou se sont dégradées, tandis que les modèles Diagonaux et à Covariance Diagonale Couplée ont maintenu des performances supérieures, en particulier sur les références d'OOD proches.

Importance et Revendications

L'article revendique que les méthodes bayésiennes non paramétriques avec des lois a priori hiérarchiques offrent une approche bien fondée et pratiquement compétitive pour la détection OOD. Les contributions principales sont :

Unification Théorique : Fournir un lien formel entre le RMDS heuristique et l'inférence bayésienne sous un DPMM gaussien, validant le RMDS comme une limite spécifique d'un cadre probabiliste plus général.
Généralisation : Proposer des modèles hiérarchiques qui généralisent le RMDS en relâchant l'hypothèse de covariance égale, s'adaptant ainsi aux scénarios où les covariances de classe diffèrent.
Utilité Pratique : Démontrer que ces modèles peuvent améliorer la détection OOD, en particulier dans des régimes caractérisés par :
- Des structures de covariance hétérogènes entre les classes.
- Des données limitées par classe par rapport à la dimensionnalité des caractéristiques.
- La nécessité d'une distinction fine entre les échantillons in-distribution et les échantillons "OOD proches".

Les auteurs notent que, bien que le modèle à covariance complète puisse surapprendre dans les hautes dimensions, le modèle à Covariance Diagonale Couplée offre un compromis robuste, capturant les corrélations de variance inter-classes sans l'explosion de paramètres de l'estimation de covariance complète. Ils concluent que la formulation de la détection OOD comme une inférence dans un modèle génératif permet des choix de modélisation rationnels qui peuvent conduire à des améliorations de performance par rapport aux bases de référence existantes basées sur la distance.