📊 statistics

A Bayesian Nonparametric Perspective on Mahalanobis Distance for Out of Distribution Detection

Dieser Artikel stellt eine formale Verbindung zwischen bayesschen nichtparametrischen Modellen und dem relativen Mahalanobis-Abstandsscore zur Erkennung von Out-of-Distribution-Daten her und schlägt generalisierte hierarchische Mischungsmodelle vor, die eine überlegene Leistung zeigen, insbesondere wenn die Trainingsklassen unterschiedliche Kovarianzstrukturen aufweisen oder nur begrenzte Daten vorhanden sind.

Ursprüngliche Autoren: Randolph W. Linderman (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Noah Cowan (Statistics Department, Stanford University, Stanford, CA, USA), Yiran Chen (Electr

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Randolph W. Linderman (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Noah Cowan (Statistics Department, Stanford University, Stanford, CA, USA), Yiran Chen (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Scott W. Linderman (Statistics Department, Stanford University, Stanford, CA, USA, The Wu Tsai Neurosciences Institute, Stanford University, Stanford, CA, USA)

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Sicherheitsbeamter in einer sehr exklusiven Kunstgalerie. Sie haben Jahre damit verbracht, die Gemälde in der Galerie zu studieren (Ihre Trainingsdaten). Sie wissen genau, wie ein „echtes" Gemälde aussieht, sich anfühlt und verhält.

Eines Tages betritt ein Fremder mit einem seltsamen Objekt die Halle. Handelt es sich um ein Meisterwerk eines neuen Künstlers, den Sie noch nicht gesehen haben (eine Out-of-Distribution- oder OOD-Stichprobe), oder ist es nur ein seltsam geformter Mülleimer (ein Ausreißer)? Ihre Aufgabe ist es, den Mülleimer sofort zu erkennen und Alarm zu schlagen.

Diese Arbeit handelt davon, einen intelligenteren Sicherheitsbeamten mit Hilfe einer speziellen Art von Mathematik namens Bayessche Nichtparametrik zu entwickeln. Hier erklären die Autoren ihren Ansatz unter Verwendung einfacher Analogien.

Der alte Weg: Das „Einheitsmaß"

Lange Zeit verwendeten Sicherheitsbeamte ein einfaches Werkzeug namens Mahalanobis-Distanz (insbesondere eine Variante namens RMDS).

Stellen Sie sich dies wie ein Lineal vor, das annimmt, dass jedes einzelne Gemälde in der Galerie exakt die gleiche Form und Textur hat.

Wenn ein Gemälde leicht gedehnt ist, sagt das Lineal: „Das ist seltsam!"
Wenn ein Gemälde leicht zerknittert ist, sagt das Lineal: „Das ist seltsam!"

Das Problem ist, dass in der realen Welt nicht alle Gemälde gleich sind. Manche sind breit und flach, andere hoch und dünn. Manche sind auf rauem Leinen gemalt, andere auf glatter Seide. Wenn Sie ein „Einheitsmaß" zwingen, alle zu vermessen, könnten Sie den Mülleimer übersehen, weil er wie ein „normaler", breiter Gemälde aussieht, oder Sie könnten falsch alarmieren, weil ein hohes Gemälde für Ihr flaches Lineal „abnormal" aussieht.

Die neue Idee: Der „flexible, geteilte Weisheit"-Ansatz

Die Autoren schlagen einen neuen Sicherheitsbeamten vor, der auf Dirichlet-Prozess-Mischungsmodellen (DPMMs) basiert.

Anstatt anzunehmen, dass jedes Gemälde gleich ist, versteht dieser neue Beamte, dass:

Es viele Arten von Gemälden gibt: Die Galerie könnte 100 verschiedene Stile (Cluster) haben.
Neue Gemälde auftauchen könnten: Es besteht immer die Chance, dass ein neuer Stil existiert, den der Beamte noch nie gesehen hat.
Sie teilen Weisheit: Obwohl jeder Gemäldestil unterschiedlich ist, können sie dennoch voneinander lernen.

Die Analogie der „geteilten Weisheit" (Hierarchische Priors)

Stellen Sie sich vor, die Galerie hat 100 verschiedene Kunstabteilungen.

Der alte Weg: Jede Abteilung versucht, ihre eigenen Gemälde mit ihrem eigenen Lineal zu vermessen. Wenn eine Abteilung nur 5 Gemälde hat, ist ihr Lineal wackelig und unzuverlässig.
Der neue Weg (Hierarchisch): Alle Abteilungen teilen sich einen „Meister-Lineal", den sie ausleihen können. Wenn eine Abteilung sehr wenige Gemälde hat, stützt sie sich stark auf das Meister-Lineal. Wenn eine Abteilung Tausende von Gemälden hat, vertraut sie mehr ihren eigenen Messungen.

Das ist es, was die Autoren hierarchische Priors nennen. Es ermöglicht dem System, flexibel zu sein (unterschiedliche Formen zuzulassen), aber auch stabil (nicht verwirrt zu werden, wenn Daten knapp sind).

Die große Entdeckung: Der Alte und der Neue sind Cousins

Die Arbeit macht eine überraschende Entdeckung. Die Autoren bewiesen mathematisch, dass das alte „Einheitsmaß" (RMDS) tatsächlich nur eine spezielle, vereinfachte Version ihres neuen „flexiblen" Systems ist.

Stellen Sie es sich so vor: Das alte Lineal ist wie ein Schwarz-Weiß-Foto der Szene. Das neue System ist ein hochauflösendes Farbvideo. Die Autoren zeigten, dass, wenn man das Video zusammenkneift und die Farbe ausschaltet, es exakt wie das Schwarz-Weiß-Foto aussieht. Das bedeutet, dass die alte Methode nicht „falsch" war; sie war nur eine vereinfachte Version einer mächtigeren Idee.

Die neuen Werkzeuge: Drei Arten flexibler Wächter

Da sie erkannten, dass die alte Methode nur eine vereinfachte Version war, entwickelten die Autoren drei neue, leistungsfähigere Wächter, um verschiedene Situationen zu bewältigen:

Der Ganzkörper-Wächter (Vollständige Kovarianz): Dieser Wächter betrachtet gleichzeitig jedes Detail der Form und Textur des Gemäldes. Er ist sehr genau, benötigt aber viel Speicherplatz und Zeit. Er funktioniert am besten, wenn Sie eine riesige Galerie mit vielen Gemälden pro Stil haben.
Der Schnell-Scan-Wächter (Diagonale Kovarianz): Dieser Wächter betrachtet Breite und Höhe separat und ignoriert, wie sie miteinander interagieren könnten. Er ist schneller und benötigt weniger Speicher. Er funktioniert gut, wenn die Galerie riesig ist, Sie aber nicht genug Zeit haben, jedes Detail zu betrachten.
Der „verknüpfte" Schnell-Scan-Wächter (Gekoppelte Diagonale): Dies ist die neuartige Erfindung der Autoren. Er ist wie der Schnell-Scan-Wächter, bemerkt aber, dass, wenn die Breite eines Gemäldes „seltsam" ist, die Höhe wahrscheinlich auch „seltsam" ist. Er verknüpft diese beiden Ideen miteinander. Dies erwies sich in vielen Tests als bester Performer, insbesondere wenn die Galerie viele Stile hatte, aber nicht viele Beispiele für jeden.

Was haben sie herausgefunden?

Die Autoren testeten diese neuen Wächter an einem berühmten Benchmark namens OpenOOD (ein riesiger Test verschiedener Kunstgalerien und Mülleimer).

Wenn die Galerie klein und überfüllt ist: Der neue „verknüpfte" Wächter war am besten darin, die Mülleimer zu erkennen.
Wenn die Galerie sehr wenige Beispiele für jeden Stil hat: Die neuen Wächter waren viel besser als das alte Lineal, weil das alte Lineal durch den Mangel an Daten verwirrt wurde.
Wenn die Stile sich sehr voneinander unterscheiden: Die neuen Wächter passten sich besser an, weil sie nichts in dasselbe „Kästchen" zwangen.

Das Fazit

Die Arbeit argumentiert, dass wir uns nicht nur auf einfache, starre Lineale (wie das alte RMDS) verlassen sollten, um seltsame Daten zu erkennen. Stattdessen sollten wir Bayessche nichtparametrische Modelle verwenden, die wie ein flexibles System geteilter Weisheit funktionieren.

Indem wir das Problem als „herausfinden, ob dieser neue Gegenstand zu einer bekannten Gruppe oder zu einer brandneuen Gruppe gehört" behandeln und indem wir verschiedenen Gruppen erlauben, statistische Stärke zu teilen, können wir Sicherheitssysteme bauen, die viel besser darin sind, die Mülleimer in der Kunstgalerie zu erkennen, insbesondere wenn die Galerie unordentlich ist oder die Beispiele knapp sind.

Kurz gesagt: Die Arbeit nimmt einen komplexen, flexiblen mathematischen Rahmen, zeigt, dass er erklärt, warum unsere aktuellen einfachen Werkzeuge funktionieren, und nutzt dann diesen Rahmen, um bessere, anpassungsfähigere Werkzeuge zu bauen, die in schwierigen Situationen die alten übertreffen.

Technische Zusammenfassung: Eine bayessche nichtparametrische Perspektive auf die Mahalanobis-Distanz für die Erkennung von Out-of-Distribution-Daten

Problemstellung

Maschinelle Lernsysteme, insbesondere solche, die auf Fundamentmodellen basieren, die auf massiven Datensätzen trainiert wurden, stoßen unvermeidlich auf Daten, die von ihren Trainingsverteilungen abweichen. Die Erkennung dieser Out-of-Distribution-(OOD)-Stichproben ist für Sicherheit und Zuverlässigkeit von entscheidender Bedeutung. Während bayessche nichtparametrische Methoden einen kohärenten probabilistischen Rahmen für die Schätzung der Wahrscheinlichkeit bieten, dass ein Datenpunkt zu einem neuen Cluster gehört, wurden sie weitgehend zugunsten einfacherer distanzbasierter Metriken vernachlässigt. Eine Hauptbarriere für die Übernahme bayesscher Ansätze ist die rechnerische und statistische Herausforderung der Schätzung hochdimensionaler Kovarianzmatrizen für Feature-Embeddings, insbesondere wenn die Anzahl der Trainingsstichproben pro Klasse im Verhältnis zur Embedding-Dimension gering ist.

Methodik

Theoretischer Zusammenhang: RMDS und DPMMs

Die Autoren stellen eine formale theoretische Beziehung zwischen der weit verbreiteten Relative Mahalanobis Distance Score (RMDS) und der bayesschen nichtparametrischen Inferenz her. Insbesondere zeigen sie, dass die RMDS eine enge Approximation der Ausreißerwahrscheinlichkeit ist, die aus einem Gaußschen Dirichlet-Prozess-Mischungsmodell (DPMM) mit gebundenen Kovarianzmatrizen (wobei alle Klassen eine einzige Kovarianzmatrix teilen) abgeleitet wird.

Proposition 4.1: Zeigt, dass die Inlier-Wahrscheinlichkeit eines allgemeinen DPMM als logistische Funktion eines Scores $\tilde{C}(x)$ ausgedrückt werden kann, der dem relativen Mahalanobis-Score analog ist.
Proposition 4.2: Beweist, dass unter spezifischen Regimen (sub-Gaußsche Daten, gleiche Clustergrößen und spezifische Bedingungen bezüglich der relativen Kovarianzmatrix) der DPMM-Score aus einem Modell mit gebundenen Kovarianzmatrizen fast perfekt mit der RMDS korreliert ist. Dies verbindet den heuristischen RMDS-Ansatz mit einer rigorosen bayesschen Inferenz.

Hierarchische Gaußsche DPMMs

In Anbetracht dessen, dass die Annahme gebundener Kovarianzmatrizen (und somit RMDS) möglicherweise nicht gilt, wenn Klassen signifikant unterschiedliche Kovarianzstrukturen aufweisen, schlagen die Autoren hierarchische Gaußsche DPMMs vor. Diese Modelle lockern die Annahme gebundener Kovarianzmatrizen, indem sie separate Kovarianzmatrizen für jeden Cluster ableiten, während sie über eine hierarchische Prior-Verteilung statistische Stärke über die Klassen hinweg teilen.

Die Arbeit stellt drei spezifische Modellvarianten vor:

Vollständige Kovarianz-Modell: Verwendet eine konjugierte Normal-Inverse-Wishart-(NIW)-Prior-Verteilung. Dies ermöglicht vollständige Kovarianzmatrizen, birgt jedoch in hohen Dimensionen die Gefahr der Überanpassung.
Diagonales Kovarianz-Modell: Geht davon aus, dass die Varianzen über die Dimensionen hinweg unabhängig sind, und verwendet eine skalierte inverse Chi-Quadrat-Prior-Verteilung. Dies reduziert die Anzahl der Parameter, geht jedoch von einer Unabhängigkeit zwischen den Dimensionen aus.
Gekoppeltes diagonales Kovarianz-Modell: Ein neuartiger Ansatz, der Korrelationen zwischen den Dimensionen erfasst, indem ein klassenspezifischer Skalierungsfaktor $\gamma_k$ eingeführt wird. Dieser Faktor skaliert die Varianzen für alle Dimensionen einer bestimmten Klasse, sodass das Modell systematische Variationen in der Varianzgröße über die Klassen hinweg erfassen kann, während die Recheneffizienz erhalten bleibt.

Schätzung

Die Autoren entwickeln effiziente Expectation-Maximization-(EM)-Algorithmen zur Schätzung der Hyperparameter dieser hierarchischen Modelle.

Für die vollständigen Kovarianz- und diagonalen Modelle werden die M-Schritte für die Hyperparameter (Konzentration $\nu_0$ und Skalierung der Präzision $\kappa_0$ ) in geschlossener Form oder über eine generalisierte Newton-Methode berechnet.
Für das gekoppelte diagonale Modell hat die Posterior-Verteilung über den Skalierungsfaktor $\gamma_k$ keine geschlossene Form. Die Autoren approximieren diese mittels numerischer Quadratur über ein dichtes Gitter, wobei sie die Tatsache nutzen, dass $\gamma_k$ eindimensional ist.

Wichtige Ergebnisse

Synthetische Experimente

Simulationen mit 2D-Daten bestätigten, dass hierarchische Modelle gebundenen Kovarianzmodellen (und RMDS) überlegen sind, wenn:

Die Kovarianzmatrizen über die Cluster hinweg signifikant unterschiedlich sind (niedriges $\nu_0$ ).
Die Anzahl der Datenpunkte pro Klasse ( $N_k$ ) im Verhältnis zur Dimensionalität ( $D$ ) gering ist.
In Regimen, in denen $N_k/D$ klein ist, versagt ein unabhängiges RMDS (unter Verwendung von klassenspezifischen Kovarianzen ohne hierarchische Priors) aufgrund von Überanpassung, während die hierarchischen DPMMs eine robuste Leistung beibehalten.

OpenOOD-Benchmark-Evaluation

Die Modelle wurden am OpenOOD-Benchmark unter Verwendung der Datensätze CIFAR-10, CIFAR-100 und ImageNet-1K mit verschiedenen OOD-Datensätzen (Near und Far) evaluiert.

ImageNet-1K: Das gekoppelte diagonale Modell erzielte die beste Leistung bei der Erkennung von Near-OOD-Daten und übertraf dabei das Standard-RMDS sowie das gebundene DPMM. Das vollständige Kovarianz-Modell schnitt schlecht ab, wahrscheinlich aufgrund von Überanpassung im hochdimensionalen Raum (768D).
CIFAR-10: Das hierarchische vollständige Kovarianz-Modell erzielte die höchste Leistung sowohl bei Near- als auch bei Far-OOD-Aufgaben, was darauf hindeutet, dass für niedrigdimensionale Embeddings (512D) und kleinere Datensätze die vollständige Kovarianzstruktur erlernbar und vorteilhaft ist.
Dimensionalitätsanalyse: Mit zunehmender Feature-Dimensionalität stagnierte oder verschlechterte sich die Leistung des vollständigen Kovarianz-Modells, während die diagonalen und gekoppelten diagonalen Modelle eine überlegene Leistung beibehielten, insbesondere bei Near-OOD-Benchmarks.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass bayessche nichtparametrische Methoden mit hierarchischen Priors einen fundierten und praktisch wettbewerbsfähigen Ansatz für die OOD-Erkennung bieten. Die Hauptbeiträge sind:

Theoretische Vereinheitlichung: Bereitstellung einer formalen Verbindung zwischen dem heuristischen RMDS und der bayesschen Inferenz unter einem Gaußschen DPMM, wodurch RMDS als spezifische Grenze eines allgemeineren probabilistischen Rahmens validiert wird.
Generalisierung: Vorschlag hierarchischer Modelle, die RMDS verallgemeinern, indem sie die Annahme gleicher Kovarianzen lockern und sich somit an Szenarien anpassen, in denen sich die Kovarianzen der Klassen unterscheiden.
Praktischer Nutzen: Demonstration, dass diese Modelle die OOD-Erkennung verbessern können, insbesondere in Regimen, die gekennzeichnet sind durch:
- Heterogene Kovarianzstrukturen über die Klassen hinweg.
- Begrenzte Daten pro Klasse im Verhältnis zur Feature-Dimensionalität.
- Die Notwendigkeit einer feinkörnigen Unterscheidung zwischen In-Distribution- und „Near-OOD"-Stichproben.

Die Autoren stellen fest, dass das vollständige Kovarianz-Modell zwar in hohen Dimensionen zu Überanpassung neigen kann, das gekoppelte diagonale Modell jedoch einen robusten Kompromiss bietet, der interklassische Varianzkorrelationen erfasst, ohne die Parameterexplosion der Schätzung vollständiger Kovarianzen zu verursachen. Sie schließen daraus, dass die Formulierung der OOD-Erkennung als Inferenz in einem generativen Modell prinzipielle Modellierungsentscheidungen ermöglicht, die zu Leistungsverbesserungen gegenüber bestehenden distanzbasierten Baselines führen können.