📊 statistics

A Bayesian Nonparametric Perspective on Mahalanobis Distance for Out of Distribution Detection

Dit artikel legt een formele connectie tussen Bayesiaanse niet-parametrische modellen en de relatieve Mahalanobis-afstandsscore voor detectie van uit-de-verdeling-gegevens, en stelt gegeneraliseerde hiërarchische mengmodellen voor die superieure prestaties tonen, met name wanneer trainingsklassen variërende covariantiestructuren of beperkte data vertonen.

Oorspronkelijke auteurs: Randolph W. Linderman (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Noah Cowan (Statistics Department, Stanford University, Stanford, CA, USA), Yiran Chen (Electr

Gepubliceerd 2026-05-28

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Randolph W. Linderman (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Noah Cowan (Statistics Department, Stanford University, Stanford, CA, USA), Yiran Chen (Electrical and Computer Engineering Department, Duke University, Durham, NC, USA), Scott W. Linderman (Statistics Department, Stanford University, Stanford, CA, USA, The Wu Tsai Neurosciences Institute, Stanford University, Stanford, CA, USA)

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een beveiligingsagent bent in een zeer exclusieve kunstgalerij. Jij hebt jarenlang de schilderijen in de galerij bestudeerd (je trainingsdata). Je weet precies hoe een "echt" schilderij eruitziet, aanvoelt en zich gedraagt.

Op een dag loopt een vreemdeling binnen met een vreemd object. Is het een meesterwerk van een nieuwe kunstenaar die je nog niet hebt gezien (een Out-of-Distribution of OOD-steekproef), of is het gewoon een vreemd gevormde vuilnisbak (een outlier)? Jouw taak is om de vuilnisbak onmiddellijk te herkennen en alarm te slaan.

Dit artikel gaat over het bouwen van een slimmere beveiligingsagent met behulp van een specifiek type wiskunde genaamd Bayesiaanse niet-parametrische statistiek. Hieronder leggen de auteurs hun aanpak uit, met behulp van eenvoudige analogieën.

De Oude Manier: De "Eén-Maat-Voor-Alles"-Liniaal

Lange tijd gebruikten beveiligingsagenten een eenvoudig hulpmiddel genaamd de Mahalanobis-afstand (specifiek, een versie genaamd RMDS).

Denk hierbij aan een liniaal die ervan uitgaat dat elk schilderij in de galerij exact dezelfde vorm en textuur heeft.

Als een schilderij iets is uitgerekt, zegt de liniaal: "Dat is raar!"
Als een schilderij iets is gekreukt, zegt de liniaal: "Dat is raar!"

Het probleem is dat in de echte wereld niet alle schilderijen hetzelfde zijn. Sommige zijn breed en plat; andere zijn hoog en smal. Sommige zijn geschilderd op ruw canvas; andere op glad zijde. Als je een "één-maat-voor-alles"-liniaal dwingt om ze allemaal te meten, kun je de vuilnisbak missen omdat het eruitziet als een "normaal" breed schilderij, of kun je ten onrechte alarm slaan omdat een hoog schilderij "abnormaal" lijkt voor je platte liniaal.

Het Nieuwe Idee: De "Flexibele, Gedeelde Wijsheid"-Aanpak

De auteurs stellen een nieuwe beveiligingsagent voor die gebaseerd is op Dirichlet-proces-mengmodellen (DPMM's).

In plaats van aan te nemen dat elk schilderij hetzelfde is, begrijpt deze nieuwe agent dat:

Er veel soorten schilderijen zijn: De galerij kan 100 verschillende stijlen hebben (clusters).
Nieuwe schilderijen kunnen verschijnen: Er is altijd een kans dat er een nieuwe stijl bestaat die de agent nog nooit heeft gezien.
Ze delen wijsheid: Hoewel elke schilderstijl verschillend is, kunnen ze nog steeds van elkaar leren.

De "Gedeelde Wijsheid"-Analogie (Hiërarchische Priors)

Stel je voor dat de galerij 100 verschillende kunstafdelingen heeft.

De Oude Manier: Elke afdeling probeert zijn eigen schilderijen te meten met zijn eigen liniaal. Als een afdeling slechts 5 schilderijen heeft, is hun liniaal onstabiel en onbetrouwbaar.
De Nieuwe Manier (Hiërarchisch): Alle afdelingen delen een "Meesterliniaal" waar ze van kunnen lenen. Als een afdeling zeer weinig schilderijen heeft, leunt ze zwaar op de Meesterliniaal. Als een afdeling duizenden schilderijen heeft, vertrouwt ze meer op haar eigen metingen.

Dit is wat de auteurs hiërarchische priors noemen. Het stelt het systeem in staat flexibel te zijn (erkennen van verschillende vormen) maar ook stabiel (niet in de war raken wanneer data schaars is).

De Grote Ontdekking: De Oude en Nieuwe zijn Neven

Het artikel maakt een verrassende ontdekking. De auteurs bewezen wiskundig dat de oude "één-maat-voor-alles"-liniaal (RMDS) eigenlijk slechts een speciale, vereenvoudigde versie is van hun nieuwe "Flexibele" systeem.

Denk hierbij als volgt: De oude liniaal is als een zwart-witfoto van het tafereel. Het nieuwe systeem is een hoogwaardige kleurenvideo. De auteurs toonden aan dat als je in de video knijpt en de kleur uitschakelt, het er precies uitziet als de zwart-witfoto. Dit betekent dat de oude methode niet "fout" was; het was gewoon een vereenvoudigde versie van een krachtiger idee.

De Nieuwe Hulpmiddelen: Drie Soorten Flexibele Agenten

Omdat ze beseften dat de oude methode slechts een vereenvoudigde versie was, bouwden de auteurs drie nieuwe, krachtigere agenten om verschillende situaties aan te pakken:

De Volledige-Lichaam-Agent (Volledige Covariantie): Deze agent kijkt naar elk detail van de vorm en textuur van het schilderij tegelijkertijd. Het is zeer nauwkeurig maar vereist veel geheugen en tijd. Het werkt het beste wanneer je een enorme galerij hebt met veel schilderijen per stijl.
De Snel-Scan-Agent (Diagonale Covariantie): Deze agent bekijkt de breedte en hoogte apart, en negeert hoe ze met elkaar kunnen interageren. Het is sneller en vereist minder geheugen. Het werkt goed wanneer de galerij enorm is maar je niet genoeg tijd hebt om elk detail te bekijken.
De "Gekoppelde" Snel-Scan-Agent (Gekoppelde Diagonaal): Dit is de nieuwe uitvinding van de auteurs. Het is als de Snel-Scan-agent, maar hij merkt op dat als de breedte van een schilderij "raar" is, de hoogte waarschijnlijk ook "raar" is. Hij koppelt deze twee ideeën aan elkaar. Dit bleek de beste presteerder te zijn in veel tests, vooral wanneer de galerij veel stijlen had maar niet veel voorbeelden van elk.

Wat Vonden Ze?

De auteurs testten deze nieuwe agenten op een beroemde benchmark genaamd OpenOOD (een enorme test van verschillende kunstgaleries en vuilnisbakken).

Wanneer de galerij klein en druk is: De nieuwe "Gekoppelde" agent was het beste in het opsporen van de vuilnisbakken.
Wanneer de galerij zeer weinig voorbeelden heeft van elke stijl: De nieuwe agenten waren veel beter dan de oude liniaal, omdat de oude liniaal in de war raakte door het gebrek aan data.
Wanneer de stijlen zeer verschillend zijn van elkaar: De nieuwe agenten pasten zich beter aan omdat ze niet alles in dezelfde "doos" dwongen.

De Conclusie

Het artikel betoogt dat we niet alleen moeten vertrouwen op eenvoudige, stijve linialen (zoals de oude RMDS) om vreemde data te detecteren. In plaats daarvan moeten we Bayesiaanse niet-parametrische modellen gebruiken die fungeren als een flexibel systeem met gedeelde wijsheid.

Door het probleem te behandelen als "uitzoeken of dit nieuwe item tot een bekende groep of een gloednieuwe groep behoort", en door verschillende groepen statistische kracht te laten delen, kunnen we beveiligingssystemen bouwen die veel beter zijn in het opsporen van vuilnisbakken in de kunstgalerij, vooral wanneer de galerij rommelig is of de voorbeelden schaars zijn.

Kortom: Het artikel neemt een complex, flexibel wiskundig raamwerk, laat zien dat het uitlegt waarom onze huidige eenvoudige hulpmiddelen werken, en gebruikt vervolgens dat raamwerk om betere, aanpasbaardere hulpmiddelen te bouwen die de oude overtreffen in lastige situaties.

Technische Samenvatting: Een Bayesiaanse Niet-parametrische Perspectief op de Mahalanobis-afstand voor Detectie van Out-of-Distribution

Probleemstelling

Machine learning-systemen, met name die gebaseerd op foundation-modellen getraind op enorme datasets, komen onvermijdelijk data tegen die afwijkt van hun trainingsverdelingen. Het detecteren van deze out-of-distribution (OOD) samples is cruciaal voor veiligheid en betrouwbaarheid. Hoewel Bayesiaanse niet-parametrische methoden een coherent probabilistisch kader bieden voor het schatten van de waarschijnlijkheid dat een datapunt tot een nieuw cluster behoort, zijn ze grotendeels vermeden ten gunste van eenvoudigere op afstand gebaseerde metrieken. Een primaire barrière voor het adopteren van Bayesiaanse benaderingen is de computationele en statistische uitdaging van het schatten van covariantiematrices in hoge dimensies voor feature-embeddings, vooral wanneer het aantal trainingsamples per klasse klein is ten opzichte van de embeddingsdimensie.

Methodologie

Theoretische Connectie: RMDS en DPMM's

De auteurs leggen een formele theoretische relatie bloot tussen de veelgebruikte Relative Mahalanobis Distance Score (RMDS) en Bayesiaanse niet-parametrische inferentie. Specifiek tonen ze aan dat de RMDS een nauwkeurige benadering is van de outlier-waarschijnlijkheid afgeleid uit een Gaussisch Dirichlet-proces-mengselmodel (DPMM) met gekoppelde covariantiematrices (waarbij alle klassen één enkele covariantiematrix delen).

Propositie 4.1: Toont aan dat de inlier-waarschijnlijkheid van een algemeen DPMM kan worden uitgedrukt als een logistische functie van een score $\tilde{C}(x)$ , die analoog is aan de relative Mahalanobis-score.
Propositie 4.2: Bewijst dat onder specifieke regimes (sub-Gaussische data, gelijke clustergroottes en specifieke voorwaarden voor de relatieve covariantiematrix), de DPMM-score van een model met gekoppelde covariantie bijna perfect gecorreleerd is met de RMDS. Dit verbindt de heuristische RMDS-benadering met rigoureuze Bayesiaanse inferentie.

Hiërarchische Gaussische DPMM's

Omdat de aanname van gekoppelde covariantie (en dus RMDS) mogelijk niet geldt wanneer klassen aanzienlijk verschillende covariantiestructuren vertonen, stellen de auteurs Hiërarchische Gaussische DPMM's voor. Deze modellen verzwakken de aanname van gekoppelde covariantie door aparte covariantiematrices voor elk cluster af te leiden, terwijl statistische kracht wordt gedeeld over klassen via een hiërarchische prior.

Het artikel introduceert drie specifieke modelvarianten:

Volledig Covariantiemodel: Gebruikt een geconjugeerde Normal-Inverse Wishart (NIW) prior. Dit staat volledige covariantiematrices toe, maar loopt het risico van overfitting in hoge dimensies.
Diagonaal Covariantiemodel: Gaat ervan uit dat varianties onafhankelijk zijn over dimensies, met behulp van een geschaalde inverse chi-kwadraat prior. Dit vermindert het aantal parameters, maar veronderstelt onafhankelijkheid tussen dimensies.
Gekoppeld Diagonaal Covariantiemodel: Een nieuwe aanpak die correlaties tussen dimensies vastlegt door een klasspecifieke schalingsfactor $\gamma_k$ in te voeren. Deze factor schaalt de varianties voor alle dimensies van een specifieke klasse, waardoor het model systematische variaties in de grootte van de variantie over klassen kan vastleggen terwijl computationele efficiëntie behouden blijft.

Schatting

De auteurs ontwikkelen efficiënte Expectation-Maximization (EM) algoritmen om de hyperparameters van deze hiërarchische modellen te schatten.

Voor de Volledige Covariantie- en Diagonale modellen worden de M-stappen voor hyperparameters (concentratie $\nu_0$ en precisieschaling $\kappa_0$ ) berekend in gesloten vorm of via een gegeneraliseerde Newton-methode.
Voor het Gekoppeld Diagonale model heeft de posterior over de schalingsfactor $\gamma_k$ geen gesloten vorm. De auteurs benaderen dit met numerieke kwadratuur over een dichte rooster, gebruikmakend van het feit dat $\gamma_k$ een-dimensionaal is.

Belangrijkste Resultaten

Synthetische Experimenten

Simulaties op 2D-data bevestigden dat hiërarchische modellen presteren beter dan modellen met gekoppelde covariantie (en RMDS) wanneer:

Covariantiematrices aanzienlijk verschillen tussen clusters (lage $\nu_0$ ).
Het aantal datapunten per klasse ( $N_k$ ) klein is ten opzichte van de dimensionaliteit ( $D$ ).
In regimes waar $N_k/D$ klein is, faalt onafhankelijke RMDS (met gebruik van covarianties per klasse zonder hiërarchische priors) door overfitting, terwijl de hiërarchische DPMM's robuuste prestaties behouden.

OpenOOD Benchmark Evaluatie

De modellen werden geëvalueerd op de OpenOOD-benchmark met CIFAR-10, CIFAR-100 en ImageNet-1K datasets, met diverse OOD-datasets (Near en Far).

ImageNet-1K: Het Gekoppeld Diagonale model behaalde de beste prestaties bij Near OOD-detectie, en presteerde beter dan de standaard RMDS en de gekoppelde DPMM. Het Volledige Covariantiemodel presteerde slecht, waarschijnlijk door overfitting in de hoge-dimensionale (768D) ruimte.
CIFAR-10: Het Volledige Covariantie hiërarchische model leverde de hoogste prestaties op zowel Near als Far OOD-taken, wat suggereert dat voor lagere dimensionale embeddings (512D) en kleinere datasets de volledige covariantiestructuur leerbaar en voordelig is.
Dimensionaliteitsanalyse: Naarmate de feature-dimensionaliteit toenam, plateauerde of degradeerde de prestatie van het Volledige Covariantiemodel, terwijl de Diagonale en Gekoppeld Diagonale modellen superieure prestaties behielden, met name op Near OOD-benchmarks.

Betekenis en Claims

Het artikel claimt dat Bayesiaanse niet-parametrische methoden met hiërarchische priors een goed onderbouwde en praktisch concurrerende aanpak bieden voor OOD-detectie. De primaire bijdragen zijn:

Theoretische Unificatie: Het bieden van een formele link tussen de heuristische RMDS en Bayesiaanse inferentie onder een Gaussisch DPMM, waarmee RMDS wordt gevalideerd als een specifieke limiet van een breder probabilistisch kader.
Generalisatie: Het voorstellen van hiërarchische modellen die RMDS generaliseren door de aanname van gelijke covariantie te verzwakken, en zich aldus aanpassen aan scenario's waar klasscovarianties verschillen.
Praktisch Nut: Het aantonen dat deze modellen OOD-detectie kunnen verbeteren, met name in regimes die worden gekenmerkt door:
- Heterogene covariantiestructuren over klassen.
- Beperkte data per klasse ten opzichte van de feature-dimensionaliteit.
- De behoefte aan fijne onderscheiding tussen in-distribution en "Near OOD" samples.

De auteurs merken op dat hoewel het volledige covariantiemodel kan overfitten in hoge dimensies, het Gekoppeld Diagonale model een robuust compromis biedt, waarbij inter-klasse variantiecorrelaties worden vastgelegd zonder de parameterexplosie van volledige covariantieschatting. Zij concluderen dat het vormgeven van OOD-detectie als inferentie in een generatief model gestructureerde modelkeuzes mogelijk maakt die kunnen leiden tot prestatieverbeteringen ten opzichte van bestaande op afstand gebaseerde baselines.