A Geometry-Based View of Mahalanobis OOD Detection

Dit onderzoek toont aan dat de prestaties van Mahalanobis-gebaseerde OOD-detectie sterk afhankelijk zijn van de geometrie van de in-distributie-ruimte, en introduceert een nieuwe radiaal geschaalde normalisatiemethode die deze geometrie aanpast om detectie te verbeteren.

De kern

De Kern: Hoe herkennen we "vreemdelingen" in een foto?

Stel je voor dat je een zeer ervaren schilder hebt getraind om alleen hondjes te tekenen. Hij kent elke hondsoort, van de Chihuahua tot de Duitse Herder, perfect. Maar wat gebeurt er als iemand hem een foto van een koe of een robot laat zien?

Een goed AI-systeem moet niet alleen weten hoe een hond eruitziet, maar ook durven zeggen: "Hé, dit is geen hond, dit is iets vreemds!" Dit noemen we OOD-detectie (Out-of-Distribution detection). Als het systeem dit niet doet, kan het met volle overtuiging een verkeerd antwoord geven, wat in de echte wereld (bijvoorbeeld bij zelfrijdende auto's of medische scans) gevaarlijk is.

De auteurs van dit papier kijken naar een specifieke methode om dit te doen: de Mahalanobis-score.

---

1. De Probleemstelling: Het is niet altijd betrouwbaar

Stel je voor dat de Mahalanobis-score een laserstraal is die meet hoe ver een nieuw plaatje afwijkt van de "honden-wereld".

• Het oude idee: Deze laserstraal zou altijd werken, ongeacht welke AI je gebruikt.
• De ontdekking van de auteurs: Nee, dat klopt niet. Soms werkt de laserstraal perfect, en soms faalt hij totaal. Het hangt er helemaal vanaf hoe de AI de wereld ziet (de "feature space").

Het is alsof je een kompas gebruikt: op de ene bergtop wijst het perfect naar het noorden, maar op een andere berg (door de magnetische velden van die berg) wijst het volledig de verkeerde kant op. De auteurs wilden weten: Waarom werkt het kompas op de ene berg wel en op de andere niet?

2. De Oplossing: Kijk naar de "Vorm" van de ruimte

De auteurs kijken niet naar de pixels, maar naar de geometrie (de vorm) van de ruimte waarin de AI de beelden opslaat.

Stel je voor dat alle hondjes in een grote zaal staan.

• De "LID" (Local Intrinsic Dimensionality): Dit is een maat voor hoe "rommelig" of "complex" de zaal is. Is het een smalle gang waar honden in een rij staan (simpel), of een enorme, complexe hal waar honden overal rondlopen (complex)?
• De "Spectrale Helling": Dit kijkt naar hoe strak de honden bij elkaar staan. Staan ze als een strakke troep (compact) of zijn ze verspreid als een kudde schapen?

De grote ontdekking:
De auteurs ontdekten een geheim recept. De prestatie van de laserstraal (de detector) hangt af van een combinatie van deze twee dingen:

Hoe complex de zaal is x Hoe strak de groepen bij elkaar staan.

Als de zaal heel complex is, moeten de groepen honden heel strak bij elkaar staan om de laserstraal goed te laten werken. Als de zaal simpel is, mag de groep wat verspreider zijn. Dit recept werkt voor bijna elke AI-modellen, ongeacht hoe ze getraind zijn.

3. De Magische Knop: De "Radiale Schaal"

Nu komt het creatieve deel. De auteurs bedachten een manier om de vorm van die zaal te veranderen, zonder de AI zelf te herschrijven. Ze noemen dit radiale schaling.

Stel je voor dat de zaal een reusachtige ballon is.

• Normaal gesproken staan de honden op verschillende afstanden van het midden van de ballon.
• De auteurs hebben een knop bedacht (noem hem $\beta$) die de ballon kan opblazen of opblazen.
  • Knop $\beta = 0$: De ballon is normaal (standaard).
  • Knop $\beta = 1$: De ballon wordt platgedrukt tot een perfect bolletje. Alle honden staan nu op precies dezelfde afstand van het midden, maar hun richting blijft hetzelfde.
  • Knop $\beta$ ergens anders: Je kunt de ballon in- of uitzetten, waardoor de honden dichter bij of verder van elkaar komen te staan.

Waarom is dit slim?
Door deze knop te draaien, verandert de "vorm" van de zaal. Soms werkt de laserstraal beter als de zaal wat strakker is, en soms als hij wat ruimer is. De auteurs hebben een slimme manier bedacht om te kijken welke stand van de knop het beste werkt, zonder dat ze vreemde beelden (zoals koeien) nodig hebben om het te testen. Ze kijken alleen naar de honden (de normale data) en zeggen: "Ah, als we de zaal zo veranderen, wordt de laserstraal scherper."

4. Het Resultaat: Een betere "Vreemdeling-Alarm"

Door deze knop slim te gebruiken, kunnen ze de prestaties van de AI aanzienlijk verbeteren.

• Vroeger: Je moest raden of je de AI moest "normaliseren" (platdrukken) of niet.
• Nu: Je kunt de knop automatisch op de perfecte stand zetten voor elke specifieke AI.

Dit betekent dat we veiliger AI-systemen kunnen bouwen die minder snel in de war raken als ze iets vreemds zien. Het is alsof je een alarm hebt dat niet alleen luistert naar geluid, maar ook de akoestiek van de kamer aanpast zodat het alarm nooit een verkeerd signaal geeft.

Samenvatting in één zin:

De auteurs hebben ontdekt dat de manier waarop een AI beelden "ruimtelijk" ziet, bepaalt of het vreemde beelden herkent, en ze hebben een simpele knop bedacht om die ruimtelijke vorm te optimaliseren, zodat het alarm voor vreemde beelden altijd perfect werkt.

Technische samenvatting

Probleemstelling

Out-of-distribution (OOD) detectie is essentieel voor de betrouwbare inzet van visuele modellen in de echte wereld. Mahalanobis-gebaseerde detectoren blijven sterke baselines, maar hun prestaties variëren aanzienlijk afhankelijk van de gebruikte feature-representaties (bijv. verschillende foundation models, vooraf getrainde datasets en fine-tuning regimes).
Het fundamentele probleem is dat het onduidelijk is welke eigenschappen van de feature-ruimte bepalen of een Mahalanobis-detector succesvol faalt of faalt. De huidige methoden zijn vaak niet universeel betrouwbaar; wat werkt voor het ene model, werkt niet voor het andere. Er is behoefte aan een theoretisch kader dat deze variatie verklaart en een mechanisme biedt om de detectie te optimaliseren zonder OOD-data te hoeven gebruiken.

Methodologie

De auteurs benaderen het probleem vanuit een geometrisch perspectief. In plaats van alleen naar scores te kijken, analyseren ze de interne structuur van de feature-ruimtes van diverse self-supervised learning (SSL) en foundation models.

1. Geometrische Analyse: Ze onderzoeken de relatie tussen OOD-prestaties en twee specifieke geometrische eigenschappen van de in-distribution (ID) data:
   • Lokale Intrinsieke Dimensie (LID): Een maat voor het aantal vrijheidsgraden in een lokaal gebied van de manifold.
   • Spectrale Structuur binnen Klassen: De afname (decay) van de eigenwaarden van de scatter-matrix binnen een klasse.
2. Radiale Schaling (Radial Scaling): De auteurs introduceren een nieuwe post-hoc normalisatiemethode: radiaal geschaalde $\ell_2$-normalisatie.
   • De transformatie wordt gedefinieerd als $\phi_\beta(z) = z / \|z\|^\beta$.
   • De parameter $\beta$ controleert de contractie of expansie van de feature-radii terwijl de richtingen (hoeken) behouden blijven.
   • Dit creëert een continue familie van geometrieën die dezelfde quadratic detector (Mahalanobis) een verschillende ID-geometrie laten zien.
3. Proxy-Selectie: Ze ontwikkelen een regel om de optimale $\beta$ te kiezen puur op basis van ID-data. Ze gebruiken een proxy $P(\beta) = m(\beta) \cdot |s(\beta)|$, waarbij $m$ de LID is en $s$ de helling van het spectrum binnen de klasse. De waarde van $\beta$ die deze proxy optimaliseert, wordt gebruikt om de feature-ruimte te deformeren voordat de Mahalanobis-score wordt berekend.

Belangrijkste Bijdragen

1. Uitgebreide Benchmark: Een grote-scale studie van Mahalanobis-varianten (MD, RMD, MMD) over diverse moderne vision backbones (ViT, BEiT, EVA, CLIP, DeiT) met verschillende voor-trainings- en fine-tuning-regimes.
2. Geometrische Link: Het aantonen dat de prestaties van Mahalanobis-detectoren sterk correleren met een samenvattende maat van de ID-geometrie: het product van de lokale intrinsieke dimensie en de magnitude van de spectrale helling binnen de klasse ($m \cdot |s|$). Dit verklaart waarom prestaties variëren tussen modellen.
3. Geometrisch Controlemechanisme: De introductie van radiaal geschaalde normalisatie ($\phi_\beta$) als een manier om de geometrie van de feature-ruimte te manipuleren zonder het model opnieuw te trainen.
4. ID-only Optimalisatie: Een praktische procedure om de parameter $\beta$ te selecteren zonder toegang tot OOD-voorbeelden, wat vaak leidt tot betere prestaties dan vaste normalisatiemethoden (zoals standaard features of unit-sphere normalisatie).

Resultaten

• Representatie-afhankelijkheid: De studie bevestigt dat Mahalanobis-detectie niet universeel is. Prestaties hangen sterk af van de specifieke feature-representatie. Bijvoorbeeld, Relative Mahalanobis Distance (RMD) presteert vaak beter dan standaard MD, vooral bij modellen die niet op ImageNet zijn gefine-tuned.
• Predictieve Kracht van Geometrie: De combinatie van LID en spectrale helling ($m \cdot |s|$) voorspelt consistent de OOD-prestaties over verschillende detectorvarianten heen. Een lagere waarde van dit product correleert met betere detectie.
• Verbetering door Radiale Schaling: Door de optimale $\beta$ te kiezen via de ID-only proxy, verbeteren de auteurs de False Positive Rate (FPR@95) aanzienlijk ten opzichte van vaste baselines ($\beta=0$ voor standaard features en $\beta=1$ voor unit-sphere normalisatie).
  • In Table 1 wordt getoond dat de "RS-MD" (Radially Scaled Mahalanobis) en "RS-RMD" methoden consistent lagere FPR-waarden bereiken dan hun tegenhangers met vaste normalisatie over een breed scala aan modellen en OOD-datasets (zoals NINCO, iNaturalist, etc.).
• Stabiliteit: De methode reduceert de worst-case fouten en is robuust over verschillende datasets, wat aantoont dat het aanpassen van de radiale geometrie de overlap tussen ID- en OOD-verdelingen effectief verkleint.

Significantie

Dit artikel biedt een fundamenteel inzicht in waarom Mahalanobis-detectie werkt of faalt, door de link te leggen met de onderliggende meetkunde van de feature-ruimte.

• Praktische Toepassing: Het biedt een eenvoudige, post-hoc techniek (radiale schaling) die ontwikkelaars kunnen toepassen om de betrouwbaarheid van hun visuele modellen te verhogen zonder extra training of OOD-data.
• Theoretische Vooruitgang: Het verlegt de focus van het optimaliseren van de scoring-regel naar het begrijpen en manipuleren van de geometrie van de representatie. Dit helpt bij het ontwerpen van robuustere systemen voor veiligheidskritische toepassingen zoals medische beeldvorming en autonome systemen.
• Generalisatie: De bevindingen suggereren dat de "beste" normalisatie niet universeel is, maar afhankelijk van de specifieke geometrie van het model, en dat adaptieve normalisatie (via $\beta$) een krachtig hulpmiddel is om deze geometrie te aligneren met de aannames van de detector.