🤖 machine learning

MM++: Unsupervised Scale-Invariant Multilayer OOD Detection via Top-K Gated Feature Fusion

MM++ is een volledig ongesuperviseerd, post-hoc framework dat robuuste schaalinvariante multilayer OOD-detectie bereikt door onderscheidende intermediaire lagen te fuseren met terminale representaties via een Ledoit-Wolf geregulariseerde gekoppelde covariantie-matrix, waardoor de noodzaak voor hulpdata of architecturale modificaties wordt geëlimineerd.

Oorspronkelijke auteurs: Rahim Hossain, Md Tawheedul Islam Bhuian, Md Farhan Shadiq, Kyoung-Don Kang

Gepubliceerd 2026-06-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rahim Hossain, Md Tawheedul Islam Bhuian, Md Farhan Shadiq, Kyoung-Don Kang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een beveiligingsbeambte bent bij een luxe kunstgalerie. Jouw taak is om vervalste schilderijen (Out-of-Distribution, of OOD, inputs) te onderscheiden van de echte meesterwerken (In-Distribution, of ID, inputs).

Het probleem is dat moderne AI-"bewakers" (Deep Neural Networks) erg zelfverzekerd zijn. Zelfs wanneer ze een nep schilderij zien dat totaal niet lijkt op de echte werken, zeggen ze vaak: "Ik weet voor 99% zeker dat dit een echte Van Gogh is!" Dit is gevaarlijk, want het betekent dat de AI het verschil niet kan zien tussen wat hij wel weet en wat hij niet weet.

Het paper introduceert een nieuw beveiligingssysteem genaamd MM++ (Multilayer Mahalanobis++). Zo werkt het, eenvoudig uitgelegd:

1. Het probleem met oude bewakers: "De laatste blik"

De meeste beveiligingsbewakers kijken slechts één laatste keer naar het schilderij voordat ze een beslissing nemen (de "penultimate layer" van het netwerk).

Het probleem: Tegen de tijd dat de AI het beeld heeft verwerkt, heeft hij alle details samengeperst tot een nette, kleine samenvatting. Als een nep schilderij toevallig een beetje lijkt op de samenvatting van een echt werk, wordt de bewaker gefopt.
De analogie: Het is alsof je een boek beoordeelt op basis van enkel de laatste zin. Als de laatste zin van een nep verhaal toevallig overeenkomt met de laatste zin van een echt verhaal, denk je misschien dat het hele boek echt is.

2. De oude multi-layer oplossing: "De commissie met slechte wiskunde"

Sommige eerdere methoden probeerden de bewaker te vragen om het schilderij op verschillende stadia van verwerking te bekijken (vroeg, midden en laat) en vervolgens de scores van elk stadium simpelweg bij elkaar op te tellen.

Het probleem: Dit is alsof je drie verschillende mensen vraagt om over een schilderij te stemmen en dan gewoon de "Ja"-stemmen telt. Het negeert de relatie tussen de stemmers. Als de bewaker in de vroege fase zegt "Het is een landschap" en de bewaker in de late fase zegt "Het is een portret", dan mist een simpele stemtelling dit tegenstrijdigheid.
De tekortkoming: Deze methoden vereisten ook vaak dat de bewaker opnieuw getraind werd of een lijst met bekende vervalsingen kreeg om van te leren, wat niet altijd mogelijk is.

3. De MM++ oplossing: "De detective met een kaart"

MM++ is een nieuwe aanpak die werkt als een detective die naar de volledige reis van het beeld door het brein van de AI kijkt, maar op een zeer slimme manier.

Stap A: De "Turning Points" vinden (Entropy Density Drops)

De AI verwerkt een afbeelding door vele lagen. Vroege lagen zien randen en kleuren; latere lagen zien complexe concepten zoals "kat" of "auto".

De truc: MM++ zoekt naar de specifieke momenten waarop de AI plotseling stopt met het zien van "ruis" en begint met het zien van "betekenis". Dit noemt het een Entropy Density Drop.
De analogie: Stel je een detective voor die een verdachte door een stad volgt. In het begin loopt de verdachte gewoon willekeurig rond (ruis). Plotseling slaat de verdachte een bocht om en loopt rechtstreeks naar een specifiek gebouw (semantische compressie). MM++ identificeert deze "turning points" waar het pad van de verdachte heel duidelijk en gefocust wordt. Het negeert het willekeurige dwalen aan het begin en focust op de momenten waar de betekenis scherp wordt.

Stap B: De "Top-K" poort

In plaats van naar elke laag te kijken (wat traag en ruizig is), kiest MM++ alleen de Top-K belangrijkste lagen.

De strategie: Het houdt altijd de allerlaatste laag (de uiteindelijke beslissing) aan en voegt de top paar "turning points" toe die eerder zijn gevonden.
De analogie: In plaats van 100 getuigen te interviewen (waarvan sommigen in de war zijn), interviewt de detective de uiteindelijke rechter en de twee meest cruciale getuigen die zagen hoe de verdachte van richting veranderde.

Stap C: De "Verenigde Ruimte" (Joint Feature Fusion)

Dit is het belangrijkste deel. MM++ telt de scores van deze lagen niet alleen bij elkaar op. Het voegt ze samen tot één groot, verenigd beeld.

De magie: Het creëert een enkele "kaart" waar de relatie tussen de vroege aanwijzingen en de uiteindelijke beslissing behouden blijft.
De analogie: Als de vroege getuige zegt "De verdachte droeg een rode hoed" en de laatste getuige zegt "De verdachte droeg een blauwe hoed", dan zou een simpele stemtelling de leugen misschien missen. Maar MM++ plaatst deze twee feiten naast elkaar op een enkele kaart. Het ziet direct: "Wacht even, de verdachte kan niet tegelijkertijd een rode én een blauwe hoed dragen! Dit is een vervalsing!"
Het resultaat: Het vangt vervalsingen die er op één stadium goed uitzien, maar uit elkaar vallen wanneer je kijkt naar hoe de stadia met elkaar verbonden zijn.

Stap D: De "Stabilisator" (Ledoit-Wolf Shrinkage)

Omdat MM++ naar zoveel lagen tegelijk kij.t, kan de wiskunde rommelig en instabiel worden (zoals het proberen te balanceren van een toren van te veel blokken).

De oplossing: MM++ gebruikt een wiskundige "stabilisator" (Ledoit-Wolf shrinkage) om de ruis glad te strijken.
De analogie: Het is als het toevoegen van een schokdemper aan een auto. Zelfs als de weg (de data) hobbelig is, blijft de auto (het detectiesysteem) stabiel en crasht het niet. Hierdoor kan het systeem betrouwbaar werken zonder dat het opnieuw getraind hoeft te worden.

Waarom is dit een grote zaak?

Geen hertraining nodig: Je hoeft de AI niet nieuwe dingen te leren of het te laten kijken naar nep foto's om ervan te leren. Het werkt direct op elke vooraf getrainde AI.
Werkt overal: Het werkt op verschillende soorten AI-architecturen (zoals Transformers en Convolutionele netwerken) zonder dat er speciale aanpassingen voor elk type nodig zijn.
Beter in het herkennen van "nabije" vervalsingen: Het is vooral goed in het opsporen van vervalsingen die zeer veel lijken op de echte exemplaren (Near-OOD), wat het moeilijkste type vervalsing om te vangen is.

Samengevat: MM++ is een slimmere beveiligingsbewaker die niet alleen naar het definitieve oordeel kijkt. Het volgt het pad van de verdachte door het gebouw, ziet de momenten waarop het pad duidelijk wordt, en controleert of de aanwijzingen onderweg een consistent verhaal vertellen. Als het verhaal niet klopt, gaat het alarm af.

Technische Samenvatting: MM++ (Multilayer Mahalanobis++)

Probleemstelling

Diepe neurale netwerken (DNN's) vertonen vaak overmoedige voorspellingen op out-of-distribution (OOD) inputs, een gedrag dat wordt toegeschreven aan neural collapse, waarbij in-distribution (ID) representaties worden samengedrukt in laagdimensionale klasse-centra. Hoewel dit de classificatienauwkeurigheid verbetert, vermindert het de representationele diversiteit, waardoor OOD-samples nabij ID-structuren worden geprojecteerd.

Bestaande post-hoc OOD-detectiemethoden kampen met een afweging tussen schaalinvariantie en hiërarchische expressiviteit:

Single-layer methoden (bijv. Mahalanobis++, ReAct) opereren op de terminale (voorlaatste) laag. Hoewel schaalinvariante benaderingen zoals Mahalanobis++ features projecteren op een eenheids-hypersfeer om magnitude-variaties te mitigeren, negeren zij mid-level structurele aanwijzingen die cruciaal zijn voor het detecteren van near-OOD samples.
Multilayer methoden (bijv. X-Mahalanobis) aggregeren scores van intermediaire lagen, maar behandelen de laag-specifieke representaties doorgaans als onafhankelijke marginalen. Zij vertrouwen op additieve fusie van individuele scores, wat vaak variantie-gebaseerde weging of classifier fine-tuning vereist. Deze benadering negeert cross-layer conditionele afhankelijkheden en kan hoog-variante ruis uit vroege lagen voortplanten, waardoor ze falen in het detecteren van hiërarchische inconsistenties waarbij een anomalie de ID-features op individuele lagen nabootst, maar de verwachte evolutionaire trajectorie tussen hen schendt.
Beperkingen van strikt post-hoc: Veel geavanceerde methoden vereisen hulp-OOD validatiesets of fine-tuning, wat de strikt post-hoc assumptie schendt en de detector bias geeft naar specifieke hulp-geometrieën.

Methodologie: MM++ Framework

De auteurs stellen MM++ (Multilayer Mahalanobis++) voor, een volledig unsupervised, strikt post-hoc en schaalinvariant framework. In plaats van additieve score-fusie, construeert MM++ een geprincieerd gezamenlijk feature-ruimte door geselecteerde intermediaire lagen te fuseren met de terminale representatie.

1. Laalselectie via Entropy Density Drops

MM++ identificeert discriminerende intermediaire lagen zonder hulp-data door entropy density drops te meten:

Covariance Entropy: Voor elke laag $l$ wordt de Shannon entropie $H_l$ van het genormaliseerde, met Ledoit–Wolf gekrompen eigenwaarde-spectrum van de covariantie berekend. Dit kwantificeert de representationele rijkdom.
Entropy Density: Gedefinieerd als $\rho_l = H_l / D_l$ (entropie per feature-dimensie), wat een schaalinvariante metriek biedt.
Entropy Density Drop ( $\Delta_l$ ): Het verschil tussen opeenvolgende lagen, $\Delta_l = \rho_{l-1} - \rho_l$ . Een grote positieve $\Delta_l$ duidt op een scherpe daling in relatieve intrinsieke dimensionaliteit, wat een grens markeert van semantische compressie.
Selectiestrategie: De voorlaatste laag $L$ wordt altijd opgenomen als anker. De top $K-1$ intermediaire lagen met de grootste positieve $\Delta_l$ worden geselecteerd. Dit focust het model op representaties die de meest significante structurele transities ondergaan, terwijl ruis uit vroege lagen wordt onderdrukt.

2. Feature Fusie en Joint Modeling

Geselecteerde lagen worden $\ell_2$ -genormaliseerd en geconcateneerd tot een uniforme representatie $\phi(x)$ .

Lossless Concatenation: In tegen tegenstelling tot additieve fusie, behoudt dit de volledige informatie van elke geselecteerde laag zonder expliciete weging.
Joint Precision Matrix: Een enkele klasse-conditionele Mahalanobis-afstand wordt berekend in deze uniforme ruimte. De getied covariantiematrix $\hat{\Sigma}_K$ wordt geschat uit de geconcateneerde features.
Ledoit–Wolf Shrinkage: Om de hoge dimensionaliteit van de gefuseerde ruimte te hanteren (waar de feature-dimensie $D_K$ vaak de sample-count $N_c$ overstijgt), past MM++ Ledoit–Wolf shrinkage toe op de covariantiematrix. Dit zorgt voor een goed geconditioneerde, positief-definiete precisie-matrix $\hat{\Sigma}_K^{-1}$ .
Cross-Layer Dependencies: De off-diagonal blokken van de gezamenlijke precisie-matrix modelleren expliciet de cross-layer covariantie. Dit stelt de detector in staat om samples te straffen die plausibel zijn onder individuele laag-distributies, maar een anomale gezamenlijke configuratie vertonen (het schenden van de geleerde evolutionaire trajectorie van de features).

- OOD Scoring

De uiteindelijke OOD-score is de negatieve minimum Mahalanobis++ afstand over alle klassen in de gezamenlijke ruimte:
$S_{MM++}(x) = -\min_{c} (\phi(x) - \hat{\mu}_c^K)^\top \hat{\Sigma}_K^{-1} (\phi(x) - \hat{\mu}_c^K)$
Hogere scores duiden op nabijheid tot ID-clusters. De methode vereist geen fine-tuning, geen proxy OOD-data, en introduceert slechts één hyperparameter $K$ (het aantal gefuseerde lagen).

Belangrijkste Bijdragen

Unified Multilayer Framework: Verschuift het paradigma van additieve score-aggregatie naar gezamenlijke joint feature-ruimte modellering, waardoor latente cross-layer correlaties worden gevangen.
Geprincieerde Laalselectie: Introduceert een mechanisme voor laagselectie gebaseerd op entropy density drops om grenzen van scherpe semantische compressie te identificeren, waardoor heuristische weging wordt vermeden.
Strikt Post-Hoc & Schaalinvariant: Breidt $\ell_2$ -normalisatie (van Mahalanobis++) uit naar een multi-layer setting met Ledoit–Wolf regularisatie, zonder dat hiervoor hulp-data of architecturale wijzigingen nodig zijn.
Architectuuronafhankelijkheid: Het framework opereert op genormaliseerde intermediaire features, waardoor het toepasbaar is op heterogene architecturen (Transformers, CNN's, Hiërarchische modellen) zonder dimensie-specifieke aanpassingen.

Empirische Resultaten

Het paper evalueert MM++ over diverse backbones (ViT-B/16, Swin-T, ConvNeXt-T, EVA02) en datasets (ImageNet-1K, ImageNet-LT).

Balanced Regime (ImageNet-1K): MM++ bereikt competitieve prestaties met state-of-the-art (SOTA) methoden. Hoewel X-Mahalanobis (dat fine-tuning vereist) de hoogste algehele prestaties behaalt op far-OOD benchmarks, presteert MM++ beter op specifieke near-OOD datasets (Texture, SUN) zonder enige fine-tuning.
Long-Tailed Regime (ImageNet-LT): MM++ demonstreert superieure robuustheid en behaalt de hoogste gemiddelde AUROC (83.91%). Het presteert significant beter dan baselines op uitdagende near-OOD verschuivingen (ImageNet-ES, -R, -V2), waar single-layer methoden en additieve multilayer fusies moeite hebben met subtiele semantische afwijkingen in ongebalanceerde regimes.
Cross-Architectural Consistentie: MM++ presteert consistent beter dan baselines op near-OOD benchmarks over Vision Transformers, hiërarchische attention-modellen (Swin) en gemoderniseerde convoluties (ConvNeXt). Opvallend is dat X-Mahalanobis vaak niet toepasbaar is op niet-homogene architecturen (zoals Swin of ConvNeXt) vanwege de afhankelijkheid van uniforme feature-dimensies en fine-tuning.
Ablatie-studies:
- Laalselectie: Het afdwingen van de penultimate layer anchoring en het selecteren van lagen via entropy drops is cruciaal; het verwijderen van anchoring of het gebruik van pseudo-inverse schattingen degradeert de prestaties aanzienlijk.
- Shrinkage: Ledoit–Wolf shrinkage levert substantiële winst op (bijv. +8.26% AUROC) ten opzichte van pseudo-inverse schattingen in hoog-dimensionale gefuseerde ruimtes.
- Hyperparameter $K$ : Prestaties pieken bij een kleine $K$ (typisch $K=2$ ), wat een balans vindt tussen de complementariteit van intermediaire informatie en de statistische ruis van expanderende dimensionaliteit.

Betekenis en Claims

Het paper claimt dat MM++ de fundamentele dichotomie tussen de stabiliteit van terminale lagen en de diepte van multilayer architecturen aanpakt. Door de hiërarchische trajectorie van feature-evolutie te modelleren via een uniforme gezamenlijke distributie, detecteert MM++ OOD-samples die de cross-layer evolutionaire dynamiek schenden, een modus van falen die ondetecteerbaar is voor single-layer of additieve methoden.

De auteurs benadrukken dat MM++ een rigoureuze, generaliseerbare weg biedt naar betrouwbare deep learning systemen. Het bereikt robuuste near- en far-OOD detectie over heterogene architecturen en long-tailed regimes zonder de computationele kosten van fine-tuning of de datavereisten van hulp-OOD datasets. Het werk suggereert dat robuuste OOD-detectie kan worden bereikt door middel van generaliseerbare principes (informatie-theoretische laagselectie en geometrische joint modellering) in plaats van architectuur-specifieke tuning.