Technische Samenvatting: PRISM voor Cross-Domain OOD Detectie

Probleemstelling

Out-of-Distribution (OOD) detectie is een cruciale uitdaging voor de implementatie van neurale netwerken in realistische, veiligheidskritische systemen. Hoewel modellen vaak een hoge nauwkeurigheid bereiken op in-distributie (ID) data, kunnen ze overmoedige, incorrecte voorspellingen genereren bij inputs die afwijken van de trainingsdistributie. Bestaande post-hoc OOD-detectiemethoden vertrouwen doorgaans op een enkel representatieniveau (bijv. logits of penultieme features) of aggregeren scores van meerdere lagen met behulp van diepteselectie of OOD-gekalibreerde weging.

De auteurs identificeren een fundamentele beperking in deze benaderingen: het meest informatieve representatieniveau voor OOD-detectie varieert aanzienlijk tussen verschillende OOD-typen en toepassingsdomeinen (natuurlijke afbeeldingen, medische beeldvorming, industriële inspectie). Bijgevolg zijn vaste laagkeuzes of aggregatiestrategieën die gekalibreerd zijn op specifieke OOD-validatiesets broos en falen ze in het generaliseren over domeinen. Bovendien vereisen veel bestaande multi-layer methoden OOD-afhankelijke kalibratie of synthetische data om laaggewichten te leren, wat complexiteit introduceert en de overdraagbaarheid vermindert in scenario's waarin representatieve OOD-data niet beschikbaar is.

Methodologie: PRISM

Het artikel stelt PRISM voor (Projected Representation with Intermediate-layer Subspace Modeling), een model-agnostische, post-hoc OOD-detectiemethode ontworpen voor cross-domain robuustheid. PRISM houdt vast aan een "fuse-then-model" principe, waarbij het de laag-gewijze score-aggregatie vermijdt ten gunste van het creëren van een verenigde feature-representatie vóór statistische modellering.

De methode bestaat uit drie primaire stappen:

1. Constructie van een Verenigde Multi-Layer Feature:
   In plaats van een enkele laag te selecteren, extraheert PRISM feature maps uit meerdere intermediaire lagen (van ondiep tot diep) binnen het netwerk. Voor Convolutional Neural Networks (CNN's) worden ruimtelijke feature maps geaggregeerd via global average pooling; voor Vision Transformers (ViTs) worden token sequenties gemiddeld. Elk resulterend vector wordt $\ell_2$-genormaliseerd om te voorkomen dat lagen met grotere activatiemagnitudes de gezamenlijke representatie domineren. Deze genormaliseerde vectoren worden geconcateneerd om een enkele, hoog-dimensionale multi-layer feature vector $\mathbf{z}(\mathbf{x})$ te vormen.

2. Subspace Modellering van ID Data:
   PRISM gaat ervan uit dat ID-data op een laag-dimensionale manifold ligt binnen deze gefuseerde feature-ruimte. Gebruikmakend van uitsluitend ID-trainingsdata, past het Principal Component Analysis (PCA) toe om een hoofdsubruimte $\mathbf{W}$ te schatten die de dominante modi van ID-variabiliteit vastlegt. Tijdens inferentie wordt een feature vector gedecomposeerd in:

   • Projectie ($\mathbf{u}$): Het component dat is uitgelijnd met de hoofdsubruimte, wat semantische patronen vastlegt die consistent zijn met de ID-data.
   • Residu ($\mathbf{r}$): Het orthogonale component dat features representeert die niet ondersteund worden door de geleerde ID-manifold.

3. OOD Scoring:
   PRISM combineert twee complementaire signalen in een enkele score zonder geleerde gewichten of OOD-kalibratie:

   • Projected Mahalanobis Distance ($s_{\text{proj}}$): Een klasse-conditionele Mahalanobis afstand berekend in de geprojecteerde subruimte. Dit detecteert afwijkingen van klasse-conditionele structuren binnen de geleerde manifold.
   • Residual Energy ($s_{\text{res}}$): De gekwadrateerde $\ell_2$-norm van de residu-vector. Dit vangt energie op in richtingen die orthogonaal staan aan de ID-manifold, waardoor nieuwe of niet-ondersteunde feature-richtingen worden gedetecteerd.

   De uiteindelijke OOD-score is het negatieve product van deze twee termen: $s_{\text{PRISM}}(\mathbf{x}) = -s_{\text{proj}}(\mathbf{x}) \cdot s_{\text{res}}(\mathbf{x})$. Deze multiplicatieve combinatie benadrukt monsters die zowel binnen als buiten de hoofdsubruimte afwijken van de ID-structuur. Alle statistieken (gemiddelden, covariantie, PCA-parameters) worden uitsluitend geschat op basis van ID-data.

Belangrijkste Bijdragen

• Identificatie van Aggregatie-gevoeligheid: De auteurs demonstreren dat laag-gewijze aggregatie en OOD-gebaseerde kalibratie zeer gevoelig zijn voor de gekozen validatie OOD-set, wat leidt tot instabiel cross-domain gedrag. Ze tonen aan dat optimale laaggewichten significant variëren tussen verschillende medische en natuurlijke beeldverschuivingen.
• Verenigde Multi-Layer Subspace Modellering: PRISM introduceert een principe dat de noodzaak voor laagselectie, score-aggregatie heuristieken en OOD-afhankelijke kalibratie elimineert. Door representaties te fuseren vóór modellering, behoudt het de robuustheidsvoordelen van statistische feature-modellering terwijl het complementaire informatie van ondiepe tot diepe lagen vastlegt.
• Uitgebreide Cross-Domain Evaluatie: De methode wordt geëvalueerd over natuurlijke, medische en industriële benchmarks (OpenOOD, OpenMIBOOD, ICONIC-444) met gebruik van een enkele standaardconfiguratie. PRISM bereikt een state-of-the-art gemiddelde AUROC en de beste gemiddelde rang over datasets zonder dat OOD-gebaseerde kalibratie nodig is.
• Efficiëntie: De methode brengt minimale inferentie-overhead met zich mee (minder dan 1,0% voor batchgroottes $\geq 16$) vergeleken met baselines, wat het praktisch maakt voor real-world implementatie.

Resultaten

Uitgebreide experimenten over 22 state-of-the-art post-hoc methoden op diverse benchmarks leveren de volgende bevindingen op:

• Algemene Prestaties: PRISM bereikt de hoogste gemiddelde AUROC (93,92%) over alle benchmarks, waarmee het de op één na beste methode (MDS++, 89,13%) met 4,79 punten verslaat.
• Domain Robustness: In tegen tegenstelling tot concurrerende methoden die een uitgesproken domein-afhankelijke variabiliteit vertonen (bijv. MDSEns presteert goed op medische data maar slecht op ImageNet-1k; GRAM blinkt uit in industriële settings maar degradeert in medische taken), behoudt PRISM een consistente hoge prestatie over natuurlijke, medische en industriële domeinen.
• OOD Categorie Robustness: PRISM behoudt een hoge AUROC van near-OOD tot extreme-OOD categorieën, wat wijst op robuustheid tegen toenemende distributieverschuivingen.
• Architecturale Generalisatie: PRISM presteert consistent goed over verschillende backbone-architecturen, inclusief ResNets, Swin Transformers en ViTs, zonder architectuur-specifieke tuning.
• Ablatie Studies: Het artikel bevestigt dat zowel de geprojecteerde Mahalanobis-term als de residu-energie term noodzakelijk zijn voor optimale prestaties, aangezien zij verschillende soorten geometrische afwijkingen vastleggen. De verenigde multi-layer representatie blijkt effectiever dan single-layer baselines of eenvoudige score-aggregatie.

Betekenis en Claims

Het artikel claimt dat PRISM de instabiliteit van huidige OOD-detectiemethoden aanpakt door prioriteit te geven aan overdraagbare, ID-only implementatie. Door ondiepe-tot-diepe representaties te fuseren en de verenigde ID-geometrie in een laag-dimensionale subruimte te modelleren, vermijdt PRISM de valkuilen van benchmark-specifieke dieptevoorkeuren en OOD-afhankelijke kalibratie.

De auteurs benadrukken dat hoewel geen enkele post-hoc detector universeel het beste is over alle domeinen en OOD-typen, PRISM een robuuste, "standaard" oplossing biedt die complementaire informatie integreert over verschillende representatiedieptes. Deze benadering vermindert de gevoeligheid voor de specifieke OOD-definities of validatiesets die tijdens de ontwikkeling worden gebruikt, en biedt een betrouwbaarder mechanisme voor het identificeren van distributieverschuivingen in diverse real-world applicaties waar OOD-data schaars of onbekend kan zijn. Het vermogen van de methode om state-of-the-art prestaties te behalen met een vaste configuratie over natuurlijke, medische en industriële domeinen, onderstreept de waarde van verenigde multi-layer subspace modellering voor cross-domain robuustheid.