Technische Samenvatting: Een Systematische Analyse van Out-of-Distribution Detectie Onder Representatie- en Trainingsparadigmaverschuivingen

Probleemstelling

Diepe neurale netwerken produceren frequent "stiltefouten" en leveren onjuiste voorspellingen met een hoge zekerheid. Out-of-Distribution (OOD) detectie heeft tot doel deze fouten te signaleren door zekerheidsscores toe te kennen die betrouwbare van onbetrouwbare voorspellingen onderscheiden. Hoewel er talloze Confidence Scoring Functions (CSFs) bestaan, zijn hun prestatieranglijsten berucht onstabiel over verschillende datasets, architecturen en trainingspijplijnen. De centrale vraag die dit werk adresseert is: Wanneer werkt een specifieke detectorfamilie, en welke eigenschap van het getrainde model bepaalt zijn effectiviteit?

De auteurs daag het beeld uit dat OOD-detectie louter een wedstrijd tussen scoringsregels is. In plaats daarvan hypothetiseren zij dat de prestaties primair worden bepaald door de geometrie van de geleerde representatie, gevormd door architectuur, trainingsparadigma en complexiteit van de labelruimte, en niet door het ontwerp van de score die daarbovenop wordt toegepast.

Methodologie

1. Representatie-gerichte Benchmark

De auteurs presenteren een systematische benchmark die vier sleuteldimensies factorieel varieert:

• Backbones: CNNs (VGG-13, ResNet-18) en Vision Transformers (ViT).
• Trainingsparadigma's: Vanilla Cross-Entropy (ConfidNet), DeVries (geïnterpoleerde zekerheid) en Deep Gamblers (gambling-loss met reservering).
• Bron-Datasets: CIFAR-10, CIFAR-100, SuperCIFAR-100 en TinyImageNet.
• OOD-regimes: Datasets worden gegroepeerd in near, mid en far regimes op basis van CLIP-afgeleide semantische afstanden, verdergaand dan standaard binaire near/far-groeperingen.

2. Statistische Rangschikkingspijplijn

Om de instabiliteit van ranglijsten aan te pakken, vervangt het artikel samenvattingen met één winnaar door een multiple-comparison-controlled rank pipeline:

• Maten: Zonder drempelwaarde-maten AURC (Area Under Risk-Coverage Curve) en AUGRC (Area Under Generalized Risk-Coverage Curve).
• Procedure: De Friedman-test identificeert significante verschillen in rangschikkingen. Post-hoc Conover–Holm-tests met Holm-correctie identificeren cliques van statistisch niet-onderscheidbare "winnaars". Dit maakt het mogelijk om groepen CSFs te identificeren die gezamenlijk concurrerend zijn, in plaats van een enkele beste keuze te forceren.

3. Projectiefiltratie

De studie introduceert projectiefiltratie als een gecontroleerde interventie op de representatiegeometrie. Met behulp van Principal Component Analysis (PCA) op features van de voorlaatste laag reconstrueren de auteurs features uit laag-rangige deelruimten. Zij evalueren drie varianten:

• Globale Projectie: Een enkele deelruimte voor alle klassen.
• Klasse-projectie: Deelruimten specifiek voor elke klasse.
• Klasse-voorspelde Projectie (CPP): Het gebruik van de deelruimte van de door het model voorspelde klasse.

4. Neural Collapse (NC) Analyse

De auteurs gebruiken Neural Collapse (NC)-maten om de geometrie van de features van de laatste laag te kwantificeren. Deze maten meten fenomenen zoals variabiliteitscollaps, convergentie naar een simplex equiangular tight frame (ETF), en zelfdualiteit tussen klassgemiddelden en classifier-gewichten.

• Correlatie: Mantel-tests worden gebruikt om NC-geometrie-afstanden te correleren met CSF-rangschikking-afstanden.
• Voorspelling: Een NC-gebaseerd voorspellend kader wordt voorgesteld. Een per-CSF L2-logistische regressiemodel wordt getraind op NC-features (berekend vanuit de getrainde classifier) om de concurrerende shortlist van detectoren voor een nieuw model te voorspellen, zonder dat OOD-validatiedata nodig is.

Belangrijkste Bijdragen

1. Representatie-bewuste Benchmark: Een uitgebreide evaluatie die CNNs, ViTs, meerdere trainingsparadigma's en een gedetailleerd drie-traps OOD-regime (near/mid/far) omvat.
2. Statistische Clique-pijplijn: Een robuuste methode voor het identificeren van statistisch niet-onderscheidbare top-presterende CSFs, waardoor een genuanceerder beeld van concurrerende prestaties wordt geboden dan geaggregeerde gemiddelden.
3. CLIP-gebaseerde Stratificatie: Een datagedreven groepering van OOD-datasets die een systematische overgang in detector-effectiviteit onthult, van op marge gebaseerde scores (near-OOD) naar op geometrie bewuste scores (mid/far-OOD).
4. Inzichten in Projectiefiltratie: Het aantonen dat de optimale filtratiegranulariteit afhankelijk is van de architectuur: Globale projectie verbetert CSFs op CNNs over het algemeen, terwijl Class-Predicted Projection (CPP) de kritieke interventie is voor fijngetune ViTs.
5. NC-gebaseerde Predictor: Een methode om een concurrerende detector-shortlist voor een onbekend model aan te bevelen met uitsluitend het NC-profiel van het model, waardoor de behoefte aan OOD-validatiedata wordt geëlimineerd.

Resultaten

Empirische Bevindingen over Detectorfamilies

De concurrerende detectorfamilie verschuift systematisch met de ernst van de verschuiving en de architectuur:

• CNNs:
  • In-Distribution/Misclassificatie: Gedomineerd door eenvoudige probabilistische scores (bijv. GEN, MSR).
  • Near-OOD: Op marge gebaseerde scores (Energy, MLS) en NNGuide zijn het sterkst.
  • Mid/Far-OOD: Op geometrie bewuste scores (CTM, fDBD, NNGuide) worden dominant.
• ViTs (Fijngetuned):
  • De overgang is abrupter. Near-OOD is heterogeen.
  • Mid-OOD wordt gedomineerd door op reconstructie gebaseerde scores (KPCA RecError).
  • Far-OOD verschuift naar op residualen gebaseerde scores (Residual, ViM, pNML).

Impact van Projectiefiltratie

• CNNs: Globale projectie verbetert op afstand gebaseerde scores (bijv. Mahalanobis, CTM) aanzienlijk door nuisance-variaties te verwijderen, terwijl klasse-voorwaardelijke varianten de prestaties vaak verslechteren.
• ViTs: Class-Predicted Projection (CPP) drijft de grootste winsten (bijv. voor GradNorm), door effectief pretraining-residualen te verwijderen die de taakspecifieke geometrie verduisteren. Globale projectie biedt bescheiden winsten voor op logit-gebaseerde scores.

NC-geometrie en Voorspelling

• Correlatie: Mantel-tests bevestigen een significante correlatie ($r = 0,31\text{--}0,68, p \le 0,004$) tussen NC-geometrie en CSF-rangschikkingen over alle trainingsparadigma's.
• Cross-Architectuur Transfer: Een NC-gebaseerde predictor getraind op VGG-13 voorspelt succesvol concurrerende shortlists voor ResNet-18 zonder hertraining.
  • Prestatie: De voorspelde shortlist verlaagt de mean set-regret ten opzichte van de sterkste vaste-CSF-baseline met 51% tot 84% over near, mid en far OOD-regimes.
  • Betekenis: In 49 van de 54 Holm-corrigerende gepaarde Wilcoxon-vergelijkingen presteerde de predictor significant beter dan baselines.

Betekenis en Claims

Het artikel claimt dat OOD-detectieprestaties primair worden bepaald door het representatieregime, en niet alleen door scoreontwerp.

• Mechanisme: De geometrie van de geleerde representatie (specifiek de mate van Neural Collapse en uitlijning met classifier-gewichten) dicteert welke scoringsregels effectief zijn. Op prototypen en grenzen gebaseerde scores gedijen wanneer representaties gecollapseerd en uitgelijnd zijn; op gradiënten en manifolds gebaseerde scores worden verkiest wanneer de collaps zwakker is.
• Praktische Nut: De auteurs demonstreren dat men kan voorspellen welke OOD-detector zal werken voor een bepaald model door simpelweg de interne geometrie van het model te analyseren (NC-maten), waardoor de behoefte aan dure OOD-validatiedata wordt verwijderd.
• Methodologische Verschuiving: Het werk verlegt het veld van de vraag "Welke CSF wint gemiddeld?" naar "Welke familie is statistisch concurrerend onder welk representatieregime, en waarom?"

De auteurs blijven bescheiden wat betreft de reikwijdte, en merken op dat de resultaten beperkt zijn tot beeldclassificatie op specifieke datasets en backbones, en dat de cross-architectuur transfer is getest op één enkel CNN-naar-CNN-paar. Zij benadrukken dat de NC-predictor een shortlist van kandidaten biedt in plaats van één deterministische keuze, en erkennen dat verdere tie-breaking mogelijk noodzakelijk is bij implementatie.