Don't Collapse Your Features: Why CenterLoss Hurts OOD Detection and Multi-Scale Mahalanobis Wins

Technische Samenvatting: Collaps je Features niet: Waarom CenterLoss OOD-detectie schaadt en Multi-Scale Mahalanobis wint

Probleemstelling
De veilige implementatie van machine learning-systemen in open-wereldomgevingen vereist robuuste Out-of-Distribution (OOD)-detectie. Huidige methoden vertrouwen vaak op feature-representaties die uitsluitend zijn geoptimaliseerd voor classificatie-accuraatheid, waarbij de specifieke eisen van epistemische onzekerheid worden verwaarloosd. Een heersende aanname in het veld is dat het verbeteren van de classificatie-geometrie (bijvoorbeeld door feature-clusters compacter te maken) automatisch leidt tot betere schatting van onzekerheid. Dit artikel daagt die aanname uit en onderzoekt waarom populaire regularisatiemethoden zoals CenterLoss, die feature-compactheid afdwingen, de prestaties van OOD-detectie juist kunnen verslechteren.

Methodologie: De GOEN-pijplijn
De auteurs introduceren het Geometry-Optimised Epistemic Network (GOEN), een pijplijn in drie fasen die is ontworpen om de feature-geometrie specifiek te optimaliseren voor OOD-detectie in plaats van alleen voor classificatie. De pijplijn bestaat uit:

1. Multi-Scale Feature-extractie: Een ResNet-18-ruggengraat wordt getraind met standaard cross-entropy-verlies. Cruciaal is dat het model features extrahert uit twee tussenliggende lagen: Layer 2 (128-dimensionaal, dat laag-niveau textuur en domeinverschuivingen vastlegt) en Layer 4 (512-dimensionaal, dat hoog-niveau semantische inhoud vastlegt). Deze worden samengevoegd tot een 640-dimensionale vector.
2. L2-normalisatie en Mahalanobis-aanpassing: De geëxtraheerde features worden L2-genormaliseerd om op een eenheidsbol te liggen. Deze stap mitigeert "feature collapse", waarbij één hoofdcomponent de variantie domineert, en zorgt voor een goed geconditioneerde covariantiematrix. Per klasse worden conditionele gemiddelden ($\mu_c$) en een gebonden covariantiematrix ($\Sigma$) gefit op de trainingsdata. De OOD-score wordt afgeleid uit de Mahalanobis-afstand van een testpunt tot het dichtstbijzijnde class-centroid.
3. Calibratiekop: Een lichtgewicht Multi-Layer Perceptron (MLP) wordt getraind om drie onzekerheidsindicatoren om te zetten in een gekalibreerde waarschijnlijkheid:
   • Log-Mahalanobis-afstand.
   • Maximale cosinus-ähnelijkheid tot class-gemiddelden.
   • Voorspellende entropie vanuit de classificatiekop.
   • Trainingsdata: De kop wordt getraind op een mengsel van In-Distribution (ID)-data en "moeilijke" OOD-voorbeelden (een subset van SVHN) naast synthetisch Gaussisch ruis.

Belangrijkste bevindingen en bijdragen
De belangrijkste bijdrage van het artikel is een tegen-intuïtieve bevinding die door systematische ablatie aan het licht komt: CenterLoss schaadt OOD-detectie aanzienlijk.

• De CenterLoss-paradox: Hoewel CenterLoss de classificatie-accuraatheid verbetert door features in strakkere clusters te dwingen, verlaagt het de gemiddelde OOD AUROC van 0,9483 (zonder CenterLoss) naar 0,9366 (met CenterLoss). De auteurs hypothetiseren dat over-compacteren van feature-clusters de inter-class-marges comprimeert, waardoor het moeilijk wordt om OOD-punten te onderscheiden die tussen de clusters liggen. Bovendien kunnen strakke clusters leiden tot slecht geconditioneerde covariantiematrices, wat de effectiviteit van de Mahalanobis-afstand verslechtert.
• Noodzaak van Multi-Scale: Ablatiestudies tonen aan dat het gebruik van alleen semantische features (Layer 4) de prestaties aanzienlijk doet dalen (Gemiddelde AUROC 0,9270 versus 0,9483). Het combineren van textuur (Layer 2) en semantische features is essentieel voor het detecteren van zowel domeinverschuivingen (bijvoorbeeld SVHN) als semantische verschuivingen (bijvoorbeeld CIFAR-100).
• Echte Hard OOD-calibratie: Het trainen van de calibratiekop met echte domeinverschuivingsvoorbeelden (SVHN) in plaats van alleen synthetisch ruis is cruciaal. Het verwijderen van SVHN uit de calibratiemix verlaagde de prestaties op de SVHN-testset met bijna 2,5% AUROC, wat aantoont dat synthetisch ruis alleen het model niet kan leren complexe domeinverschuivingen te herkennen.

Experimentele resultaten
Geëvalueerd op CIFAR-10 (ID) tegen SVHN, gefilterd CIFAR-100 en synthetisch Gaussisch ruis (OOD), behaalde de beste GOEN-variant (GOEN-NoCenterLoss):

• Gemiddelde OOD AUROC: 0,9483, waarmee alle baselines worden overtroffen.
• Vergelijking: Het presteerde beter dan Deep Ensembles (0,8827), KNN (0,8967), ODIN (0,8870) en standaard Mahalanobis (0,6790).
• Efficiëntie: De volledige pijplijn wordt getraind in minder dan 20 minuten op één GPU.
• Stabiliteit: Seed-experimenten bevestigden de stabiliteit van de methode, met een lage variantie in ID-accuraatheid (0,9344 ± 0,0013) en OOD AUROC over vijf willekeurige seeds.

Betekenis en claims
Het artikel betoogt dat classificatie-geometrie en epistemische geometrie niet aligned zijn. Optimaliseren voor classificatie-accuraatheid (via compactheidsregularisatie) kan de capaciteit van een model actief schaden om te herkennen wanneer het te maken krijgt met nieuwe data.

De auteurs positioneren GOEN als een praktisch blauwdruk voor het bouwen van AI-systemen die "betrouwbaar hun eigen beperkingen herkennen". Door de doelen van classificatie en epistemische onzekerheid te ontkoppelen, en door gebruik te maken van multi-scale features met L2-genormaliseerde Mahalanobis-afstand, biedt GOEN een eenvoudige, efficiënte en state-of-the-art oplossing voor OOD-detectie zonder de computere last van diepe ensembles of complexe variatiele inferentie. Het werk dient als een waarschuwing tegen de automatische aanname dat technieken die classificatie verbeteren, inherent ook de schatting van onzekerheid zullen verbeteren.