Technische Samenvatting: GEODE - Hoekadaptieve OOD-detectie met Universele Scorer-compatibiliteit

1. Probleemstelling

Out-of-Distribution (OOD) detectie heeft tot doel invoer te markeren waarvoor een ingezet classifier niet is getraind. Huidige benaderingen staan voor een fundamentele spanning tussen post-hoc scoring (toegepast op bevroren modellen) en trainingsgebaseerde methoden (die kenmerken of logits herschikken).

• De Trade-off: Trainingsmethoden die logit-gebaseerde scorers verbeteren (bijv. MSP, Energy) vertragen vaak kenmerkruimte-scorers (bijv. KNN), en vice versa. Geen enkele bestaande methode bereikt sterke detectie over alle standaard scorers heen en tegelijkertijd in zowel nabije-OOD als verre-OOD regimes.
• Beperkingen van Outlier Exposure (OE): Hoewel OE een dominante trainingsgebaseerde aanpak is die gebruikmaakt van echte hulp-OOD-gegevens, lijdt het aan twee problemen:
  1. Scorer-afhankelijkheid: Het vertoont trade-offs waarbij het sterk is op sommige scorers maar zwak op andere.
  2. Gegevensafhankelijkheid: Het vereist verzorgde hulpgegevens die moeten overeenkomen met de ware OOD-verdeling op het testmoment, een eis die arbeidsintensief en fragiel is.
• De Null-ruimte Falen: Recente methoden zoals PFS proberen OOD-kenmerken de null-ruimte van de classifier in te duwen om logit-scores te verhogen. Dit vernietigt echter catastrofisch de geometrie van de kenmerkruimte, waardoor KNN-gebaseerde detectie faalt (presteert slechter dan willekeurig).

De kernvraag die wordt behandeld is: Welke geometrische eigenschap maakt OE effectief, en kan dit synthetisch worden gerepliceerd zonder echte OOD-gegevens om universele scorer-compatibiliteit te bereiken?

2. Methodologie: GEODE

De auteurs stellen GEODE (GEOmetry-preserving DEtection) voor, een trainingsgebaseerde methode die OOD-signalen synthetiseert om de beslissingsgrens te kalibreren terwijl de kenmerkgeometrie behouden blijft.

2.1 Geometrische Analyse van OE

Door middel van geometrische analyse in de voorlaatste laag van een getrainde backbone (ResNet-18), ontdekten de auteurs dat:

• OE is Grenskalibratie, geen Dekking: OE-kenmerken zijn geometrisch niet te onderscheiden van echte nabije-OOD-gegevens. Specifiek komen ze overeen in normverhouding, maximale cosinus-similariteit met klassenmiddelpunten, en subruimte-projectie.
• Het Kwartiel-effect: Het "grens-aangrenzende kwartiel" van OE-gegevens (stalen met hoge cosinus-similariteit tot ID-klassenmiddelpunten, $>0,85$) drijft bijna alle prestatiewinst van OE aan. Voorbeelden ver van de grens dragen weinig bij.
• Conclusie: Het effectieve mechanisme is het kalibreren van het grensgebied, niet het afdekken van de volledige OOD-ruimte.

2.2 Het GEODE-mechanisme

GEODE repliceert deze kalibratie synthetisch met behulp van kenmerk-shuffling (permuteren van dimensies over een batch) en een hoekadaptief normverlies.

1. Synthetische OOD-generatie: In plaats van hulpgegevens te gebruiken, creëert GEODE synthetische OOD-kenmerken ($h_{ood}$) door onafhankelijk kenmerkdimensies te permuteren over een batch van ID-kenmerken. Dit breekt inter-dimensionale correlaties terwijl marginale statistieken behouden blijven.
2. Hoekadaptief Doel: De kerninnovatie is een doelnorm $t$ die per steekproef schaalt op basis van de cosinus-similariteit ($s$) van het synthetische kenmerk tot het dichtstbijzijnde klassenmiddelpunt ($\mu_c$):
   $$s = \max_c \cos(h_{ood}, \mu_c)$$
   $$t = s^2 \cdot \alpha \cdot r_{id}$$
   Waar $r_{id}$ de gemiddelde ID-kenmerknorm is en $\alpha$ een relaxatieparameter is.
   • Nabij Klassenmiddelpunten ($s \approx 1$): De doelnorm is groot ($t \approx \alpha \cdot r_{id}$). Dit behoudt de lokale kenmerkgeometrie die nodig is voor afstand-gebaseerde scorers zoals KNN.
   • Ver van Klassen ($s \approx 0$): De doelnorm is klein ($t \approx 0$). Dit duwt kenmerken naar de oorsprong, waardoor de scheiding voor logit-gebaseerde scorers zoals MSP en Energy scherper wordt.
3. Contrastief ID-marge: Om de marge van beide kanten te verbreden, moedigt een contrastieve term ID-kenmerken aan om normen iets groter dan $r_{id}$ te hebben (ID-kenmerken worden alleen bestraft wanneer $\|h\| < r_{id}$).
4. Verliesfunctie: Het totale verlies combineert Cross-Entropy, de adaptieve OOD-normstraf en de contrastieve ID-marge.

2.3 Theoretische Rechtvaardiging

Het ontwerp is gebaseerd op de Neural Collapse (NC) theorie, waarbij klassenmiddelpunten convergeren naar een Simplex Equiangular Tight Frame (ETF).

• Stelling 1: Geschudde kenmerken concentreren zich bij het globale gemiddelde, wat de noodzaak rechtvaardigt van adaptieve targeting op basis van individuele steekproefhoeken.
• Stelling 2 & 3: De adaptieve target behoudt lokale paarwijze afstanden nabij klassengrenzen (cruciaal voor KNN) beter dan een uniforme normstraf.
• Stelling 4: Het duwen van OOD-kenmerken in de null-ruimte (zoals PFS doet) elimineert klassen-voorwaardelijke variatie in afstand, waardoor KNN faalt. GEODE vermijdt dit door OOD-kenmerken binnen de classifier-subruimte te houden.

3. Belangrijkste Bijdragen

1. Geometrische Kadering: Het artikel biedt de eerste geometrische karakterisering van waarom OE werkt (grenskalibratie) en diagnosticeert het catastrofale falen van null-ruimte methoden (PFS) op KNN.
2. Methodisch Ontwerp: GEODE introduceert een hoekadaptief normverlies dat OOD-signalen synthetiseert zonder hulpgegevens, en de geometrie behoudt die nodig is voor zowel logit-gebaseerde als kenmerkruimte-scorers.
3. Empirische Universaliteit: GEODE bereikt concurrerende AUROC over alle zeven standaard scorers (MSP, Energy, ODIN, ReAct, Scale, ASH, KNN) op CIFAR-10 en CIFAR-100 zonder catastrofale uitval op enige enkele scorer.
4. Composabiliteit: GEODE is orthogonaal ten opzichte van OE. Het combineren ervan levert state-of-the-art resultaten op (bijv. 95,0 MSP / 94,8 KNN op CIFAR-10), wat OE alleen op elke scorer verslaat.

4. Experimentele Resultaten

Geëvalueerd op OpenOOD v1.5 benchmarks (CIFAR-10, CIFAR-100, ImageNet-200) met ResNet-18 en WRN-28-10:

• CIFAR-10 (Nabije-OOD): GEODE bereikt 92,30 AUROC (EBO) en varieert van 89,0 tot 92,3 over alle zeven scorers. Het vermijdt de "catastrofale uitval" die bij andere methoden wordt gezien (bijv. PFS daalt KNN naar 14,38; GEODE handhaaft 89,04, een bewuste trade-off van 1,6 punten voor enorme logit-winsten).
• CIFAR-100: GEODE presteert beter dan standaard CE bij overeenkomende epoch-aantallen en verslaat OE op alle drie scorers (MSP, Energy, KNN) wanneer gecombineerd.
• ImageNet-200: GEODE vertoont geen catastrofale uitval over scorers (bereik 77,93–83,48), terwijl LogitNorm catastrofale uitval vertoont op Energy (29,67) en ReAct (26,53).
• Trainingsdynamiek: GEODE presteert beter dan standaard CE naarmate de training vordert (tot 400 epochs), met voordeel van Neural Collapse convergentie. Daarentegen degradeert LogitNorm bij langere training omdat het interfereert met NC-convergentie.

5. Betekenis en Claims

Het artikel claimt dat GEODE de langdurige trade-off tussen logit-gebaseerde en kenmerkruimte OOD-detectie oplost. Door te erkennen dat effectieve OOD-detectie berust op grenskalibratie in plaats van volledige OOD-dekking, synthetiseert GEODE een trainingssein dat de geometrische locus van de beslissingsgrens respecteert.

• Universele Compatibiliteit: In tegenstelling tot eerdere methoden die optimaliseren voor een specifieke scorerfamilie ten koste van anderen, werkt GEODE over alle standaard scorers zonder catastrofale uitval.
• Gegevens-efficiëntie: Het bereikt deze resultaten zonder verzorgde hulp-OOD-datasets te vereisen, en vertrouwt in plaats daarvan op synthetische kenmerk-shuffling.
• Theoretische Alignering: De methode is ontworpen om compatibel te zijn met de natuurlijke convergentie van Neural Collapse, in tegenstelling tot logit-modificerende methoden die deze convergentie verstoren.

De auteurs merken bescheiden beperkingen op: het contrastieve marge-component generaliseert niet goed naar CIFAR-100 (vanwege de fragiele 100-klasse ETF-geometrie), en GEODE verbetert niet ten opzichte van standaard ViT-B/16 op kleine datasets (waarschijnlijk vanwege LayerNorm dat normvariaties uitwist en het model het NC-regime niet bereikt). Toekomstig werk wordt voorgesteld voor Transformer-vriendelijke varianten en benchmarks op grotere schaal.