Technische Samenvatting: Het exploiteren van lokale vlakheid voor efficiënte Out-of-Distribution Detectie

Probleemstelling

Betrouwbare implementatie van machine learning vereist het vermogen om out-of-distribution (OOD) data te detecteren—samples afkomstig uit distributies die disjoint zijn ten opzichte van de trainingsset. Moderne diepe neurale netwerken produceren vaak overmoedige, foutieve voorspellingen op dergelijke inputs. Hoewel post-hoc detectiemethoden (die opereren op getrainde modellen zonder hertraining) aantrekkelijk zijn vanwege hun efficiëntie, kampen bestaande krommingsgebaseerde benaderingen met aanzienlijke beperkingen. Methoden die de kromming van het loss-landschap gebruiken (bijv. via de Laplace-benadering) om de onzekerheid van het model te schatten, zijn computationeel prohibitief voor grote netwerken vanwege de kwadratische schaling van de Hessiaanse matrix. Bovendien leunen deze methoden op impliciete aannames over het verschil in de vlakheid van het landschap tussen in-distribution (ID) en OOD-data, die niet systematisch zijn onderzocht.

Methodologie

1. Empirische Observaties over Krommingsverschillen

De auteurs bieden eerst een systematische empirische analyse van de kromming van het loss-landschap geïnduceerd door ID- en OOD-samples. Met behulp van Hutchinson's methode om Hessiaanse statistieken (de grootste eigenwaarde $\lambda_{max}$ en de spoorwaarde $tr(H)$) te schatten zonder de volledige matrix te construeren, observeren zij:

• ID vs. OOD Kromming: ID-samples vertonen consistent een lagere kromming (kleinere $\lambda_{max}$ en trace) vergeleken met OOD-samples.
• Verschil in Ernst: De krommingskloof wordt groter naarmate de distributieverschuiving ernstiger wordt, bewegend van het nabij-OOD naar het ver-OOD regime.
• Sample-niveau Separabiliteit: De distributie van de per-sample Hessiaanse traces vertoont een duidelijke scheiding, waarbij ID-samples geconcentreerd zijn bij lagere waarden en OOD-samples verschuiven naar hogere waarden met bredere distributies.

2. FOLD: Flatness-Modulated OOD Detection

Gesterkt door de observatie dat ID-samples in vlakkere regio's van het loss-landschap liggen, stellen de auteurs FOLD voor, een lichtgewicht detector die de prohibitieve kosten van krommingsbenadering in de parameterruimte vermijdt.

• Feature Hessian: In plaats van de volledige parameter-Hessiaan te berekenen, transporteert FOLD de kromming in de logit-ruimte terug naar de latente feature-ruimte. Gegeven een netwerk gedecomposeerd in een feature encoder $h(\cdot)$ en een lineaire classifier $g(\cdot)$, wordt de feature-Hessiaan afgeleid via de tweede-orde kettingregel:
  $$\nabla_{\mathbf{h}}^2 \mathcal{L} = (\nabla_{\mathbf{h}} g) (\nabla_{\mathbf{z}}^2 \mathcal{L}) (\nabla_{\mathbf{h}} g)^{\top}$$
  Deze operator projecteert de voorspellende onzekerheid op de door de classifier geïnduceerde feature-manifold, waardoor de geometrische structuren die cruciaal zijn voor OOD-detectie worden gevangen.
• Partiële Feature Normalisatie: Om het probleem aan te pakken waarbij grote feature-magnitudes ervoor zorgen dat de softmax verzadigt (waardoor het loss-landschap afvlakt en de Hessiaan verdwijnt), introduceert FOLD partiële feature-normalisatie:
  $$\tilde{\mathbf{h}} = \frac{\mathbf{h}}{\|\mathbf{h}\|^{\alpha}}, \quad 0 < \alpha \leq 1$$
  De detectiescore wordt gedefinieerd als de trace van de Hessiaan in deze genormaliseerde ruimte: $S_{fold}(\mathbf{x}) = \text{tr}(\nabla_{\tilde{\mathbf{h}}}^2 \mathcal{L})$.
  • Dataset Afhankelijkheid: De optimale $\alpha$ varieert per datasetcomplexiteit. Eenvoudige datasets (bijv. CIFAR) profiteren van bijna volledige normalisatie ($\alpha \approx 1$), terwijl complexe datasets (bijv. ImageNet) mildere onderdrukking vereisen ($\alpha \approx 0.2$) om informatieve magnitude-kenmerken te behouden.

3. AUTOFOLD: Zelf-gesuperviseerde Kalibratie

Om de noodzaak van externe OOD-validatiesets voor het afstemmen van $\alpha$ te elimineren, introduceren de auteurs AUTOFOLD. Dit zelf-gesuperviseerde schema:

• Genereert pseudo-OOD samples door de dominante logit van ID-samples te maskeren (het instellen van de logit van de ware klasse op $-\infty$), wat een scenario met een onbekende klasse simuleert.
• Selecteert automatisch de optimale $\alpha^*$ door de AUROC te maximaliseren tussen de scores van de originele ID-validatiesamples en hun logit-gemaskeerde tegenhangers.
• Werkt volledig tijdens de inferentie met verwaarloosbare overhead, zonder dat er hertraining of externe data nodig is.

Belangrijkste Bijdragen

1. Systematische Krommingsanalyse: De eerste systematische onderzoek die bevestigt dat OOD-inputs een grotere Hessiaanse kromming vertonen dan ID-data, waarbij het verschil toeneemt onder sterkere distributieverschuivingen.
2. Efficiënt Detectiealgoritme (FOLD): Een lichtgewicht methode die gebruikmaakt van de feature-Hessiaan en partiële feature-normalisatie om de ID-OOD separabiliteit te verbeteren zonder de overhead van Bayesiaanse krommingsbenaderingen.
3. Automatische Hyperparameter Afstemming (AUTOFOLD): Een zelf-gesuperviseerde strategie die gebruikmaakt van ID-logit masking om normalisatieparameters te kalibreren zonder externe OOD-data.
4. Theoretische en Empirische Validatie: Theoretische analyse (onder vereenvoudigde binaire classificatie-aannames) ondersteunt de claim dat de verwachte trace van de feature-Hessiaan groter is voor OOD-data. Uitgebreide experimenten valideren deze bevindingen over diverse architecturen en datasets.

Experimentele Resultaten

De auteurs evalueerden FOLD en AUTOFOLD op standaard OOD-benchmarks (CIFAR-10, CIFAR-100, ImageNet-200, ImageNet-1K) tegen een uitgebreide set post-hoc baselines (bijv. MSP, ODIN, ReAct, VIM, KNN).

• Prestaties: FOLD en de varianten presteren consequent beter dan eerdere methoden.
  • FOLD-R (FOLD gecombineerd met de activatiedrempel van ReAct) behaalde de beste gemiddelde prestaties, met een verbetering van de gemiddelde AUROC met 1,63% en een reductie van de FPR95 met 2,30% vergeleken met sterke baselines.
  • AUTOFOLD-varianten behaalden competitieve prestaties ten opzichte van de met een vaste $\alpha$ ingestelde FOLD, wat aantoont dat automatische kalibratie effectief is zonder handmatige afstemming.
• Efficiëntie: FOLD behoudt een computationele efficiëntie die vergelijkbaar is met een standaard forward pass. In tegenstelling tot methoden die een dure setup vereisen (bijv. KNN, MDS) of inferentie (bijv. RMDS), brengt FOLD bijna minimale overhead met zich mee.
• Generalisatie: De methode vertoont een stabiele prestatie over diverse backbone-architecturen (RegNet, DenseNet, WRN, ResNeXt), wat aangeeft dat de geometrische voordelen van krommingsgebaseerde scoring architectuur-agnostisch zijn.
• Ablatie Studies:
  • Normalisatie: Partiële normalisatie bleek superieur aan volledige normalisatie op complexe datasets (ImageNet), waar volledige normalisatie informatieve magnitude-kenmerken weggooide, waardoor de spectrale kloof tussen ID en OOD inklapte.
  • Feature Hessian: Het gebruik van de feature-Hessiaan leverde een hogere AUROC op dan het gebruik van de logit-Hessiaan alleen, vooral op complexe domeinen, wat de waarde bevestigt van het opnemen van de door de classifier geïnduceerde geometrie.

Betekenis en Claims

Het artikel beweert een geprincieerde en praktische oplossing te bieden voor robuuste real-world OOD-detectie. Door gebruik te maken van de structurele eigenschap dat ID-data in vlakkere loss-regio's ligt dan OOD-data, overbrugt FOLD de kloof tussen de theoretische belofte van krommingsgebaseerde onzekerheidsschatting en de praktische beperkingen van computationele efficiëntie.

De auteurs benadrukken dat hun aanpak:

• De "prohibitieve computationele overhead" vermijdt die typerend is voor Bayesiaanse krommingsbenaderingen.
• De afhankelijkheid van externe OOD-validatiesets voor hyperparameter afstemming wegneemt via AUTOFOLD.
• Een "plug-and-play" component biedt (partiële normalisatie) die bestaande detectiekaders versterkt.
• Een theoretische basis (Theorem 1) biedt die de trace van de feature-Hessiaan koppelt aan distributieverschuivingen, wat een intuïtieve verklaring biedt voor het geobserveerde empirische succes.

Het werk concludeert dat FOLD een gunstige balans bereikt tussen detectie-accuratesse en computationele efficiëntie, waardoor het geschikt is voor implementatie in scenario's waarin OOD-data niet beschikbaar is voor validatie en real-time inferentie vereist is.