Technische Samenvatting: Voorbij Speelgoed-Benchmarks – Een Systematische Evaluatie van OOD-Detectiemethoden voor Classificatie van Plantenziekten

Probleemstelling

Diepe leersystemen voor computer vision hebben opmerkelijke prestaties geleverd op benchmarktaken, maar hun betrouwbare implementatie in real-world scenario's wordt belemmerd door de "gesloten-wereld"-aanname. Standaard classificatiepijplijnen, geoptimaliseerd via softmax-gebaseerde doelstellingen, dwingen probabiliteitsmassa over bekende klassen, wat leidt tot dat modellen hoge zekerheid toekennen aan niet-gerelateerde invoer (Out-of-Distribution of OOD-gegevens). Hoewel er uitgebreide literatuur bestaat over OOD-detectie, wordt het merendeel van de methoden geëvalueerd op kleine, visueel homogene datasets (bijv. CIFAR-10/100) die de complexiteit van real-world implementatie niet vastleggen. Specifiek missen deze benchmarks vaak de semantische variatie, covariatenverschuivingen en "near-OOD"-gevallen (bijv. visueel vergelijkbare maar onderscheiden categorieën) die gebruikelijk zijn in domeinspecifieke toepassingen zoals landbouw. Dit artikel adresseert de kloof tussen theoretische OOD-detectie en praktische toepassing door methoden te evalueren op de Plant Pathology 2021-dataset, een fijnkorrelige taak die classificatie van appelbladziektes omvat, waarbij natuurlijke distributieveranderingen (bijv. bloemen, niet-plantobjecten, occlusies) veelvoorkomend zijn.

Methodologie

De studie voert een systematische evaluatie uit van zes OOD-detectiemethoden, gaande van eenvoudige post-hoc scoring tot complexe beperkte optimalisatie, onder variërende aannames betreffende toegang tot OOD-gegevens tijdens training. De experimenten maken gebruik van een ResNet-18-ruggengraat die is fijngefineerd op een subset van 5 klassen appelziektes (15.675 afbeeldingen).

Experimentele Opstelling

• In-Distribution (ID) Data: Vijf enkel-label ziekteklassen (Schurft, Gezond, Frog Eye Leaf Spot, Roest, Meeldauw).
• Out-of-Distribution (OOD) Data: Drie externe datasets met variërende semantische afstand:
  • Stanford Cars: Far-OOD (geen visuele overlap).
  • Describable Textures Dataset (DTD): Far-OOD (structureel verschil).
  • Flowers102: Near-OOD (visueel vergelijkbaar met bladeren, vertegenwoordigt een kritieke faalmodus).
• Hulpdata: ImageNet-O wordt gebruikt voor methoden die gelabelde OOD-gegevens vereisen tijdens training. Ongelabelde "wild"-data (een mix van ID en OOD) wordt gebruikt voor methoden voor beperkte optimalisatie.

Geëvalueerde Methoden

1. E1: Softmax Baseline: Standaard cross-entropy training. De OOD-score is de negatieve maximale softmax-kans.
2. E2: Onafhankelijke Binaire Classificatie: Vervangt de softmax-kop door vijf onafhankelijke sigmoid-uitgangen getraind met Binary Cross-Entropy (BCE) om de nul-som competitie van softmax te verwijderen.
3. E3: Expliciete OOD-klasse: Voegt een zesde uitvoerklasse toe voor OOD, getraind op gelabelde ID- en OOD-gegevens. Dient als een benaderende bovengrens.
4. E4: Outlier Exposure (OE): Fijnt de baseline-classificator met een hulpverlies dat uniforme voorspellingen op gelabelde OOD-gegevens (ImageNet-O) aanmoedigt.
5. E5: Energy-Based OOD-detectie:
   • E5a (Post-Hoc): Gebruikt de vrije energie van logits ($E(x) = -T \log \sum e^{f_c(x)/T}$) als scoresfunctie zonder hertraining.
   • E5b (Energy Fine-Tuning): Fijnt het model met een op marge gebaseerde energy-shaping loss om ID- en OOD-energieverdelingen expliciet te scheiden.
6. E6: WOODS: Een framework voor beperkte optimalisatie dat traint op ongelabelde "wild"-data (onbekende mix van ID en OOD) zonder toegang aan te nemen tot schone gelabelde OOD-gegevens. Het minimaliseert het percentage OOD-steekproeven dat als ID wordt geclassificeerd, onderworpen aan beperkingen op ID-false alarmpercentages en classificatie-accuraatheid.

Belangrijkste Resultaten

De evaluatie onthult verschillende kritieke inzichten betreffende OOD-detectie in real-world agrarische omgevingen:

• Prestatiehiërarchie: E5b (Energy Fine-Tuning) bleek de sterkste praktische methode, met de hoogste AUROC en het laagste FPR95 over alle OOD-sets (inclusief de uitdagende Flowers102 near-OOD-set), zonder dat gelabelde OOD-gegevens in het initiële trainingsstadium vereist waren.
• Verbeteringen van de Baseline:
  • E2 (Onafhankelijke BCE) presteerde aanzienlijk beter dan de Softmax-baseline (E1), ondanks het gebruik van geen OOD-gegevens, wat suggereert dat het verwijderen van softmax-normalisatie een krachtige, laagkostenverbetering is.
  • E5a (Post-Hoc Energy) bood directe winst ten opzichte van E1, wat bevestigt dat de energy-score zelf een superieure metriek is dan softmax-kans.
• Near-OOD-uitdaging: In tegenstelling tot intuïtie waren "Far-OOD"-datasets (Stanford Cars) niet consequent makkelijker te detecteren dan "Near-OOD"-datasets (Flowers102) over alle methoden heen. Dit benadrukt dat perceptuele gelijkenis niet altijd correleert met de moeilijkheid van kenmerkrepresentatie.
• Embeddingruimte-analyse: Kwalitatieve analyse van de embeddingruimte (via cosinusafstand tot 5-nebuurste buren) toonde aan dat E5b de kenmerkruimte significant herschikt, waardoor de scheiding tussen ID- en OOD-verdelingen toeneemt (de Wasserstein-afstand steeg van 0,02 bij E1 naar 0,07 bij E5b). Dit suggereert dat winsten voortkomen uit zowel een beter gekalibreerde scoresfunctie als een georganiseerde embeddingruimte.
• Stabiliteit van In-Distribution: Over alle methoden heen bleef de gebalanceerde nauwkeurigheid op de ID-testset stabiel (variërend van 0,916–0,944), wat aangeeft dat OOD-bewuste training de taakprestaties niet noodzakelijk verslechtert.

Praktische Uitdagingen en Instabiliteiten

Het artikel documenteert aanzienlijke trainingsinstabiliteiten bij het schalen van methoden voor beperkte optimalisatie naar datasets van gemiddelde grootte (ongeveer 10k afbeeldingen), bevindingen die grotendeels ontbreken in bestaande literatuur:

• Gevoeligheid voor Leertempo: Voor E4, E5b en E6 is het leertempo de meest kritieke hyperparameter. Hoge leertempo's zorgen ervoor dat het OOD-verlies te vroeg domineert, wat leidt tot het instorten van de classificatieprestaties.
• WOODS-instabiliteit: De Augmented Lagrangian Method (ALM) gebruikt in WOODS bleek zeer gevoelig. Initiële pogingen met standaard hyperparameters veroorzaakten dat straffengewichten onbeperkt groeiden, wat leidde tot een daling van 20% in validatienauwkeurigheid. Stabilisatie vereiste het verlagen van het dual-leertempo, het versoepelen van constraint-toleranties en het introduceren van een harde bovengrens voor straffengewichten – een wijziging die niet aanwezig was in de oorspronkelijke WOODS-formulering.

Betekenis en Claims

De auteurs claimen dat geprincipieerde OOD-detectie haalbaar is op real-world, domeinspecifieke data, maar dat standaard benchmark-evaluaties vaak de praktische uitdagingen die ontstaan bij implementatie niet vastleggen.

• Voorbij Benchmarks: De studie toont aan dat methoden die goed presteren op kleine, homogene benchmarks niet direct vertaalbaar zijn naar complexe agrarische omgevingen, met name wat betreft near-OOD-detectie en trainingsstabiliteit.
• Praktische Leefbaarheid: Energy-based fine-tuning (E5b) wordt gepresenteerd als een robuuste, praktische oplossing die hoge detectieprestaties in evenwicht brengt met de operationele beperking dat geen gelabelde OOD-gegevens tijdens initiële training vereist zijn.
• Implementatiewerkelijkheid: Het artikel benadrukt dat theoretische frameworks (zoals WOODS) zorgvuldige, datasetspecifieke engineering vereisen (bijv. hyperparameter tuning, penalty clamping) om stabiel te functioneren op datasets van gemiddelde grootte, een nuance die vaak over het hoofd wordt gezien in literatuur gericht op grote schaal of synthetische benchmarks.

Het werk dient als referentie voor praktici die OOD-detectie willen implementeren voorbij standaard benchmarks, met de nadruk dat hoewel OOD-bewuste training haalbaar is, het strikte aandacht vereist voor trainingsdynamiek en hyperparameterstabiliteit in real-world contexten.