A Systematic Comparison of Training Objectives for Out-of-Distribution Detection in Image Classification

Dit artikel presenteert een systematische vergelijking van vier trainingsdoelen voor het detecteren van out-of-distributie in beeldclassificatie en concludeert dat Cross-Entropy Loss over het algemeen de meest consistente prestaties levert, hoewel andere methoden in specifieke scenario's concurrerend kunnen zijn.

De kern

Stel je voor dat je een super slimme robot hebt die foto's van dieren kan herkennen. Hij is getraind met duizenden foto's van honden, katten en paarden. Maar wat gebeurt er als je hem een foto van een auto of een pizza laat zien? Een echte slimme robot zou moeten zeggen: "Hé, dit ken ik niet! Dit is geen dier!"

In de wereld van kunstmatige intelligentie noemen we dit OOD-detectie (Out-of-Distribution). Het is cruciaal voor veiligheid, bijvoorbeeld bij zelfrijdende auto's die niet zomaar een verkeersbord moeten verwarren met een vliegtuig.

De onderzoekers van dit paper (Furkan Genç, Onat Özdemir en Emre Akbaş) hebben zich afgevraagd: Hoe leren we deze robot het beste om deze fouten te maken? Ze hebben gekeken naar vier verschillende manieren om de robot te "trainen" (vier verschillende trainingsdoelen).

Hier is een simpele uitleg van hun onderzoek, met een paar leuke vergelijkingen:

De Vier Trainingsmethoden (De "Leraren")

De onderzoekers hebben vier verschillende "leraren" getest om de robot te leren. Elk heeft een andere aanpak:

1. Cross-Entropy Loss (De Klassieke Leraar):

   • Hoe het werkt: Deze leraar zegt: "Als je een hond ziet, geef dan 100% zekerheid dat het een hond is. Als het een kat is, geef dan 0% zekerheid." Hij focust puur op het juiste antwoord geven.
   • Vergelijking: Het is als een schoolmeester die alleen kijkt of je het juiste antwoord op de toets hebt. Hij is heel goed in het leren van de stof, maar niet altijd specifiek getraind om te zeggen: "Dit is een vraag die niet in het boek staat."

2. Triplet Loss (De Afstandsmeester):

   • Hoe het werkt: Deze leraar leert de robot om op afstanden te letten. Hij zegt: "Houd de hond en de kat ver uit elkaar, maar houd de verschillende honden dicht bij elkaar."
   • Vergelijking: Stel je voor dat je een dansles geeft. Je zegt: "Dansers van hetzelfde gezin moeten hand in hand dansen, maar dansers van andere gezinnen moeten ver uit elkaar staan." Het werkt goed als je maar een paar gezinnen hebt, maar als je 100 verschillende gezinnen hebt, wordt het een chaos om iedereen op de juiste plek te houden.

3. Prototype Loss (De Verzamelaar):

   • Hoe het werkt: Deze leraar maakt voor elke categorie één "perfect voorbeeld" (een prototype). Hij zegt: "Houd alle honden zo dicht mogelijk bij dit ene perfecte hond-voorbeeld."
   • Vergelijking: Het is alsof je een museum hebt met één perfecte schilderij van een hond. Alle andere hondenschilderijen moeten zo dicht mogelijk bij dat ene hangen. Als er iets anders (een auto) binnenkomt, valt het ver weg van dat perfecte hond-voorbeeld.

4. Average Precision Loss (De Rangschikkingmeester):

   • Hoe het werkt: Deze leraar is niet zozeer geïnteresseerd in het exacte percentage, maar in de volgorde. Hij zegt: "Zorg dat de goede antwoorden altijd bovenaan de lijst staan, en de foute antwoorden onderaan."
   • Vergelijking: Het is als een lijstje maken van de beste pizza's. Het maakt niet uit of je pizza een 9 of een 10 is, zolang hij maar boven de "verkeerde" pizza's (zoals een salade) staat.

Wat hebben ze ontdekt? (De Uitslag)

De onderzoekers hebben deze vier methoden getest op verschillende "proefvelden" (datasets) met verschillende moeilijkheidsgraden:

• Eenvoudig: 10 soorten dieren (CIFAR-10).
• Moeilijk: 100 soorten dieren (CIFAR-100).
• Zeer moeilijk: 200 soorten dieren (ImageNet).

Hier zijn de belangrijkste conclusies, vertaald naar alledaags taal:

• De Klassieke Leraar (Cross-Entropy) is de winnaar:
  Opvallend genoeg was de "ouderwetse" methode (Cross-Entropy) vaak de beste. Hij was niet alleen heel goed in het herkennen van de bekende dieren, maar ook heel betrouwbaar in het zeggen: "Dit ken ik niet!" bij vreemde dingen. Hij was de meest stabiele keuze, vooral bij grote en moeilijke verzamelingen.

• De Afstandsmeester (Triplet) heeft het moeilijk:
  Bij de kleine test (10 dieren) ging het goed, maar zodra het aantal dieren groeide (100 of 200), raakte deze methode in de war. Het was te moeilijk om voor elke soort de perfecte afstand te vinden. De robot werd dan minder goed in het herkennen van de bekende dieren én minder goed in het detecteren van vreemde dingen.

• De Verzamelaar (Prototype) en Rangschikkingmeester (AP) zijn sterke nummers 2:
  Deze twee deden het soms zelfs beter dan de Klassieke Leraar bij het herkennen van specifieke vreemde dingen, maar ze waren niet altijd zo betrouwbaar als de Klassieke Leraar in alle situaties. Ze zijn goed, maar je moet ze met zorg kiezen.

De Grote Les

De kernboodschap van dit paper is: Je hoeft niet altijd te zoeken naar de nieuwste, ingewikkelde trucjes.

De standaardmethode (Cross-Entropy) die al decennia wordt gebruikt, is nog steeds een zeer sterke kampioen. Hij is betrouwbaar, werkt goed op grote schaal en is niet zo complex als de andere methoden.

• Voor de eenvoudige taken: Alle methoden werken redelijk.
• Voor de moeilijke, echte wereld: De Klassieke Leraar (Cross-Entropy) is vaak de veiligste en beste keuze.

Conclusie in één zin:
Als je een AI wilt bouwen die veilig is en vreemde dingen kan herkennen, hoef je niet per se een ingewikkelde nieuwe trainingsmethode te verzinnen; de bewezen, klassieke methode werkt vaak nog steeds het beste en meest betrouwbaar.

Technische samenvatting

Probleemstelling

Out-of-Distribution (OOD) detectie is cruciaal voor de veiligheid en betrouwbaarheid van machine learning-systemen in toepassingen zoals autonoom rijden en medische diagnose. Modellen moeten in staat zijn om invoer te herkennen die significant afwijkt van de trainingsdata. Hoewel er veel onderzoek is gedaan naar post-processing technieken en specifieke modelarchitecturen, is de invloed van de trainingsdoelstellingen (training objectives) op het OOD-gedrag nog onderbelicht. Bestaande studies vergelijken vaak zelden standaard supervisie-methoden (zoals Cross-Entropy) systematisch met alternatieven (zoals Triplet Loss of Prototype Loss) onder gecontroleerde omstandigheden.

Methodologie

De auteurs voeren een systematische vergelijking uit van vier veelgebruikte trainingsdoelstellingen voor beeldclassificatie, met als doel hun impact op ID-accuraatheid (In-Distribution) en OOD-detectie te isoleren:

1. Cross-Entropy (CE) Loss: De standaard voor probabilistische classificatie.
2. Triplet Loss: Een methode voor metrisch leren die de afstand tussen ankers, positieve (zelfde klas) en negatieve (andere klas) voorbeelden optimaliseert.
3. Prototype Loss: Een prototype-gebaseerde aanpak (GCPL) die de intra-klasse compactheid rondom een klassenprototype maximaliseert.
4. Average Precision (AP) Loss: Een ranking-gebaseerde doelstelling die de ordening van scores optimaliseert om positieve voorbeelden boven negatieve te plaatsen.

Experimenteel Opzet:

• Datasets: Training op CIFAR-10, CIFAR-100 en ImageNet-200.
• OOD Datasets: Gebruik van het OpenOOD-benchmark (versie 1.5) met gespecificeerde "near-OOD" (semantisch dichtbij) en "far-OOD" (semantisch ver weg) datasets.
• Architectuur: Een vaste backbone (ResNet-18) om variatie door architectuur te elimineren.
• Inferentie: Elke doelstelling gebruikt de meest natuurlijke OOD-score-methode die bij de output past (bijv. Maximum Softmax Probability voor CE, afstand tot embeddings voor Triplet).
• Evaluatiemetrics: ID-accuraatheid, AUROC voor near-OOD en AUROC voor far-OOD. Statistische significantie wordt getoetst met Welch's t-tests over vijf onafhankelijke runs.

Kernbijdragen

1. Systematische Vergelijking: De eerste uitgebreide vergelijking van deze vier specifieke trainingsparadigma's (probabilistisch, metrisch, prototype-gebaseerd en ranking) specifiek gericht op OOD-detectie.
2. Gestandaardiseerde Evaluatie: Het gebruik van het OpenOOD-benchmark met een vaste backbone zorgt voor eerlijke en reproduceerbare vergelijkingen, waarbij de variabele van de trainingsdoelstelling geïsoleerd wordt.
3. Praktische Richtlijnen: Het bieden van inzicht in de trade-offs tussen ID-accuraatheid en OOD-detectie, waardoor onderzoekers en praktici betere keuzes kunnen maken voor hun specifieke scenario's.

Resultaten

De resultaten tonen duidelijke trade-offs afhankelijk van de datasetcomplexiteit:

• Cross-Entropy (CE): Blijft de sterkste en meest consistente baseline. CE presteert uitstekend op ID-accuraatheid en biedt de meest robuuste prestaties voor zowel near- als far-OOD detectie, vooral op grotere datasets zoals ImageNet-200.
• Prototype Loss: Bereikt vaak de hoogste ID-accuraatheid (bijv. op CIFAR-10 en CIFAR-100) door effectieve intra-klasse compactheid. De OOD-prestaties zijn concurrerend, maar overtreffen CE niet consistent.
• Triplet Loss: Toont schaalproblemen. Hoewel het soms sterke far-OOD detectie biedt op kleinere datasets (CIFAR-10), daalt de ID-accuraatheid drastisch naarmate het aantal klassen toeneemt (CIFAR-100, ImageNet-200). De complexiteit van triplet-sampling in diverse ruimtes blijkt een beperkende factor.
• Average Precision (AP) Loss: Presteert goed op ID-accuraatheid en biedt sterke OOD-detectie (vooral far-OOD op CIFAR-10), maar is minder consistent dan CE op complexere datasets (zoals ImageNet-200).

Visuele Analyse (t-SNE/UMAP):
De kwalitatieve visualisaties bevestigen dat far-OOD samples vaak los staan van ID-clusters, terwijl near-OOD samples visueel dichterbij de ID-clusters liggen, wat de detectie moeilijker maakt. Geen enkele methode toonde een overweldigend superieur patroon in de visualisaties dat de kwantitatieve resultaten volledig verklaarde.

Significantie en Conclusie

De studie concludeert dat Cross-Entropy Loss ondanks de populariteit van geavanceerde alternatieven, nog steeds de meest betrouwbare en schaalbare keuze is voor OOD-detectie in beeldclassificatie.

• Trade-offs: Gespecialiseerde doelstellingen (zoals Triplet of Prototype) kunnen voordelen bieden in specifieke settings (bijv. hoge ID-accuraatheid of specifieke OOD-scenario's), maar brengen vaak kosten met zich mee in de vorm van lagere algemene robuustheid of schaalproblemen.
• Aanbeveling: Voor de meeste praktische toepassingen, vooral bij grotere datasets, is Cross-Entropy de voorkeursbaseline. AP Loss kan een goed alternatief zijn als ranking-kwaliteit cruciaal is, maar Triplet Loss wordt afgeraden voor datasets met veel klassen vanwege de schaalingsproblemen.
• Toekomst: De auteurs pleiten voor verdere onderzoek naar hybride doelstellingen en het testen van deze trends onder verschillende backbones en post-hoc scoring-methoden.

Kortom, dit papier biedt een noodzakelijke "reality check" voor het veld: voordat men ingewikkelde, OOD-specifieke loss-functies ontwerpt, is het essentieel om de fundamentele trade-offs van standaard trainingsdoelstellingen te begrijpen.