A Systematic Comparison of Training Objectives for Out-of-Distribution Detection in Image Classification

Diese Studie bietet einen systematischen Vergleich verschiedener Trainingsziele für die Erkennung von Out-of-Distribution-Daten in der Bildklassifizierung und stellt fest, dass die Kreuzentropie-Verlustfunktion im Vergleich zu Prototyp-, Triplet- und Average-Precision-Verlusten die konsistenteste Gesamtleistung bei der Erkennung sowohl naher als auch entfernter OOD-Daten liefert.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen sehr klugen Koch, den wir „KI-Koch" nennen. Dieser Koch wurde jahrelang nur mit Rezepten für Pizza trainiert. Er kann Pizza perfekt machen. Aber was passiert, wenn jemand ihm plötzlich ein Sushi oder einen Hamburger vorsetzt?

Ein normaler Koch würde vielleicht verwirrt sein und sagen: „Das ist keine Pizza!" Aber ein einfacher KI-Koch würde versuchen, das Sushi trotzdem als die „beste Pizza aller Zeiten" zu verkaufen, weil er nichts anderes kennt. Das ist gefährlich, besonders wenn es um Dinge wie autonomes Fahren oder medizinische Diagnosen geht. Hier muss der Koch sofort schreien: „Stopp! Das ist keine Pizza! Das ist etwas Fremdes!"

Genau darum geht es in diesem wissenschaftlichen Papier. Die Forscher haben untersucht, wie man diesen KI-Koch am besten trainiert, damit er nicht nur Pizza erkennt, sondern auch sofort merkt, wenn ihm ein Sushi (also „Out-of-Distribution" oder OOD-Daten) vorgesetzt wird.

Das große Experiment: Vier verschiedene Trainingsmethoden

Die Forscher haben vier verschiedene „Trainingsbücher" (Verlustfunktionen) getestet, um den Koch zu unterrichten. Man kann sich diese wie vier verschiedene Lehrmethoden vorstellen:

1. Der Klassiker (Cross-Entropy Loss):

   • Die Analogie: Der Lehrer sagt: „Wenn du Pizza siehst, sag 'Pizza'. Wenn du Burger siehst, sag 'Burger'." Er belohnt den Schüler nur, wenn er die richtige Kategorie nennt.
   • Das Ergebnis: Dieser Koch ist sehr gut darin, Pizza zu erkennen (hohe Genauigkeit). Aber er ist auch überraschend gut darin, Fremdes zu erkennen. Er ist der zuverlässige Allrounder.

2. Der Distanz-Messer (Triplet Loss):

   • Die Analogie: Der Lehrer sagt: „Nimm eine Pizza (Anker). Nimm eine andere Pizza (Positiv). Nimm einen Burger (Negativ). Du musst die zwei Pizzen so nah wie möglich zusammenrücken und den Burger so weit wie möglich wegdrücken."
   • Das Ergebnis: Bei wenigen Kategorien (wie nur 10 Bildarten) funktioniert das super. Aber wenn der Koch 100 oder 200 verschiedene Dinge lernen muss, wird es chaotisch. Die „Abstandsregeln" werden zu kompliziert, und der Koch verliert den Überblick. Er wird schlecht darin, echte Pizzen zu erkennen und auch schlecht darin, Fremdes zu finden.

3. Der Prototypen-Sammler (Prototype Loss):

   • Die Analogie: Der Lehrer sagt: „Für jede Kategorie gibt es ein 'Idealbild'. Eine perfekte Pizza, ein perfekter Burger. Du musst lernen, wie nah dein Bild an diesem Idealbild ist."
   • Das Ergebnis: Dieser Koch wird extrem gut darin, die verschiedenen Pizzen zu unterscheiden (sehr hohe Genauigkeit). Er ist sehr ordentlich. Aber beim Erkennen von völlig Fremdem ist er nicht ganz so stark wie der Klassiker.

4. Der Rangliste-Experte (Average Precision Loss):

   • Die Analogie: Der Lehrer sagt: „Es geht nicht darum, ob du 'Pizza' sagst, sondern darum, ob du Pizza höher bewertest als alles andere. Sortiere alles nach Wichtigkeit!"
   • Das Ergebnis: Dieser Koch ist sehr gut darin, Dinge zu sortieren und Fremdes zu finden (sehr gute OOD-Detektion), besonders bei großen Datensätzen. Er ist ein starker Konkurrent, aber manchmal etwas weniger präzise beim eigentlichen Klassifizieren als der Klassiker.

Was haben die Forscher herausgefunden?

Die Forscher haben den Koch an drei verschiedenen „Küchen" getestet: einer kleinen (CIFAR-10), einer mittleren (CIFAR-100) und einer riesigen (ImageNet-200).

Hier ist die einfache Zusammenfassung der Ergebnisse:

• Der Klassiker (Cross-Entropy) gewinnt oft: Überraschenderweise ist die einfachste Methode, die wir schon seit Jahren nutzen, immer noch die beste oder zumindest gleichauf mit den anderen. Sie ist stabil, funktioniert überall und macht den Job zuverlässig.
• Spezialisten haben Schwächen: Die komplexeren Methoden (wie der Distanz-Messer) scheitern oft, wenn die Anzahl der Dinge, die gelernt werden müssen, zu groß wird. Sie sind wie ein Rennwagen, der auf der Rennstrecke toll ist, aber im Stadtverkehr nicht funktioniert.
• Der Rangliste-Experte ist stark: Die Methode, die sich auf das Sortieren konzentriert, ist sehr gut darin, Fremdes zu erkennen, ohne die Qualität der Pizza-Erkennung zu verlieren.
• Je schwieriger, desto wichtiger ist der Klassiker: Bei den riesigen Datensätzen (wie ImageNet) war der einfache Klassiker der Gewinner. Die komplexeren Methoden konnten nicht mithalten.

Die große Erkenntnis

Stellen Sie sich vor, Sie bauen ein Sicherheitsystem für ein Krankenhaus. Sie wollen nicht nur wissen, ob ein Röntgenbild eine Lunge zeigt, sondern auch, ob das Bild vielleicht von einem anderen Scanner stammt oder gar nicht zum Patienten gehört.

Die Botschaft dieses Papiers ist: Versuchen Sie nicht immer, das Rad neu zu erfinden.

Oft denken wir, wir brauchen eine superkomplexe, spezielle Trainingsmethode, um KI sicherer zu machen. Aber die Forschung zeigt, dass die bewährte, einfache Methode (Cross-Entropy) oft genauso gut oder sogar besser funktioniert als die neuen, komplizierten Tricks. Wenn Sie eine KI bauen wollen, die sicher ist und auch Fremdes erkennt, ist der einfache Klassiker oft der beste Startpunkt. Die anderen Methoden sind gut, aber sie haben ihre Tücken, besonders wenn die Aufgabe sehr groß und komplex wird.

Kurz gesagt: Der einfache, alte Kochmeister ist oft derjenige, der am besten weiß, wann etwas nicht in seine Küche gehört.

Technische Zusammenfassung

1. Problemstellung

Out-of-Distribution (OOD) Detection ist eine kritische Herausforderung für den sicheren Einsatz von Machine-Learning-Modellen in realen Szenarien (z. B. autonomes Fahren, medizinische Diagnostik). Modelle müssen in der Lage sein, Eingabedaten zu erkennen, die nicht der Trainingsverteilung entsprechen, um unvorhersehbares Verhalten zu vermeiden.

Während viele Ansätze sich auf Nachbearbeitungstechniken (Post-Processing) oder spezielle Architekturen konzentrieren, bleibt der Einfluss des Trainingsziels (Training Objective) auf das OOD-Verhalten vergleichsweise wenig erforscht. Die Autoren stellen die Frage, ob alternative Trainingsziele gegenüber dem Standard (Cross-Entropy Loss) Vorteile für die OOD-Detektion bieten oder ob sie Kompromisse bei der In-Distribution (ID) Genauigkeit erfordern.

2. Methodik

Die Studie führt einen systematischen Vergleich unter standardisierten Bedingungen durch, um den isolierten Effekt des Trainingsziels zu messen.

• Verglichene Trainingsziele:

  1. Cross-Entropy Loss (CE): Der Standard für probabilistische Klassifikation.
  2. Triplet Loss: Ein metrikbasiertes Lernziel (aus FaceNet), das Abstände zwischen Anker-, Positiv- und Negativ-Beispielen optimiert.
  3. Prototype Loss: Ein prototypenbasiertes Lernziel (basierend auf GCPL), das intra-klassen Komprimierung um gelernte Klassenprototypen fördert.
  4. Average Precision (AP) Loss: Ein ranking-basiertes Ziel, das die Reihenfolge der Scores optimiert, um positive Beispiele höher zu bewerten als negative.

• Experimentelles Setup:

  • Backbone: ResNet-18 (fixiert für alle Experimente).
  • Datensätze (In-Distribution): CIFAR-10, CIFAR-100, ImageNet-200.
  • OOD-Datensätze: Verwendung des OpenOOD Benchmark (v1.5), der Near-OOD (semantisch ähnlich, z. B. CIFAR-100 für CIFAR-10) und Far-OOD (stark unterschiedlich, z. B. MNIST, SVHN, Texturen) umfasst.
  • Inferenz-Strategien: Jedes Ziel wird mit seiner natürlichsten OOD-Score-Methode kombiniert:
    • CE & Prototype: Maximum Softmax Probability (MSP) oder Entropie.
    • Triplet: Minimale Distanz zu Trainings-Embeddings (Deep Nearest Neighbor).
    • AP: Predictive Entropy basierend auf Softmax-Scores.
  • Metriken: ID-Genauigkeit, Near-OOD AUROC und Far-OOD AUROC.

3. Wichtige Beiträge

• Systematischer Vergleich: Die Arbeit bietet den ersten umfassenden Vergleich dieser vier weit verbreiteten überwachten Paradigmen (probabilistisch, metrisch, prototypenbasiert, ranking-basiert) speziell für OOD-Detektion.
• Standardisierung: Durch die Nutzung des OpenOOD-Benchmarks und eines fixierten Backbones werden Verzerrungen durch Architekturunterschiede oder uneinheitliche Evaluierungsprotokolle eliminiert.
• Analyse von Trade-offs: Die Studie quantifiziert die Zielkonflikte zwischen ID-Genauigkeit und der Fähigkeit, Near- und Far-OOD-Daten zu erkennen.

4. Ergebnisse

Die Ergebnisse variieren je nach Datensatz und Komplexität der Klassenanzahl:

• CIFAR-10 (Wenige Klassen):

  • ID-Genauigkeit: Prototype Loss und Cross-Entropy erreichen die besten Werte (ca. 95 %).
  • OOD-Detektion: Triplet Loss erzielt das beste Near-OOD-Ergebnis, AP Loss das beste Far-OOD-Ergebnis. Cross-Entropy bleibt jedoch sehr wettbewerbsfähig.
  • Trade-off: Triplet Loss hat die schlechteste ID-Genauigkeit, obwohl es bei OOD gut abschneidet.

• CIFAR-100 (Mehr Klassen):

  • Cross-Entropy zeigt hier die beste Balance mit der höchsten Near-OOD AUROC (80,94 %) und wettbewerbsfähiger Far-OOD Leistung.
  • Prototype Loss erreicht die höchste ID-Genauigkeit (78,18 %), aber schwächere OOD-Detektion als CE.
  • Triplet Loss leidet unter der höheren Klassenanzahl (ID-Genauigkeit sinkt auf 69 %), was auf Schwierigkeiten beim Sampling informativer Triplets hindeutet.

• ImageNet-200 (Großskalig):

  • Cross-Entropy dominiert klar: Es erreicht die beste OOD-Detektion (83,54 % Near, 91,16 % Far) und fast die gleiche ID-Genauigkeit wie AP Loss.
  • Triplet Loss scheitert hier deutlich (ID-Genauigkeit ~68 %), was die mangelnde Skalierbarkeit metrischer Lernansätze bei großen, diversen Klassenbeständen unterstreicht.
  • AP Loss und Prototype Loss sind bei der ID-Genauigkeit stark, übertreffen Cross-Entropy jedoch nicht bei der OOD-Detektion.

• Qualitative Analyse (t-SNE):

  • Visualisierungen zeigen, dass Far-OOD-Daten oft in Bereichen liegen, die von den ID-Clustern getrennt sind.
  • Near-OOD-Daten liegen näher an den ID-Clustern, was die Unterscheidung erschwert (was sich in niedrigeren Near-OOD AUROC-Werten widerspiegelt).
  • Cross-Entropy bildet eine robuste Struktur ab, während Triplet-Loss-Embeddings bei komplexen Datensätzen weniger gut separiert sind.

5. Bedeutung und Fazit

Die Studie liefert wichtige Erkenntnisse für Forscher und Praktiker:

1. Cross-Entropy als robuster Standard: Trotz der Popularität alternativer Loss-Funktionen bleibt Cross-Entropy Loss der stärkste und zuverlässigste Baseline für OOD-Detektion, insbesondere bei skalierbaren, komplexen Datensätzen.
2. Skalierbarkeit von Metrik-Lernen: Triplet Loss und ähnliche metrische Ansätze zeigen Skalierungsprobleme, wenn die Anzahl der Klassen steigt (Schwierigkeiten beim Tripletsampling, schlechtere ID-Genauigkeit).
3. Rolle von Prototype und AP Loss: Diese Ansätze können in spezifischen Szenarien (z. B. bei moderater Klassenanzahl) Vorteile bieten, insbesondere für die ID-Klassifikation (Prototype) oder das Ranking (AP), übertreffen Cross-Entropy aber nicht konsistent in der OOD-Detektion.
4. Praktische Empfehlung: Für Anwendungen, die sowohl hohe Klassifikationsgenauigkeit als auch robuste OOD-Erkennung erfordern, ist Cross-Entropy Loss oft die beste Wahl. Spezialisierte Loss-Funktionen sollten nur eingesetzt werden, wenn spezifische Anforderungen (z. B. Few-Shot-Learning) bestehen und die Trade-offs akzeptiert werden.

Zusammenfassend klärt die Arbeit empirisches Verhalten gängiger Trainingsziele auf und warnt davor, automatisch von komplexeren Loss-Funktionen eine bessere OOD-Leistung zu erwarten, ohne die Nachteile in der Skalierbarkeit und ID-Genauigkeit zu berücksichtigen.