Enhancing Out-of-Distribution Detection with Extended Logit Normalization

Die Arbeit stellt ELogitNorm vor, eine hyperparameterfreie Erweiterung von LogitNorm, die durch einen feature-distanzbewussten Verlustterm die Feature-Kollaps-Problematik löst und gleichzeitig die Out-of-Distribution-Erkennung sowie die Kalibrierung von In-Distribution-Konfidenzen verbessert, ohne die Klassifikationsgenauigkeit zu beeinträchtigen.

Das Wesentliche

Stell dir vor, du hast einen sehr klugen, aber etwas naiven Schüler namens KI-Modell. Dieser Schüler wurde jahrelang nur mit einem bestimmten Lehrbuch unterrichtet, das nur Bilder von Hunden, Katzen und Autos zeigt (das nennt man „In-Distribution" oder ID).

Wenn du dem Schüler jetzt ein Bild von einer Banane oder einem Alien zeigst (das nennt man „Out-of-Distribution" oder OOD), passiert oft etwas Schlimmes: Der Schüler ist sich zu 100 % sicher, dass es ein Hund ist, nur weil er noch nie eine Banane gesehen hat. Er ist übermütig und macht Fehler, ohne zu zögern.

Das Ziel der Forscher in diesem Papier ist es, diesen Schüler so zu trainieren, dass er nicht nur Hunde und Katzen erkennt, sondern auch weiß, wenn er etwas nicht kennt.

Hier ist die einfache Erklärung ihrer Lösung, ELogitNorm, mit ein paar kreativen Vergleichen:

1. Das Problem: Der „Zusammengefallene" Schüler

Die Forscher haben bemerkt, dass eine frühere Methode (LogitNorm), die versucht hat, den Schüler bescheidener zu machen, ein neues Problem verursacht hat.

• Die Analogie: Stell dir vor, der Schüler lernt, indem er alle Antworten auf einen winzigen, winzigen Punkt in seinem Gehirn drückt. Er lernt zwar, die Antworten zu geben, aber sein „Wissensraum" wird flach und leer.
• Der Fachbegriff: Das nennt man Feature Collapse (Merkmalszusammenbruch). Der Schüler verliert die Nuancen. Er kann zwar sagen „Hund" oder „Katze", aber wenn er ein Alien sieht, weiß er nicht, warum es komisch ist, weil er alles in denselben kleinen Winkel gepresst hat.

2. Die Lösung: ELogitNorm – Der „Grenz-Wächter"

Die neuen Forscher sagen: „Nein, wir drücken den Schüler nicht in einen Punkt. Wir lassen ihn stattdessen die Grenzen zwischen den Kategorien spüren."

• Die Analogie: Stell dir vor, der Schüler lernt nicht nur, wo die Hunde sind, sondern er lernt auch, wo die Zäune zwischen den Hunden und den Katzen sind.
  • Wenn er ein Bild sieht, das weit weg vom Zaun ist (klar ein Hund), ist er sehr sicher.
  • Wenn er ein Bild sieht, das direkt am Zaun liegt (vielleicht ein Hund, der wie eine Katze aussieht), wird er vorsichtig und sagt: „Ich bin mir nicht sicher."
  • Wenn er ein Bild sieht, das ganz weit weg von allen Zäunen ist (ein Alien), erkennt er sofort: „Das passt nirgendwohin!"

Das ist ELogitNorm. Es ist eine Art „Grenz-Bewusstsein". Der Schüler lernt, wie weit er von den Entscheidungsgrenzen entfernt ist, anstatt nur auf eine Zahl zu starren.

3. Warum ist das besser?

Frühere Methoden hatten zwei große Nachteile:

1. Sie machten den Schüler manchmal dümmer bei den Dingen, die er eigentlich kennen sollte (die Hunde und Katzen).
2. Sie funktionierten nur mit bestimmten Tricks, um Unsicherheit zu erkennen.

ELogitNorm ist wie ein Allzweck-Werkzeug:

• Es ist kostenlos: Es braucht keine extra Einstellungen (keine „Hyperparameter"), die man mühsam suchen muss.
• Es funktioniert mit allem: Egal welchen Trick du später benutzt, um zu prüfen, ob der Schüler unsicher ist (die „Post-hoc"-Methoden), ELogitNorm macht den Schüler besser darin, Unsicherheit zu zeigen.
• Es macht ihn nicht dumm: Der Schüler bleibt immer noch ein Experte für Hunde und Katzen, wird aber viel klüger, wenn er auf ein Alien trifft.

4. Das Ergebnis in der Praxis

Die Forscher haben das an vielen verschiedenen Tests ausprobiert (von kleinen Bildern wie auf Handys bis zu riesigen Datenbanken wie bei Google).

• Das Ergebnis: Der Schüler mit ELogitNorm erkennt „fremde" Bilder (Aliens, Bananen, verrückte Muster) viel besser als alle anderen.
• Der Clou: Er ist dabei nicht unsicher bei den normalen Bildern. Er ist einfach besser kalibriert. Das heißt, wenn er „Hund" sagt, dann ist er es auch wirklich. Und wenn er „Ich weiß es nicht" sagt, dann ist es wirklich etwas, das er nicht kennt.

Zusammenfassung

Stell dir ELogitNorm wie einen Grenzpolizisten vor, der dem KI-Schüler beigebracht hat, nicht nur die Häuser (die bekannten Bilder) zu kennen, sondern auch die Grenzzäune zwischen den Vierteln zu spüren.

Dadurch wird der Schüler nicht nur sicherer im Bekannten, sondern auch viel weitsichtiger im Unbekannten. Er fällt nicht mehr in die Falle, alles für etwas zu halten, was er kennt, sondern weiß genau, wann er an der Grenze des Wissens steht. Das macht KI-Systeme sicherer, besonders in kritischen Situationen wie beim autonomen Fahren oder in der Medizin.

Technische Zusammenfassung

1. Problemstellung

Die Zuverlässigkeit von maschinellen Lernmodellen ist entscheidend für ihren Einsatz in sicherheitskritischen Anwendungen. Ein Hauptproblem ist die Out-of-Distribution (OOD) Erkennung: Modelle treffen oft unzuverlässige Vorhersagen auf Daten, die sich von der Trainingsverteilung unterscheiden.

Bisherige Ansätze konzentrieren sich oft auf:

• Post-hoc-Methoden: Scoring-Funktionen, die nach dem Training auf Merkmals-, Logit- oder Wahrscheinlichkeitsräumen angewendet werden.
• Trainingszeit-Methoden: Diese nutzen oft spezielle Kalibrierungsziele oder generieren synthetische Ausreißer. Viele dieser Methoden führen jedoch zu einem Kompromiss zwischen der Vorhersagegenauigkeit auf In-Distribution (ID) Daten und der OOD-Erkennungsleistung. Zudem sind sie oft auf bestimmte Scoring-Funktionen beschränkt.

Ein spezifisches Problem, das in diesem Paper adressiert wird, ist die Logit-Normalisierung (LogitNorm). Obwohl LogitNorm die Überkonfidenz von Modellen reduziert, führt sie unbeabsichtigt zu einem Feature-Collapse. Die gelernten Merkmale kollabieren in Richtung des Ursprungs und werden in wenige dominante Richtungen komprimiert. Dies schränkt die Anwendbarkeit auf verschiedene Post-hoc-Methoden ein und verschlechtert die Klassifikationsgenauigkeit.

2. Methodik: Extended Logit Normalization (ELogitNorm)

Die Autoren identifizieren zwei Arten von Kollaps in LogitNorm:

1. Dimensionskollaps: Die Singularwert-Spektren der Merkmale zeigen, dass die Varianz in vielen Dimensionen gegen Null geht.
2. Ursprungs-Kollaps (Origin Collapse): OOD-Daten neigen dazu, sich im Merkmalsraum näher am Ursprung zu befinden als ID-Daten. LogitNorm verstärkt dies, da es die Logits durch ihre Norm $||f||$ (die proportional zur Merkmalsnorm $||z||$ ist) skaliert. Dies zwingt das Netzwerk dazu, Merkmale zum Ursprung hin zu drängen.

Die Lösung: ELogitNorm
Um dies zu beheben, schlagen die Autoren eine neue, hyperparameterfreie Verlustfunktion vor, die den Abstand zu den Entscheidungsentscheidungen (Decision Boundaries) berücksichtigt, anstatt nur den Abstand zum Ursprung.

• Konzept: Anstatt die Logits durch $||f||$ (bzw. $||z||$) zu skalieren, wird ein Skalierungsfaktor $s = D(z)$ verwendet. $D(z)$ repräsentiert den durchschnittlichen Abstand des Merkmalsvektors $z$ zu den Entscheidungsgrenzen aller konkurrierenden Klassen.
• Mathematische Formulierung:
  Der Verlust wird definiert als:
  $$L_{ELogitNorm} = -\log \frac{e^{f_y / D(z)}}{\sum_{i=1}^c e^{f_i / D(z)}}$$
  wobei $f_y$ der Logit der korrekten Klasse ist und $D(z)$ der berechnete Abstand zu den Entscheidungsgrenzen ist.
• Theoretischer Vorteil: Während LogitNorm den Merkmalsraum auf einen singulären Punkt (Ursprung) minimiert, erlaubt ELogitNorm einen minimalen Skalierungsfaktor-Raum mit einer viel höheren Dimensionalität ($m - c + 1$). Dies verhindert den Kollaps und erhält die Vielfalt der Merkmalsdarstellung.

3. Wichtige Beiträge

• Identifikation des Feature-Collapses: Die Autoren zeigen erstmals detailliert, dass LogitNorm zu einem Kollaps der Merkmale in Richtung des Ursprungs führt, was die Leistung bei verschiedenen OOD-Scoring-Methoden einschränkt.
• ELogitNorm als universelle Lösung: Die entwickelte Methode verbessert die OOD-Erkennung über eine breite Palette von Post-hoc-Methoden hinweg (z. B. MSP, ReAct, KNN, GEN, SCALE), ohne die ID-Klassifikationsgenauigkeit zu beeinträchtigen.
• Hyperparameter-Freiheit: Im Gegensatz zu LogitNorm, das oft einen Temperatur-Hyperparameter $\tau$ benötigt, ist ELogitNorm vollständig hyperparameterfrei und benötigt keine validierten Datensätze zur Kalibrierung.
• Verbesserte Kalibrierung: Modelle, die mit ELogitNorm trainiert wurden, weisen eine bessere Konfidenzkalibrierung (niedrigerer Expected Calibration Error - ECE) auf.

4. Ergebnisse

Die Methode wurde auf Standard-Benchmarks (CIFAR-10, CIFAR-100, ImageNet-200, ImageNet-1K) mit dem OpenOOD-Framework evaluiert.

• OOD-Leistung: ELogitNorm übertrifft sowohl den Standard Cross-Entropy-Trainingsansatz als auch LogitNorm signifikant.
  • Besonders stark sind die Verbesserungen bei Far-OOD (weit entfernte OOD-Daten). Beispielsweise stieg die AUROC für SCALE auf ImageNet-1K um +10,48 %, während der FPR95 um 54,31 % sank.
  • Die Methode ist robust gegenüber verschiedenen Post-hoc-Methoden, während LogitNorm bei manchen Methoden (wie ReAct) zu Leistungseinbußen führt.
• ID-Klassifikationsgenauigkeit: Im Gegensatz zu LogitNorm, das die Genauigkeit auf ID-Daten senkt, erreicht ELogitNorm auf CIFAR-10 und ImageNet-200 die höchste oder vergleichbare Genauigkeit wie Cross-Entropy.
• Stabilität: Die Trainingskurven zeigen, dass ELogitNorm stabil konvergiert und keine zusätzlichen Oszillationen verursacht.
• Rechenaufwand: Der zusätzliche Berechnungsaufwand ist vernachlässigbar, da die paarweisen Distanzberechnungen nur auf der letzten linearen Schicht erfolgen und effizient auf GPUs vektorisiert werden können.

5. Bedeutung und Ausblick

Dieses Paper liefert einen wichtigen Beitrag zur Verbesserung der Zuverlässigkeit von Deep-Learning-Modellen in offenen Welten.

• Geometrisches Verständnis: Es unterstreicht die Bedeutung der geometrischen Struktur von Merkmalsräumen. Durch die explizite Berücksichtigung der Distanz zu Entscheidungsgrenzen während des Trainings wird eine bessere Trennung zwischen ID- und OOD-Daten erreicht.
• Praktische Anwendbarkeit: Da die Methode hyperparameterfrei ist und mit bestehenden Architekturen und Post-hoc-Methoden nahtlos integriert werden kann, ist sie leicht in bestehende Pipelines einsetzbar.
• Zukunftsperspektive: Die Arbeit öffnet neue Forschungsrichtungen für boundary-aware Calibration (kalibrierung an Grenzen) und adaptive Skalierungsmechanismen, die Unsicherheiten besser abbilden.

Zusammenfassend bietet ELogitNorm einen einfachen, aber effektiven Weg, um die OOD-Erkennung zu verbessern, ohne dabei die Hauptaufgabe der Klassifikation zu vernachlässigen, und löst dabei die fundamentalen Limitierungen des vorherigen LogitNorm-Ansatzes.