Know When to Abstain: Optimal Selective Classification with Likelihood Ratios

Diese Arbeit stellt neue Methoden für die selektive Klassifizierung unter Kovariatenverschiebung vor, die auf dem Neyman-Pearson-Lemma basieren und durch Likelihood-Verhältnisse eine robustere Leistung als bestehende Ansätze erzielen.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein sehr talentierter, aber manchmal etwas selbstbewusster Koch. Sie können fantastische Gerichte kochen, aber wenn Ihnen ein ganz seltsames, unbekanntes Gemüse vor die Nase gesetzt wird, raten Sie vielleicht trotzdem einfach drauflos. Das Ergebnis könnte essbar sein, aber es könnte auch eine Katastrophe werden.

Das Problem:
In der Welt der künstlichen Intelligenz (KI) passiert genau das. Ein KI-Modell wird trainiert, Dinge zu erkennen (z. B. Katzen auf Fotos). Wenn es ein Foto sieht, das es nicht kennt (z. B. eine Katze als Skizze gezeichnet oder in einem anderen Stil gemalt), sagt es trotzdem: „Das ist eine Katze!" – oft mit falschem Vertrauen. Das ist gefährlich, besonders wenn die KI in kritischen Bereichen wie Medizin oder autonomes Fahren eingesetzt wird.

Die Lösung: „Ich weiß es nicht" sagen
Die Idee dieses Papers ist es, der KI beizubringen, wann sie schweigen soll. Statt immer eine Antwort zu geben, soll die KI sagen: „Ich bin mir bei diesem Bild nicht sicher, ich lasse es lieber." Das nennt man selektive Klassifizierung.

Die alte Methode vs. die neue Methode
Bisher haben Forscher oft nach einfachen Tricks gesucht, um zu entscheiden, ob eine KI unsicher ist. Zum Beispiel: „Wenn die KI bei ihrer Antwort nur 60% sicher ist, lass sie schweigen." Das funktioniert okay, ist aber wie ein grobes Sieb.

Der „Neyman-Pearson"-Trick (Die neue Brille)
Die Autoren dieses Papers schauen sich das Problem durch eine alte, aber sehr mächtige Brille aus der Statistik an, die „Neyman-Pearson-Lemma" heißt.
Stellen Sie sich vor, Sie haben zwei Körbe:

1. Korb A: Fotos, auf denen die KI richtig liegt.
2. Korb B: Fotos, auf denen die KI falsch liegt.

Die Kernfrage ist: „Ist dieses neue Foto eher aus Korb A oder aus Korb B?"
Die Mathematik sagt uns: Der beste Weg, das herauszufinden, ist ein Vergleich der Wahrscheinlichkeiten (ein sogenanntes „Likelihood Ratio"). Wenn ein Foto viel mehr wie die Dinge in Korb A aussieht als wie die in Korb B, dann antworten wir. Wenn es eher wie Korb B aussieht, schweigen wir.

Die zwei neuen Werkzeuge
Die Autoren haben zwei neue Methoden entwickelt, um diesen Vergleich durchzuführen, besonders wenn sich die Bilder ändern (z. B. von echten Fotos zu Skizzen):

1. Der „Abstandsmesser" (Delta-MDS & Delta-KNN):

   • Stellen Sie sich vor, Sie haben eine Landkarte. Auf dieser Landkarte gibt es eine „Zone der Richtigkeit" (wo die KI immer recht hat) und eine „Zone des Irrtums" (wo sie oft danebenliegt).
   • Die neue Methode misst nicht nur, wie nah ein neues Bild an der „Zone der Richtigkeit" ist. Sie misst auch, wie weit es von der „Zone des Irrtums" entfernt ist.
   • Die Analogie: Ein alter Trick sagte nur: „Wie nah bist du am Ziel?" Der neue Trick sagt: „Wie nah bist du am Ziel UND wie weit bist du vom Abgrund entfernt?" Das ist viel sicherer.

2. Der „Kombi-Trick" (Lineare Kombination):

   • Manchmal ist der Abstandsmesser gut, manchmal ist ein Blick auf die „Gedanken des KIs" (die Logits, also die rohen Zahlen, die die KI berechnet) besser.
   • Die Autoren schlagen vor, beides zu mischen. Wie wenn Sie beim Kochen nicht nur auf den Geruch (Abstand) achten, sondern auch auf die Farbe (Logits). Die Mischung aus beiden führt zu den besten Ergebnissen.

Warum ist das wichtig? (Der Covariate Shift)
Das Paper konzentriert sich auf ein spezielles Szenario: Covariate Shift.

• Szenario: Ein KI-Modell lernt, Katzen auf normalen Fotos zu erkennen.
• Das Problem: Plötzlich bekommt es Fotos von Katzen als Gemälde, Skizzen oder mit schlechtem Licht. Die Kategorie (Katze) ist dieselbe, aber das Aussehen (die Datenverteilung) hat sich geändert.
• Viele alte Methoden versagen hier, weil sie denken, das Bild sei „fremd" (wie ein Hund), obwohl es nur eine andere Art von Katze ist. Die neue Methode erkennt: „Aha, das sieht zwar anders aus, aber es liegt immer noch in der Nähe der 'richtigen' Katzenzone und weit weg von der 'falschen' Zone."

Das Ergebnis
Die Autoren haben ihre Methode auf vielen verschiedenen Aufgaben getestet (Bilder erkennen, Texte verstehen).

• Ergebnis: Ihre Methode macht deutlich weniger Fehler als die alten Methoden, besonders wenn die Daten sich ändern (z. B. bei modernen KI-Modellen, die Bilder und Sprache verbinden).
• Vorteil: Die KI wird zuverlässiger. Sie gibt weniger falsche Antworten, indem sie öfter ehrlich sagt: „Ich weiß es nicht."

Zusammenfassung in einem Satz:
Die Autoren haben eine mathematisch fundierte Methode entwickelt, die KI-Systemen beibringt, nicht nur zu raten, sondern genau zu wissen, wann sie ihre Antwort zurückhalten sollten, um Fehler zu vermeiden – besonders wenn die Welt um sie herum sich verändert.

Technische Zusammenfassung

1. Problemstellung

Selektive Klassifikation (Selective Classification):
Das Ziel der selektiven Klassifikation ist es, die Zuverlässigkeit von Vorhersagemodellen zu erhöhen, indem diese in der Lage sind, bei unsicheren Eingaben eine Vorhersage zu verweigern („abstain"). Anstatt für jede Eingabe eine (möglicherweise falsche) Vorhersage zu treffen, soll das Modell entscheiden, ob es eine Vorhersage macht oder einen menschlichen Experten konsultiert. Dies wird durch eine Selektionsfunktion $g(x)$ realisiert, die basierend auf einem Vertrauensscore $s(x)$ und einem Schwellenwert $\gamma$ entscheidet.

Die Herausforderung der Kovariatenverschiebung (Covariate Shift):
Bisherige Arbeiten konzentrierten sich oft auf i.i.d.-Szenarien (identisch und unabhängig verteilte Daten) oder semantische Verschiebungen (neue Klassen). Ein kritischer, aber wenig erforschter Bereich ist die Kovariatenverschiebung. Hierbei ändert sich die Eingabeverteilung $p(x)$ (z. B. von Fotos zu Gemälden oder verrauschte Bilder), während der Labelraum $p(y)$ unverändert bleibt. Dies ist besonders relevant für moderne Anwendungen wie Vision-Language-Modelle (VLMs), bei denen die Labelmenge groß und variabel ist, aber die Eingabedomänen stark variieren können. Bestehende Methoden versagen oft unter diesen Bedingungen, da ihre Vertrauensscores nicht robust gegenüber solchen Distribution-Shifts sind.

2. Methodik: Neyman-Pearson-Lemma als theoretische Grundlage

Die Autoren führen einen neuen theoretischen Rahmen ein, der auf dem klassischen Neyman-Pearson-Lemma aus der Statistik basiert.

• Hypothesentest-Formulierung: Selektive Klassifikation wird als Binärproblem formuliert:
  • $H_0$: Der Klassifikator trifft eine korrekte Vorhersage ($C$).
  • $H_1$: Der Klassifikator trifft eine falsche Vorhersage ($\neg C$).
• Optimale Regel: Das Neyman-Pearson-Lemma besagt, dass der optimale Test zur Unterscheidung zweier Hypothesen auf dem Likelihood-Ratio-Test basiert. Für die selektive Klassifikation bedeutet dies, dass der optimale Score $s(x)$ ein monotoner Transform des Likelihood-Verhältnisses ist:
  $$s(x) \propto \frac{p_c(x)}{p_w(x)}$$
  wobei $p_c(x)$ die Dichte der Eingaben ist, bei denen der Klassifikator korrekt liegt, und $p_w(x)$ die Dichte der Eingaben, bei denen er falsch liegt.
• Vorteil: Dieser Ansatz vereint die Behandlung von In-Distribution- und Out-of-Distribution-Daten, da $p_c$ und $p_w$ alle korrekten bzw. falschen Fälle unabhängig von der spezifischen Verteilungsverschiebung umfassen.

3. Abgeleitete Methoden und neue Selektoren

Basierend auf dieser Theorie leiten die Autoren ab, wie bestehende und neue Methoden das Likelihood-Verhältnis approximieren:

A. Reinterpretation bestehender Scores

Die Autoren zeigen, dass gängige Scores wie Maximum Softmax Probability (MSP) und Raw Logits (RLog) unter bestimmten Annahmen (z. B. Kalibrierung oder Konzentration auf die Top-2-Klassen) monotonen Transformationen des Likelihood-Verhältnisses entsprechen und somit Neyman-Pearson-optimal sind.

B. Neue Distanzbasierte Selektoren

Um die Abhängigkeit von der Kalibrierung (die bei tiefen neuronalen Netzen oft fehlt) zu umgehen, schlagen die Autoren zwei neue, auf Distanzen basierende Methoden vor, die explizit zwischen korrekt und falsch klassifizierten Trainingsdaten unterscheiden:

1. $\Delta$-MDS (Delta-Mahalanobis Distance):

   • Statt einer einzigen Verteilung pro Klasse werden zwei Verteilungen geschätzt: eine für korrekt klassifizierte Trainingsdaten ($\mu^c, \Sigma^c$) und eine für falsch klassifizierte Daten ($\mu^w, \Sigma^w$).
   • Der Score ist die Differenz der Mahalanobis-Distanzen des Testpunkts zu diesen beiden Verteilungen:
     $$s_{\Delta\text{-MDS}}(x) = D_{\text{MDS}}(x; \mu^c, \Sigma^c) - D_{\text{MDS}}(x; \mu^w, \Sigma^w)$$
   • Theoretisch ist dies unter der Annahme gaußscher Feature-Verteilungen Neyman-Pearson-optimal.

2. $\Delta$-KNN (Delta-K-Nearest Neighbors):

   • Ein nicht-parametrischer Ansatz, der die Distanzen zu den $k$-nächsten Nachbarn in den Mengen der korrekt ($A_c$) und falsch ($A_w$) klassifizierten Trainingsdaten vergleicht.
   • Der Score basiert auf der Differenz der logarithmierten Distanzen:
     $$s_{\Delta\text{-KNN}}(x) = \text{AvgLogDist}(x, A_c) - \text{AvgLogDist}(x, A_w)$$
   • Dies ist asymptotisch Neyman-Pearson-optimal, ohne parametrische Annahmen über die Dichte zu treffen.

C. Lineare Kombinationen

Da logit-basierte und distanzbasierte Methoden komplementäre Stärken haben (Lerngrenzen vs. geometrische Struktur), schlagen die Autoren vor, diese Scores linear zu kombinieren (z. B. $\Delta$-KNN-RLog). Ein Lemma zeigt, dass eine solche Kombination unter bestimmten „gekippten" (tilted) Verteilungsannahmen weiterhin optimal ist.

4. Experimentelle Ergebnisse

Die Autoren evaluieren ihre Methoden umfassend auf Vision- und Sprachaufgaben unter Kovariatenverschiebung.

• Datensätze & Modelle:

  • Vision: ImageNet-1K und diverse kovariatenverschobene Varianten (ImageNet-R, ImageNet-A, ObjectNet, ImageNet-C, etc.).
  • Modelle: CLIP (Zero-Shot VLM), EVA (Supervised), ResNet50 und DistilBERT (für Amazon Reviews).
  • Metriken: AURC (Area Under the Risk-Coverage Curve) und NAURC (normalisiert). Niedrigere Werte sind besser.

• Hauptergebnisse:

  • Die vorgeschlagenen Methoden ($\Delta$-MDS, $\Delta$-KNN) und deren Kombinationen mit RLog übertreffen konsistent alle Baselines (MSP, MaxLogit, Energy, MDS, KNN, SIRC).
  • Verbesserung: Auf CLIP-Modellen führt der Wechsel von Standard-MDS/KNN zu den $\Delta$-Varianten zu einer Reduktion des durchschnittlichen AURC um ca. 50 %.
  • Robustheit: Die Methoden funktionieren sowohl bei supravisierten Modellen (EVA) als auch bei VLMs (CLIP) robust.
  • Kombination: Die Kombination $\Delta$-KNN-RLog erzielt bei CLIP die besten Ergebnisse, während $\Delta$-MDS-RLog bei EVA (supervidiert) leicht besser abschneidet. Dies bestätigt die Hypothese, dass MDS-Methoden besser zu supravidierten Softmax-Modellen passen, während nicht-parametrische KNN-Methoden für kontrastiv gelernte Modelle (CLIP) geeigneter sind.
  • Sprachaufgaben: Auch auf dem Amazon Reviews-Dataset (DistilBERT) zeigen die Kombinationen ($\Delta$-MDS-MSP/RLog) überlegene Leistung.

• Ablationsstudien:

  • Die Verwendung des Durchschnitts der Top-$k$-Distanzen (statt nur der $k$-ten Distanz) verbessert die Leistung.
  • Die Methoden sind sehr dateneffizient: $\Delta$-KNN-RLog bleibt auch bei Verwendung von nur 0,1 % der Trainingsdaten stabil und übertrifft reine Logit-Methoden.

5. Bedeutung und Beiträge

Die Arbeit leistet folgende wesentliche Beiträge:

1. Theoretische Vereinheitlichung: Sie stellt erstmals einen Neyman-Pearson-basierten Rahmen für die selektive Klassifikation vor, der die Optimalität von Likelihood-Ratio-Tests als Leitprinzip etabliert. Dies erklärt den Erfolg bestehender Methoden und liefert eine theoretische Basis für neue Ansätze.
2. Neue Algorithmen: Einführung von $\Delta$-MDS und $\Delta$-KNN, die explizit die Unterscheidung zwischen korrekten und falschen Vorhersagen im Feature-Raum nutzen, um robuste Scores unter Distribution Shifts zu generieren.
3. Fokus auf Kovariatenverschiebung: Die Arbeit hebt die Bedeutung der Kovariatenverschiebung (im Gegensatz zur semantischen Verschiebung) für moderne Anwendungen wie VLMs hervor und zeigt, dass bestehende OOD-Detektionsmethoden hier oft versagen.
4. Praktische Überlegenheit: Durch umfangreiche Experimente wird gezeigt, dass likelihood-ratio-basierte Selektion ein robuster Mechanismus ist, um die Zuverlässigkeit von KI-Modellen in realen, sich verändernden Umgebungen zu verbessern, ohne das Basismodell neu trainieren zu müssen (Post-hoc-Ansatz).

Fazit: Das Papier liefert einen starken theoretischen und empirischen Beleg dafür, dass die explizite Modellierung des Likelihood-Verhältnisses zwischen korrekten und falschen Vorhersagen der Schlüssel zu robuster selektiver Klassifikation ist, insbesondere in Szenarien mit Kovariatenverschiebung. Der Code ist öffentlich verfügbar.