💻 computer science

Near OOD Detection for Vision-Language Prompt Learning with Contrastive Logit Score

Die Autoren stellen die Contrastive Logit Score (CLS) vor, eine nachträgliche und plug-and-play-fähige Methode, die die Erkennung nahe liegender Out-of-Distribution-Daten bei Vision-Language-Prompt-Learning-Modellen ohne Architekturänderungen oder Nachtraining signifikant verbessert.

Ursprüngliche Autoren: Myong Chol Jung, Joanna Dipnall, Belinda Gabbe, He Zhao

Veröffentlicht 2026-04-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Myong Chol Jung, Joanna Dipnall, Belinda Gabbe, He Zhao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Grundproblem: Der kluge, aber verwirrte Kunstexperte

Stell dir vor, du hast einen extrem klugen Kunstexperten (das ist das KI-Modell CLIP). Dieser Experte wurde mit Millionen von Bildern und Beschreibungen trainiert. Wenn du ihm ein Bild von einem Hund zeigst und fragst: „Ist das ein Hund?", antwortet er sofort und sicher.

Aber dieser Experte hat ein Problem: Er ist sehr empfindlich gegenüber der Formulierung.

Fragst du: „Ein Foto eines Hundes", ist er sicher.
Fragst du: „Ein Bild von einem Hund", wird er unsicher.

Um das zu beheben, haben Forscher eine Technik namens Prompt Learning entwickelt. Das ist wie ein persönlicher Assistent, der dem Experten beibringt, die perfekte Frage zu stellen, damit er immer die richtige Antwort gibt. Das funktioniert super, solange das Bild etwas ist, das der Experte kennt (z. B. ein Hund).

Das große Problem: Was passiert, wenn der Experte ein Bild von etwas sieht, das er gar nicht kennt?

Weit weg (Far OOD): Ein Bild von einem Alien. Der Experte denkt: „Das ist definitiv kein Hund." (Das ist leicht zu erkennen).
Nahe dran (Near OOD): Ein Bild von einem Wolf. Der Experte denkt: „Hmm, das sieht sehr nach einem Hund aus. Ich bin mir fast sicher, dass es ein Hund ist."

Hier liegt die Gefahr. In der echten Welt (z. B. bei einem selbstfahrenden Auto oder in der Medizin) wollen wir nicht, dass das System einen Wolf für einen Hund hält. Wir wollen, dass es sagt: „Achtung! Das ist etwas Neues, das kenne ich nicht!"

Bisherige Methoden waren entweder zu kompliziert (muss das System neu lernen) oder sie konnten den Wolf nicht vom Hund unterscheiden.

Die Lösung: Der „Kontrast-Logit-Score" (CLS)

Die Autoren dieses Papiers haben eine clevere, einfache Lösung gefunden, die sie CLS nennen. Stell es dir wie einen Zweikammer-Test vor, den man dem Experten nachträglich (ohne ihn neu zu trainieren) gibt.

Die Analogie: Der Sicherheitscheck am Flughafen

Stell dir vor, dein KI-Experte ist ein Sicherheitsbeamter am Flughafen.

Der alte Weg (MaxLogit): Der Beamte schaut auf das Passagierbild und sagt: „Das sieht aus wie ein Passagier aus der Liste A (Hunde). Wahrscheinlich ist er dran." Er vergleicht das Bild nur mit den bekannten Passagieren. Wenn ein Wolf (Near OOD) kommt, sieht er aus wie ein Passagier, also lässt er ihn durch.
Der neue Weg (CLS): Der Beamte führt einen zweiten, entscheidenden Test durch. Er fragt sich nicht nur: „Sieht das nach einem Passagier aus?", sondern auch: „Passt dieses Bild überhaupt in den allgemeinen Stil unseres Flughafens?"

Hier kommt der Kontrast ins Spiel:

Teil 1 (Der Passagier-Vergleich): Wie gut passt das Bild zu den bekannten Kategorien (Hund, Katze, Vogel)?
Teil 2 (Der „Allgemein-Stil"-Vergleich): Wie gut passt das Bild zu den allgemeinen Merkmalen von Passagieren, ohne auf eine spezifische Art zu achten?

Das Geniale daran:

Ein echter Hund passt perfekt zu den spezifischen Kategorien UND zum allgemeinen Stil.
Ein Wolf passt vielleicht zufällig zu einer Kategorie (Hund), aber er passt nicht so gut zum allgemeinen Stil der Passagiere, weil er „falsche" Merkmale hat.
Ein Alien passt zu gar nichts.

Der CLS-Algorithmus rechnet diese beiden Dinge gegeneinander. Er zieht den „Allgemein-Stil"-Wert vom „Passagier"-Wert ab.

Bei einem echten Hund heben sich die Werte auf, und das Ergebnis ist hoch (Sicher!).
Bei einem Wolf ist der „Passagier"-Wert hoch, aber der „Allgemein-Stil"-Wert ist niedrig (oder andersherum, je nach Einstellung). Das Ergebnis wird niedrig, und der Alarm geht los: „Das ist ein Wolf! Nicht durchlassen!"

Warum ist das so besonders?

Plug-and-Play (Einstecken und Loslegen): Du musst den Experten nicht neu ausbilden. Du musst keine neuen Teile in sein Gehirn einbauen. Du gibst ihm nur eine neue „Rechenregel" (eine Formel), die er anwendet, nachdem er sein Urteil gefällt hat.
Kein Training nötig: Es kostet fast keine Zeit oder Rechenleistung. Es ist wie ein neuer Filter für eine Kamera, den man einfach aufsetzt.
Es funktioniert überall: Die Forscher haben es an 13 verschiedenen Datensätzen und 8 verschiedenen KI-Modellen getestet. In fast allen Fällen wurde der Experte deutlich besser darin, Wölfe von Hunden zu unterscheiden (bis zu 11,67 % besser!).

Zusammenfassung in einem Satz

Die Forscher haben eine einfache mathematische Formel erfunden, die KI-Modellen hilft, nicht nur zu raten, was ein Bild ist, sondern auch zu merken: „Moment mal, das passt zwar zu meiner Liste, aber es fühlt sich trotzdem falsch an" – und das, ohne das Modell jemals neu zu programmieren.

Das ist wie wenn man einem alten, erfahrenen Lehrer einen neuen, klugen Assistenten gibt, der ihm sagt: „Herr Lehrer, dieser Schüler sieht zwar aus wie ein A-Schüler, aber er hat die falsche Handschrift. Vorsicht!"

1. Problemstellung

Das Paper adressiert die Herausforderung der Near Out-of-Distribution (OOD) Detektion im Kontext von Vision-Language Prompt Learning (z. B. mit dem CLIP-Modell).

Hintergrund: Vision-Language-Modelle wie CLIP haben sich als äußerst effektiv für Zero-Shot- und Few-Shot-Klassifizierung erwiesen, insbesondere durch Prompt-Learning-Methoden (z. B. CoOp, CoCoOp), die kontinuierliche Kontextvektoren optimieren.
Lücke: Während viele Studien die Generalisierungsfähigkeit dieser Modelle für die Klassifizierung untersuchen, wird die Fähigkeit, Near-OOD-Daten zu erkennen, oft vernachlässigt.
Definition Near OOD: Im Gegensatz zu „Far OOD" (wo OOD-Daten aus einem völlig anderen Domänenbereich stammen, z. B. Hunde vs. Ziffern), beinhalten „Near OOD"-Daten nur eine semantische Verschiebung innerhalb derselben Domäne (z. B. bekannte Blumenarten vs. unbekannte Blumenarten). Diese Unterscheidung ist schwierig, da die Datenverteilungen stark überlappen.
Bestehende Limitierungen: Vorhandene OOD-Detektionsmethoden erfordern oft das Training von Grund auf, eine Feinabstimmung (Fine-Tuning) des Modells oder sind nicht speziell für die Architektur von Prompt-Learning-Modellen (die keine klassischen Klassifikationsköpfe haben) konzipiert.

2. Methodik: Contrastive Logit Score (CLS)

Die Autoren schlagen eine post-hoc, plug-and-play Lösung vor, die keine Änderungen an der Modellarchitektur oder ein erneutes Training erfordert.

Grundidee: Die Methode basiert auf einem Hypothesentest-Ansatz. Sie vergleicht die Likelihood, dass ein Bild zur In-Distribution (ID) gehört, mit der Likelihood, dass es zur Near-OOD-Verteilung gehört.
Der Score: Der vorgeschlagene Contrastive Logit Score (CLS) kombiniert zwei Komponenten:
1. MaxLogit (oder Energy Score): Die maximale Ähnlichkeit zwischen dem Bild-Embedding und den gelernten Prompt-Embeddings der bekannten Klassen ( $\max_i \langle I, P_i \rangle$ ). Dies misst die Konfidenz der Klassifizierung.
2. Kontext-Score (Null-Klasse): Die Ähnlichkeit zwischen dem Bild-Embedding und den gelernten Kontextvektoren $V$ ohne Klassenname ( $\langle I, V \rangle$ ). Diese Vektoren repräsentieren allgemeine Merkmale der In-Distribution, unabhängig von spezifischen Klassen.
Formel:
$CLS(x) = \max_{i} \langle I, P_i \rangle - \beta \cdot \langle I, V \rangle$
Dabei ist $\beta$ ein Skalierungsfaktor.
Logik:
- Typische ID-Proben haben hohe Werte für beide Terme.
- Near-OOD-Proben haben oft hohe Werte für den Kontext-Score (da sie allgemeine ID-Merkmale teilen), aber niedrige Werte für den MaxLogit (da sie zu keiner bekannten Klasse passen).
- Durch Subtraktion des gewichteten Kontext-Scores vom MaxLogit wird die Überlappung zwischen atypischen ID-Proben und Near-OOD-Proben verringert.
Lernen von $\beta$ : Da der optimale Wert für $\beta$ datensatzabhängig ist, wird er nicht manuell gewählt, sondern basierend auf den Few-Shot-Trainingsdaten geschätzt. Die Autoren nutzen eine Maximum-Likelihood-Schätzung, um $\beta$ so zu bestimmen, dass die Kovarianz zwischen dem MaxLogit-Score und dem Kontext-Score auf Null gesetzt wird (Dekorrelation). Dies ist eine geschlossene Formel, die sehr recheneffizient ist.

3. Wichtige Beiträge

Neue Scoring-Funktion: Einführung des CLS, der speziell für die kontrastive Struktur von CLIP und Prompt-Learning entwickelt wurde.
Plug-and-Play-Ansatz: Die Methode ist agnostisch gegenüber dem zugrunde liegenden Prompt-Learning-Modell (CoOp, MaPLe, LoCoOp etc.) und erfordert kein erneutes Training.
Theoretische Fundierung: Die Methode leitet sich aus einem Likelihood-Ratio-Test ab und nutzt die „Null-Klasse" (generalisierte ID-Merkmale) als Surrogat für die OOD-Likelihood.
Automatische Skalierung: Ein effizientes Verfahren zur datenspezifischen Bestimmung des Skalierungsfaktors $\beta$ ohne Zugriff auf OOD-Trainingsdaten.

4. Ergebnisse

Die Autoren evaluierten ihre Methode umfassend:

Datensätze & Modelle: Tests auf 13 verschiedenen Datensätzen (u. a. ImageNet, Caltech101, Flowers102, CIFAR) mit 8 State-of-the-Art Prompt-Learning-Modellen.
Near OOD Performance:
- CLS verbesserte die AUROC (Area Under the Receiver Operating Characteristic Curve) für die Near-OOD-Detektion um bis zu 11,67 % im Vergleich zu Baselines wie MaxLogit.
- In 100 von 104 Evaluierungen (13 Datensätze × 8 Modelle) wurde eine Verbesserung gegenüber dem MaxLogit-Score erzielt.
- Besonders starke Verbesserungen wurden bei Modellen wie LoCoOp (+4,18 % AUROC) und IVLP (+3,23 %) beobachtet.
Far OOD Performance: Auch bei der Detektion von „Far OOD" (z. B. ImageNet vs. iNaturalist) erzielte die Methode konkurrenzfähige Ergebnisse, oft auf Platz 2, und zeigte eine hohe Robustheit.
Effizienz: Da keine neuen Parameter gelernt werden müssen und die Berechnung von $\beta$ nur wenige Trainingsdaten benötigt, ist der rechnerische Overhead minimal.

5. Bedeutung und Fazit

Das Paper liefert einen wichtigen Beitrag zur Sicherheit und Zuverlässigkeit von Vision-Language-Modellen in realen Anwendungen (z. B. autonomes Fahren, Gesundheitswesen), wo die Erkennung unbekannter, aber ähnlicher Daten (Near OOD) kritisch ist.

Praktische Relevanz: Die Methode ermöglicht es, bestehende Prompt-Learning-Modelle sofort robuster gegen OOD-Fehler zu machen, ohne deren Klassifizierungsgenauigkeit zu beeinträchtigen oder die Architektur zu ändern.
Generalisierung: Die Lösung ist universell auf verschiedene Prompt-Learning-Ansätze anwendbar und füllt eine wichtige Lücke in der aktuellen Forschung, die sich bisher zu sehr auf die reine Klassifizierungsgenauigkeit und zu wenig auf die Unsicherheitsquantifizierung bei semantischen Verschiebungen konzentrierte.

Zusammenfassend stellt der Contrastive Logit Score eine einfache, aber hocheffektive Methode dar, um die Diskriminierungsfähigkeit von Vision-Language-Modellen zwischen bekannten und nahe verwandten unbekannten Klassen signifikant zu steigern.