🤖 AI

Respecting Modality Gap in Post-hoc Out-of-distribution Detection with Pre-trained Vision-Language Models

Dieser Artikel schlägt ein online pseudo-supervidiertes Framework vor, das visuelle Klassenprototypen aus ungelabelten Testdaten lernt, um die inhärente Modalitätslücke zwischen Text- und visuellen Repräsentationen zu überbrücken und dadurch einen state-of-the-art post-hoc Out-of-Distribution-Nachweis ohne Notwendigkeit von In-Distribution-Trainingsdaten zu erreichen.

Ursprüngliche Autoren: Yuanwei Hu, Bo Peng, Yadan Luo, Zhen Fang, Ling Chen, Jie Lu

Veröffentlicht 2026-05-27

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuanwei Hu, Bo Peng, Yadan Luo, Zhen Fang, Ling Chen, Jie Lu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine sehr kluge, gut gebildete Bibliothekarin (das KI-Modell), die Jahre damit verbracht hat, eine massive Bibliothek von Büchern über bestimmte Themen wie „Katzen", „Autos" und „Bäume" zu studieren. Diese Bibliothekarin ist hervorragend darin, diese Dinge zu identifizieren. In der realen Welt könnten jedoch Menschen hereinkommen und der Bibliothekarin ein Bild eines „glitzernden Toasters" oder einer „fliegenden Banane" zeigen. Das sind Dinge, die die Bibliothekarin noch nie gesehen hat.

Das Ziel der Out-of-Distribution (OOD)-Erkennung besteht darin, der Bibliothekarin beizubringen, zu sagen: „Ich weiß nicht, was das ist", anstatt zu raten, es sei eine Katze oder ein Auto, und sich zu irren.

Der alte Weg: Das „Lehrbuch"-Problem

Kürzlich entdeckten Wissenschaftler ein neues Werkzeug: ein Vision-Language-Modell (wie CLIP). Stellen Sie sich dies als eine Bibliothekarin vor, die sowohl Bilder als auch Wörter lesen kann. Um der Bibliothekarin zu helfen, „Katzen" zu erkennen, schrieb die alte Methode einfach das Wort „Katze" auf eine Karte und sagte der Bibliothekarin: „Dieses Wort repräsentiert die Idee einer Katze."

Das Problem ist, dass Wörter und Bilder unterschiedliche Sprachen sind.

Das Wort „Katze" existiert in der Welt des Textes.
Das Bild einer Katze existiert in der Welt der Bilder.

Die Arbeit argumentiert, dass die Verwendung des Wortes „Katze" als Stellvertreter für das Bild einer Katze so ist, als würde man versuchen, eine Stadt mit einer Karte einer anderen Stadt zu navigieren. Obwohl die Karte und die Stadt einige Namen teilen, stimmen die Straßen nicht perfekt überein. Es gibt eine „Modality Gap" (eine Modalitätslücke) – eine strukturelle Diskrepanz zwischen der Textbeschreibung und der tatsächlichen visuellen Realität. Egal wie clever Sie den Prompt (die Anweisungen) umschreiben, Sie können diese Lücke nicht schließen, da Text und Bild einfach nicht in derselben „Nachbarschaft" im Gehirn der KI leben.

Die neue Lösung: Lernen durch Tun (der „Online"-Ansatz)

Die Autoren schlagen einen neuen Weg vor, um dies zu beheben. Anstatt sich auf statische Textkarten zu verlassen, lassen sie die Bibliothekarin die visuelle Karte direkt lernen, während sie arbeitet.

So funktioniert ihre Methode, anhand einer einfachen Analogie:

Das Setup: Die Bibliothekarin beginnt mit den Textkarten (dem alten Weg) als groben Ausgangspunkt.
Der Strom: Wenn Menschen mit neuen Bildern (Testdaten) hereinkommen, betrachtet sie diese.
Die Vermutung: Die Bibliothekarin trifft eine „weiche Vermutung" basierend auf ihrem aktuellen Wissen. „Das sieht zu 80 % wie eine Katze aus, zu 20 % wie ein Hund."
Das Update:
- Wenn die Bibliothekarin sehr zuversichtlich ist, dass es eine Katze ist, passt sie ihre mentale „Katzenkarte" leicht an, um dem tatsächlichen Bild zu entsprechen, das sie gerade gesehen hat.
- Wenn die Bibliothekarin sehr zuversichtlich ist, dass es keine Katze ist (es ist ein unbekanntes Objekt), passt sie ihre „Karte unbekannter Objekte" an.
- Wenn die Bibliothekarin verwirrt ist, ignoriert sie das Bild vorerst.
Das Ergebnis: Im Laufe der Zeit hört die Bibliothekarin auf, sich auf die unvollkommenen Textkarten zu verlassen, und baut eine perfekte, visuelle Karte davon auf, wie „Katze" und „unbekannt" in der realen Welt tatsächlich aussehen.

Warum das wichtig ist

Die Arbeit beweist mathematisch, dass der alte Weg (die Verwendung von Text als Prototyp) einen permanenten Fehler hat, da Text und Bilder grundlegend unterschiedlich sind. Ihre neue Methode behebt dies, indem sie die Karte in Echtzeit kalibriert, indem sie die Bilder selbst verwendet, ohne dass menschliche Labels erforderlich sind oder das gesamte System neu trainiert werden muss.

Der Beweis

Sie testeten dies an riesigen Datensätzen (wie ImageNet, das Tausende von Kategorien enthält). Die Ergebnisse waren beeindruckend:

Die neue Methode war viel besser darin, „Unbekannte" (wie die fliegende Banane) zu erkennen als frühere Methoden.
Sie reduzierte die Anzahl der Fälle, in denen die KI mit Zuversicht das Falsche riet (Falschpositive), erheblich.
Sie funktionierte gut, selbst wenn die Bilder in unterschiedlicher Reihenfolge gemischt wurden oder aus verschiedenen Quellen stammten.

Kurz gesagt, sagt die Arbeit: „Lesen Sie nicht nur das Etikett; schauen Sie sich das Bild an und lernen Sie daraus, während Sie vorankommen." Dies ermöglicht es der KI, viel zuverlässiger zu sein, wenn sie auf Dinge stößt, die sie noch nie gesehen hat.

Technische Zusammenfassung: Respektierung der Modality Gap bei der nachträglichen Out-of-Distribution-Erkennung mit vortrainierten Vision-Language-Modellen

Problemstellung

Die Out-of-Distribution (OOD)-Erkennung ist entscheidend für die Gewährleistung der Zuverlässigkeit von Machine-Learning-Modellen in Open-World-Szenarien, in denen Testdaten zu unbekannten Klassen gehören können, die während des Trainings nicht gesehen wurden. Zwar haben jüngste Fortschritte bei vortrainierten Vision-Language-Modellen (VLMs), insbesondere CLIP, eine Zero-Shot-OOD-Erkennung ohne Zugriff auf In-Distribution (ID)-Trainingsdaten ermöglicht, doch bestehende Ansätze beruhen auf einem spezifischen Paradigma: der Behandlung von Texteinbettungen von Klassennamen als Klassenprototypen.

Dieses Papier hinterfragt die Gültigkeit dieses „Text-als-Prototyp"-Paradigmas. Es argumentiert, dass bestehende Methoden implizit annehmen, textuelle Repräsentationen seien optimal mit visuellen Klassenprototypen abgestimmt. Jüngste Hinweise deuten jedoch auf eine persistente „Modality Gap" hin, bei der Text- und Vision-Repräsentationen in CLIP-basierten Modellen weiterhin distinkt bleiben. Die Autoren gehen davon aus, dass handelsübliche textuelle Prototypen im Allgemeinen nicht mit den optimalen visuellen Prototypen abgestimmt sind, was eine intrinsische strukturelle Lücke erzeugt, die allein durch Prompt-Engineering oder das Mining negativer Labels nicht behoben werden kann. Diese Fehlausrichtung führt zu suboptimaler OOD-Erkennungsleistung.

Methodik

Um die Modality Gap unter nachträglichen (post-hoc) Randbedingungen zu adressieren (wo keine ID-Trainingsdaten verfügbar sind), schlägt das Papier ein online pseudo-supervisiertes Framework vor, das direkt Klassenprototypen im visuellen Merkmalsraum lernt und aktualisiert.

1. Theoretische Charakterisierung der Modality Gap

Die Autoren liefern zunächst eine theoretische Analyse unter einer idealisierten supervidierten Formulierung. Sie leiten einen geschlossenen Ausdruck für optimale visuelle Klassenprototypen her und beweisen, dass diese Prototypen vollständig im Spann des visuellen Merkmalsraums liegen müssen. Im Gegensatz dazu enthalten textuell abgeleitete Prototypen oft Komponenten, die orthogonal zu diesem visuellen Teilraum stehen.

Theorem 1: Stellt fest, dass optimale visuelle Prototypen Linearkombinationen visueller Merkmale sind.
Theorem 2: Beweist eine nicht-verschwindende untere Schranke für den Abstand zwischen textuellen Prototypen und optimalen visuellen Prototypen, sofern die Texteinbettungen Komponenten außerhalb des visuellen Merkmalsunterraums enthalten. Dies formalisiert die „Modality Gap" als strukturelle Einschränkung.

2. Online Pseudo-superviertes Lern-Framework

Da im Zero-Shot-Setting keine Ground-Truth-Labels verfügbar sind, nutzt die Methode die starken Zero-Shot-Transferfähigkeiten vortrainierter CLIP-Modelle, um weiche Pseudo-Labels zu generieren.

Pseudo-superviertes Ziel: Das Framework ersetzt harte Ground-Truth-Labels durch weiche Vorhersagen des vortrainierten VLM, um eine pseudo-supervisierte Verlustfunktion zu konstruieren.
Online-Optimierung: Ein Online-Optimierungsverfahren wird entwickelt, um visuelle Prototypen inkrementell unter Verwendung ungelabelter Testzeit-Datenströme zu aktualisieren. Dies respektiert die nachträgliche Randbedingung, indem Daten verarbeitet werden, sobald sie eintreffen.
Strategie zur Prototyp-Aktualisierung:
- Der ID-Labelraum wird um $L$ OOD-Pseudoklassen (Platzhalter) erweitert.
- Eine harte Schwellenwertregel basierend auf bestehenden OOD-Scores (z. B. von NegLabel) klassifiziert eingehende Testdaten als „positiv" (wahrscheinlich ID) oder „negativ" (wahrscheinlich OOD).
- ID-Klassenprototypen werden nur aktualisiert, wenn ein Datenpunkt als ID klassifiziert wird; OOD-Pseudoklassenprototypen werden aktualisiert, wenn ein Datenpunkt als OOD klassifiziert wird.
- Datenpunkte mit unsicheren Scores werden ignoriert.
Konvergenzgarantien: Theorem 3 liefert theoretische Garantien für die Konvergenz des vorgeschlagenen Online-Optimierungsverfahrens und begrenzt das kumulative Bedauern auf $O(\sqrt{N})$ .

3. OOD-Scoring

Der finale OOD-Score für ein Testbild wird berechnet, indem die visuellen Merkmale des Bildes mit den aktualisierten visuellen Prototypen (sowohl ID- als auch OOD-Pseudoklassen) unter Verwendung einer auf Softmax basierenden Ähnlichkeitsmaßzahl verglichen werden, anstatt sich auf die ursprünglichen Texteinbettungen zu verlassen.

Hauptbeiträge

Theoretische Einsicht: Das Papier zeigt theoretisch auf, dass die „Text-als-Prototyp"-Annahme in der CLIP-basierten nachträglichen OOD-Erkennung aufgrund einer intrinsischen Modality Gap fundamental fehlerhaft ist. Es beweist, dass Texteinbettungen ohne visuelle Kalibrierung optimale visuelle Prototypen nicht perfekt repräsentieren können.
Neues Framework: Es wird ein online pseudo-supervisiertes Framework eingeführt, das Klassenprototypen direkt im visuellen Merkmalsraum unter Verwendung ungelabelter Testströme und weicher VLM-Vorhersagen lernt und so die Modality Gap effektiv überbrückt.
Theoretische Garantien: Die Autoren liefern rigorose Konvergenzgarantien für ihren Online-Optimierungsalgorithmus.
State-of-the-Art-Leistung: Die Methode erzielt neue State-of-the-Art-Ergebnisse über verschiedene OOD-Erkennungs-Benchmarks hinweg, einschließlich ImageNet-1K, OpenOOD und CIFAR-Datensätzen, und übertrifft starke Baselines wie AdaNeg und NegLabel.

Experimentelle Ergebnisse

Umfangreiche Experimente validieren die Wirksamkeit der vorgeschlagenen Methode:

ImageNet-1K: Die Methode erreicht einen AUROC von 97,75 % und einen FPR95 von 12,79 % und übertrifft den vorherigen State-of-the-Art (AdaNeg) mit signifikanten Margen (z. B. +1,09 % AUROC und -6,13 % FPR95).
OpenOOD-Benchmark: Konsistente Verbesserungen werden sowohl auf Near-OOD- als auch auf Far-OOD-Datensätzen beobachtet, was Robustheit gegenüber verschiedenen Arten von Verteilungsverschiebungen demonstriert.
CIFAR-Benchmarks: Die Methode zeigt konsistente Gewinne bei CIFAR-10- und CIFAR-100-Setups.
Ablationsstudien: Es wird gezeigt, dass die Methode robust gegenüber Hyperparameterwahl ist, effektiv über verschiedene visuelle Encoder-Architekturen hinweg funktioniert (ResNet-50, ViT-B/32, ViT-L/14) und auf größere Eingabeauflösungen skalierbar ist.
Domänengeneralisierung: Der Ansatz behält eine überlegene Leistung bei, wenn ID-Daten Domänenverschiebungen unterliegen (z. B. ImageNet-A, ImageNet-R, ImageNet-S).

Bedeutung und Behauptungen

Das Papier behauptet, dass seine primäre Bedeutung darin liegt, eine strukturelle Einschränkung im aktuellen Paradigma der Zero-Shot-OOD-Erkennung zu identifizieren und zu adressieren. Indem man sich von der Abhängigkeit von Texteinbettungen als statische Prototypen löst und stattdessen dynamische, kalibrierte visuelle Prototypen aus Testzeit-Daten lernt, bietet die Methode eine theoretisch fundiertere und empirisch effektivere Lösung.

Die Autoren betonen, dass ihr Ansatz nicht lediglich eine technische Anpassung ist, sondern eine fundamentale Verschiebung in der Art und Weise, wie Prototypen für die VLM-basierte OOD-Erkennung konstruiert werden. Sie behaupten, dass die Modality Gap ein strukturelles Problem ist, das unabhängig von Strategien zum Mining negativer Labels ist, und dass ihr Framework einen prinzipiellen Weg bietet, diese Lücke zu überbrücken, was zu konsistenten Leistungsgewinnen über diverse Benchmarks hinweg führt, ohne dass eine Neu-Trainierung auf ID-Daten erforderlich ist.