Mitigating the Modality Gap: Few-Shot Out-of-Distribution Detection with Multi-modal Prototypes and Image Bias Estimation

Technisches Resümee: Abschwächung des Modalitätsgaps in der Few-Shot OOD-Detektion

Problemstellung
Vision-Language-Modelle (VLMs), insbesondere CLIP, sind für die Out-of-Distribution (OOD)-Detektion (Erkennung von Daten außerhalb der Verteilung) von großer Bedeutung geworden. Bestehende Methoden, die sich ausschließlich auf Text-Prototypen verlassen (z. B. MCM), leiden jedoch unter dem „Modalitätsgap“ – einem Phänomen, bei dem Bild- und Text-Embeddings unterschiedliche Regionen im Einbettungsraum einnehmen. Diese Trennung führt dazu, dass OOD-Bilder aufgrund räumlicher Nähe statt semantischer Relevanz eine hohe Ähnlichkeit zu In-Distribution (ID)-Textprototypen aufweisen, was zu hohen Falsch-Positiv-Raten (FPR) führt. Zwar existieren Few-Shot-Tuning-Methoden, diese konzentrieren sich jedoch primär auf das Erlernen negativer Text-Prompts und adressieren nicht explizit die grundlegende Fehlausrichtung zwischen den Bild- und Textmodalitäten.

Methodik: SUPREME
Die Autoren schlagen SUPREME vor (ein Few-Shot-Tuning-Framework für die OOD-Detektion mit CLIP), um den Modalitätsgap abzumildern. Der Ansatz besteht aus drei Kernkomponenten:

1. Multimodale Prototypen (Theoretische & empirische Grundlage):
   Die Arbeit stellt zunächst fest, dass die Einbeziehung von ID-Bild-Prototypen neben ID-Text-Prototypen die OOD-Detektion ohne zusätzliches Training verbessert. Durch Mittelung der Bild-Embeddings für jede Klasse definieren die Autoren einen Multi-Modal Prototypes Score ($S_{MMP}$). Die theoretische Analyse (Theorem 1) und die empirischen Ergebnisse zeigen, dass dieser Dual-Prototyp-Ansatz die Score-Trennung zwischen ID- und OOD-Proben erhöht und somit den negativen Einfluss des Modalitätsgaps effektiv reduziert.

2. Biased Prompt Generation (BPG):
   Um die Generalisierung während des Few-Shot-Tunings weiter zu verbessern, führt SUPREME BPG ein. Im Gegensatz zu bisherigen Methoden, die Prompts nur basierend auf lernbaren Kontexten und Bild-Embeddings konditionieren, konditioniert BPG Text-Prototypen auf drei Komponenten:

• Lernbare Kontext-Token.
• Abgebildete Bild-Embeddings ($m(I)$).
• Einen auf Gauß-Verteilungen basierenden geschätzten Bilddomänen-Bias ($\mathcal{N}(\mu, \Sigma)$).
  Dieser Bias wird aus der Verteilung der ID-Bild-Embeddings geschätzt. Durch die Integration dieses Bias in die Prompt-Generierung verhindert die Methode das Overfitting auf begrenzte Few-Shot-Daten und richtet die Text-Prototypen näher an der wahren Verteilung der ID-Bilder aus, wodurch die Bild-Text-Fusion verbessert wird.

3. Bild-Text-Konsistenz (ITC):
   Um den Modalitätsgap direkt zu minimieren, verwendet SUPREME zwei lernbare Abbildungen: eine Bild-zu-Text-Abbildung ($f_{img-txt}$) und eine Text-zu-Bild-Abbildung ($f_{txt-img}$). Diese werden unter Verwendung zweier Verlustfunktionen optimiert, während das CLIP-Backbone eingefroren bleibt:

• Inter-modaler Verlust ($\ell_{inter}$): Minimiert den Abstand zwischen den abgebildeten Embeddings und ihren ursprünglichen Gegenstücken (z. B. Sicherstellung, dass $f_{img-txt}(I)$ mit den Text-Prototypen übereinstimmt).
• Intra-modaler Verlust ($\ell_{intra}$): Rekonstruiert das ursprüngliche Embedding aus dem abgebildeten Embedding, um Informationsverlust zu verhindern (z. B. $f_{txt-img}(f_{img-txt}(I)) \approx I$).

4. Generalisierter multimodaler Prototyp-Score ($S_{GMP}$):
   Aufbauend auf den Erkenntnissen zur Multimodalität schlagen die Autoren eine neue OOD-Scoring-Funktion vor, $S_{GMP}$. Dieser Score nutzt sowohl unimodale als auch cross-modale Ähnlichkeiten. Er berechnet den Durchschnitt der maximalen Ähnlichkeiten zwischen:

• Dem ursprünglichen Bild-Embedding ($I$) und den Text-/Bild-Prototypen.
• Dem abgebildeten Bild-Embedding ($I' = f_{img-txt}(I)$) und den Text-/Bild-Prototypen.
  Diese Integration stellt sicher, dass sowohl die ursprünglichen als auch die ausgerichteten Repräsentationen zur endgültigen Entscheidung beitragen, was die Robustheit erhöht.

Wesentliche Beiträge

• Analyse des Modalitätsgaps: Die Arbeit liefert theoretische und empirische Belege dafür, dass der Modalitätsgap die VLM-basierte OOD-Detektion negativ beeinflusst und dass die Einbeziehung von Bild-Prototypen diesen Effekt ohne Training mildert.
• SUPREME-Framework: Eine neuartige Few-Shot-Tuning-Methode, bestehend aus BPG (zur Verbesserung der Generalisierung via Domänen-Bias) und ITC (zur Reduzierung des Modalitätsgaps via Konsistenzverlusten).
• Neue Scoring-Metrik: Die Einführung von $S_{GMP}$, die multimodale Prototypen und cross-modale Ähnlichkeiten nutzt, um die Trennung zwischen ID- und OOD-Verteilungen zu verbessern.
• State-of-the-Art Performance: Umfangreiche Experimente zeigen eine konsistente Überlegenheit gegenüber bestehenden Zero-Shot- und Few-Shot-OOD-Detektionsmethoden.

Experimentelle Ergebnisse
Die Autoren evaluierten SUPREME auf ImageNet-1k und ImageNet-100 als ID-Datensätze gegenüber vier diversen OOD-Datensätzen (iNaturalist, SUN, Places, Texture) sowie dem OpenOOD-Benchmark.

• ImageNet-1k: SUPREME erreichte eine durchschnittliche FPR95 von 20,70 % und einen AUROC von 95,38 % und übertraf damit starke Baselines wie NegPrompt (23,01 % FPR95) und LoCoOp (28,66 % FPR95).
• ImageNet-100: Die Methode erreichte eine durchschnittliche FPR95 von 8,47 % und einen AUROC von 98,08 % und übertraf damit signifikant CoOp und CoCoOp.
• Harte OOD (ImageNet-10/20): SUPREME demonstrierte Robustheit in Szenarien mit hoher semantischer Überlappung und erzielte die niedrigsten FPR95-Werte (4,10 % und 3,60 %) in beide Richtungen.
• Ablationsstudien: Das Entfernen von BPG oder ITC führte zu einer signifikanten Leistungsverschlechterung (z. B. Anstieg der FPR95 auf ~28 %), was die Notwendigkeit beider Module bestätigt. Die Verwendung von $S_{GMP}$ anstelle von $S_{MCM}$ lieferte ebenfalls messbare Verbesserungen.
• ID-Genauigkeit: SUPREME behielt eine hohe ID-Klassifizierungsgenauigkeit bei (71,8 % Top-1 auf ImageNet-1k) und übertraf damit andere OOD-fokussierte Methoden.

Bedeutung und Ansprüche
Das Paper behauptet, dass SUPREME eine kritische Einschränkung aktueller VLM-basierter OOD-Detektion adressiert: den Modalitätsgap. Durch den Übergang über rein textbasierte Prototypen hinaus und die Einführung von Mechanismen zur Ausrichtung von Bild- und Texträumen (via BPG und ITC) reduziert die Methode signifikant die Anzahl der Falsch-Positiv-Meldungen. Die Autoren betonen, dass ihr Ansatz die Zuverlässigkeit verbessert, ohne dass während des Trainings Zugriff auf OOD-Daten erforderlich ist, da sie sich nur auf eine kleine Teilmenge von ID-Daten (16 Shots pro Klasse) stützt. Die Arbeit legt nahe, dass die explizite Modellierung der Beziehung zwischen den Modalitäten essenziell für eine robuste OOD-Detektion in realen Anwendungen ist.