💻 computer science

CoDoL: Conditional Domain Prompt Learning for Out-of-Distribution Generalization

Dieses Paper schlägt CoDoL vor, eine neuartige Methode des Conditional Domain Prompt Learning, die ein leichtgewichtiges Domain Meta Network nutzt, um eingabebedingte Token zu generieren und dadurch die Vision-Language-Embedding-Ausrichtung zu verbessern sowie die Out-of-Distribution-Generalisierung in CLIP-basierten Modellen zu steigern.

Ursprüngliche Autoren: Min Zhang, Yuyin Wang, Zhongxiang Dai, Zhikang Chen, Jie Zhou, Miao Liu, Sen Cui

Veröffentlicht 2026-07-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Min Zhang, Yuyin Wang, Zhongxiang Dai, Zhikang Chen, Jie Zhou, Miao Liu, Sen Cui

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen superintelligenten Roboter-Bibliothekar namens CLIP. Dieser Roboter hat Millionen von Büchern gelesen und Millionen von Bildern betrachtet. Seine Aufgabe ist es, ein neues Bild anzusehen und zu erraten, was es darstellt, indem er es mit einem Satz aus seinem Gedächtnis abgleicht.

Zum Beispiel, wenn Sie dem Roboter das Bild eines Hundes zeigen, sucht er in seiner Bibliothek nach dem Satz „ein Foto eines Hundes“. Wenn die Übereinstimmung stark ist, sagt er: „Das ist ein Hund!“

Das Problem: Der Roboter wird durch neue Umgebungen verwirrt
Der Roboter ist großartig darin, Dinge zu erkennen, die er schon einmal gesehen hat. Aber in der realen Welt ändern sich die Dinge. Ein Hund kann als Cartoon gezeichnet, als Skizze mit Bleistift oder als Ölgemälde dargestellt sein. Dies sind unterschiedliche „Domänen“ (wie verschiedene Kunststile oder Lichtverhältnisse).

Wenn der Roboter einen Cartoon-Hund sieht, versucht er, ihn mit dem Satz „ein Foto eines Hundes“ abzugleichen. Aber ein Cartoon ist kein Foto! Der Roboter wird verwirrt, weil die Beschreibung nicht ganz zum Bild passt. Dies nennt man Out-of-Distribution (OOD) Generalisierung. Der Roboter funktioniert gut im „Trainingsraum“, aber er scheitert, wenn er in die chaotische, vielfältige reale Welt hinausgeht.

Frühere Versuche, dies zu beheben, bestanden darin, den Roboter zu lehren, seine Sätze leicht abzuwandeln (wie das Hinzufügen von „ein Bild von einem...“), aber die Sätze waren immer noch etwas vage und erklärten nicht vollständig, warum das Bild so aussah, wie es aussah.

Die Lösung: CoDoL (Der kontextuelle Wegweiser)
Die Autoren dieser Arbeit schlagen eine neue Methode namens CoDoL (Conditional Domain Prompt Learning) vor. Stellen Sie sich CoDoL wie einen klugen, anpassungsfähigen Reiseführer vor, den man dem Roboter gibt.

Anstatt nur zu sagen „ein Foto eines Hundes“, lehrt CoDoL den Roboter zu sagen: „ein Foto eines Hundes [im Cartoon-Stil]“.

So funktioniert es, unterteilt in einfache Teile:

Der Domain Prompt (Das „Wo“ und „Wie“):
Dem Roboter wird gesagt, dass die Welt verschiedene „Domänen“ hat (wie Foto, Cartoon, Skizze). CoDoL fügt dem Satz ein spezielles „Domain-Token“ hinzu. Es ist, als würde man dem Satz ein Etikett hinzufügen, das besagt: „Denk daran, dieser Hund ist im Cartoon-Stil gezeichnet.“ Dies hilft dem Roboter zu verstehen, dass das Bild und der Text zusammengehören, obwohl sie unterschiedlich aussehen.
Das Domain Meta Network (Der „Sofort-Übersetzer“):
Manchmal sieht ein Cartoon-Hund sehr anders aus als ein Foto eines Hundes, aber manchmal sieht ein spezifischer Cartoon-Hund auch ein bisschen wie ein spezifisches Foto aus. Um dies zu handhaben, bauten die Autoren ein winziges, leichtgewichtiges Hilfsnetzwerk namens DMN (Domain Meta Network).
- Analogie: Stellen Sie sich vor, der Roboter betrachtet ein ganz bestimmtes Bild. Das DMN ist wie ein schneller Übersetzer, der sich das Bild ansieht und dem Roboter zuflüstert: „Hey, passe den Satz für dieses spezifische Bild leicht an, um diesen einzigartigen Details gerecht zu werden.“
- Es erstellt eine maßgeschneiderte „Anweisung“ für jedes einzelne Bild basierend auf dem, was es sieht, und kombiniert diese dann mit der allgemeinen „Cartoon-Stil“-Anweisung.

Warum das funktioniert (Die Magie der Ausrichtung)
Das Hauptziel von CoDoL ist die Ausrichtung (Alignment). Stellen Sie sich vor, der Roboter hat zwei getrennte Schubladen: eine für Bilder und eine für Wörter.

Alte Methode: Das Bild eines Cartoon-Hundes und die Wörter „ein Foto eines Hundes“ befanden sich in verschiedenen Schubladen und passten nicht gut zusammen.
CoDoL-Methode: Durch das Hinzufügen der „Domain“- und „instanzspezifischen“ Anweisungen drückt CoDoL das Bild und die Wörter näher zusammen in den Geist des Roboters. Sie rasten perfekt ein.

Die Ergebnisse
Die Forscher testeten dies auf vier verschiedenen „Welten“ (Datensätzen), in denen der Roboter Objekte in verschiedenen Stilen (wie Fotos vs. Skizzen) erkennen musste.

Das Ergebnis: CoDoL schlug alle bisherigen Methoden. Es war besser darin zu erkennen, dass eine „Skizze eines Hundes“ und die Wörter „Skizze eines Hundes“ zusammengehören, selbst wenn der Roboter diese spezifische Skizze noch nie zuvor gesehen hatte.
Effizienz: Das Beste daran ist, dass der Roboter nicht von Grund auf neu trainiert werden musste. Die Autoren mussten dem Roboter nur ein paar neue „Wörter“ (die Prompts) beibringen und einen winzigen Helfer (das DMN) hinzufügen. Es ist, als würde man einem Meisterkoch ein neues Rezeptblatt geben, anstatt ihm das Kochen von Grund auf neu beizubringen.

Zusammenfassend
CoDoL ist ein cleverer Trick, der der KI hilft zu verstehen, dass ein Bild und eine Beschreibung eine Übereinstimmung sind, selbst wenn das Bild anders aussieht, als für die KI ursprünglich trainiert wurde. Dies geschieht, indem zusätzliche Informationen (die „Domain“) und individuelle Anpassungen (das „DMN“) zu den Sätzen hinzugefügt werden, die die KI verwendet, wodurch die Verbindung zwischen dem, was sie sieht, und dem, was sie liest, viel stärker und zuverlässiger wird.

Technisches Resümee: CoDoL – Conditional Domain Prompt Learning für Out-of-Distribution Generalisierung

1. Problemstellung

Deep-Learning-Modelle verlassen sich typischerweise auf die Annahme der identisch und unabhängig verteilten Daten (IID), die in realen Anwendungen, in denen die Testdatenverteilung von den Trainingsdaten abweicht (Out-of-Distribution oder OOD-Generalisierung), oft fehlschlägt. Während Vision-Language Models (VLMs), insbesondere Contrastive Language-Image Pre-training (CLIP), starke Zero-Shot-Fähigkeiten demonstriert haben, stehen bestehende promptbasierte CLIP-Methoden vor zwei kritischen Einschränkungen in OOD-Szenarien:

Ungenaue Textbeschreibungen: Festgelegte oder manuell entworfene Prompts beschreiben den visuellen Inhalt möglicherweise nicht präzise, was zu einer verringerten Genauigkeit und Robustheit führt.
Begrenzte Vision-Language-Embedding-Ausrichtung: Die Ausrichtung zwischen Bild- und Text-Embeddings ist ein Schlüsselfaktor für die Generalisierungsleistung. Standardmäßige Prompt-Tuning-Methoden (z. B. CoOp) scheitern oft daran, diese Modalitäten unter Verteilungsverschiebungen ausreichend aufeinander abzustimmen.

Derzeitige Methoden haben Schwierigkeiten, die leicht verfügbaren Domäneninformationen (z. B. Ort, Zeit, experimentelle Bedingungen) zu nutzen, um diese Ausrichtung zu verbessern, was entscheidend für den Transfer von Wissen aus mehreren Trainingsdomänen auf ungesehene Testdomänen ist.

2. Methodik: CoDoL

Die Autoren schlagen Conditional Domain Prompt Learning (CoDoL) vor, eine parametereffiziente Methode, die Domäneninformationen nutzt, um die Ausrichtung der Bild- und Text-Encoder von CLIP zu verbessern. Das Framework besteht aus drei Hauptkomponenten:

A. Konstruktion von Conditional Domain Prompts

Im Gegensatz zum Standard-Prompt-Tuning, das nur klassenspezifische Kontextvektoren lernt, konstruiert CoDoL einen Prompt, der sowohl Klassen- als auch Domäneninformationen enthält. Die Prompt-Vorlage ist definiert als:
$t = \text{[Class Tokens]} + \text{[Domain Tokens]} + \text{[Class Name]} + \text{[Domain Name]}$

Class Tokens: Lernbare Vektoren, die entweder gemeinsam genutzt werden oder klassenspezifisch sind.
Domain Tokens: Lernbare Vektoren, die darauf ausgelegt sind, domäneninvariante Merkmale zu erfassen, was es dem Modell ermöglicht, auf ungesehene Testdomänen zu generalisieren.
Beispiel: Für einen „Hund“ in der Domäne „Cartoon“ wird der Prompt zu: "[V]_1...[V]_Mc, [V]_1...[V]_Mk, hund, cartoon".

B. Domain Meta Network (DMN)

Um neben den domänenspezifischen Informationen auch instanzspezifische Informationen zu erfassen, führen die Autoren ein leichtgewichtiges neuronales Netzwerk namens Domain Meta Network (DMN) ein.

Funktion: Das DMN nimmt den Bildmerkmalsvektor ( $z_v$ ) vom eingefrorenen Bild-Encoder entgegen und generiert einen input-bedingten Offset.
Mechanismus: Dieser Offset wird elementweise zu den lernbaren domänenspezifischen Kontextvektoren addiert.
$[V]^k_m(x) = [V]^k_m + (f_\theta(z_v))_m$
Ergebnis: Die resultierenden Token tragen sowohl statisches Domänenwissen als auch dynamische instanzspezifische Details, wodurch ein Prompt $t_{y,j}(x)$ entsteht, der sowohl auf die Klasse $y$ als auch auf die spezifische Bildinstanz $x$ bedingt ist.

C. Training und Inferenz

Training: Das Modell minimiert einen Cross-Entropy-Loss über die gemeinsame Posterior-Verteilung von Klasse und Domäne. Das Domänenlabel wird während des Trainings verwendet, um den spezifischen Domänen-Prompt zu überwachen, wird jedoch während der Inferenz als latente Variable behandelt.
Inferenz: Zur Testzeit sind keine Domänenlabels erforderlich. Das Modell marginalisiert über alle $K$ Trainingsdomänen, um die Klassenlabel vorherzusagen:
$\hat{c}(x) = \arg \max_y \sum_{j=1}^K p(y, k=j | x)$

3. Kernbeiträge

Neuartiges Prompting-Framework: Der Vorschlag von CoDoL, welcher die leicht verfügbaren Domäneninformationen in die Prompt-Struktur integriert, um die Vision-Language-Embedding-Ausrichtung für die OOD-Generalisierung zu verbessern.
Leichtgewichtiges Instanz-Conditioning: Die Einführung des Domain Meta Network (DMN), einer leichtgewichtigen Architektur, die input-bedingte Token generiert und es dem Modell ermöglicht, sowohl instanzspezifische als auch domänenspezifische Informationen zu erfassen, ohne schwere Parameter-Updates zu erfordern.
Empirische Validierung: Umfangreiche Experimente zeigen, dass CoDoL die Ausrichtung der CLIP-Embedding-Räume verbessert, was ein beitragender Faktor für die beobachteten OOD-Gewinne ist.

4. Experimentelle Ergebnisse

Die Autoren evaluierten CoDoL auf vier Standard-OOD-Benchmarks: PACS, VLCS, OfficeHome und DigitDG, unter Verwendung von sowohl ResNet50 als auch ViT-B/16 Backbones.

Multiple Trainingsdomänen: CoDoL erreichte eine State-of-the-Art-Leistung über alle Benchmarks hinweg. Beispielsweise erreichte CoDoL auf PACS mit einem ViT-B/16 Backbone eine durchschnittliche Genauigkeit von 98,77 % und übertraf damit die bisherige SOTA (StyLIP) sowie Zero-Shot-Baselines.
Einzelne Trainingsdomäne: In dem anspruchsvolleren Szenario, in dem nur eine Domäne für das Training verwendet wird, übertraf CoDoL andere Prompting-Techniken (z. B. CoOp, CoCoOp) konsistent um etwa 3–4 % und etablierte neue SOTA-Ergebnisse für Single-Domain-Trainingsszenarien.
Ablationsstudien:
- Effektivität des DMN: Das Entfernen des DMN führte zu einem Leistungsabfall von etwa 3 %, was den Wert des instanzspezifischen Conditionings bestätigt.
- Kontextlänge: Es wurde festgestellt, dass die optimale Kontextlänge für Domain-Tokens ( $M_k$ ) größer ist als für Class-Tokens ( $M_c$ ) in Multi-Domain-Settings, was darauf hindeutet, dass längere Domänenkontexte vorteilhaft für das Erlernen von Domänenwissen sind.
- Ausrichtungsmetriken: Die quantitative Analyse zeigte, dass CoDoL im Vergleich zu den Baselines eine geringere Modality Gap ( $\delta_{mod}$ ) und einen höheren Cross-Modal Retrieval Recall (R@1) erreichte, was die verbesserte Vision-Language-Ausrichtung bestätigt.
Dateneffizienz: Die Methode blieb auch bei nur 20 % der Trainingsproben, die Domäneninformationen enthielten, effektiv.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass CoDoL die Kernherausforderungen ungenauer Textbeschreibungen und der begrenzten Embedding-Ausrichtung in promptbasierten CLIP-Methoden adressiert. Durch die explizite Modellierung von Domäneninformationen und instanzspezifischen Offsets verbessert die Methode die Robustheit von VLMs bei realen Verteilungsverschiebungen.

Die Autoren führen die Verbesserung der Vision-Language-Embedding-Ausrichtung als primären Faktor an, der den beobachteten OOD-Generalisierungsgewinnen zugrunde liegt. Sie betonen, dass dieser Ansatz parametereffizient ist, da lediglich das Training der Prompt-Tokens und eines leichtgewichtigen DMN erforderlich ist, während die vortrainierten Encoder eingefroren bleiben. Die Arbeit legt nahe, dass die Nutzung von Domäneninformationen eine praktikable und effektive Strategie ist, um die Zuverlässigkeit von KI-Systemen in Hochrisikoanwendungen, in denen Datenverteilungen nicht stationär sind, zu erhöhen.