Technische Samenvatting: CoDoL – Conditional Domain Prompt Learning voor Out-of-Distribution Generalisatie

1. Probleemstelling

Deep learning-modellen vertrouwen doorgaans op de aanname van onafhankelijke en identiek verdeelde (IID) gegevens, wat in de praktijk vaak faalt wanneer testdata-distributies verschillen van de trainingsdata (Out-of-Distribution of OOD-generalisatie). Hoewel Vision-Language Models (VLMs), in het bijzonder Contrastive Language-Image Pre-training (CLIP), sterke zero-shot capaciteiten hebben aangetoond, kampen bestaande prompt-gebaseerde CLIP-methoden in OOD-settings met twee kritieke beperkingen:

1. Onnauwkeurige tekstbeschrijvingen: Vaststaande of handmatig ontworpen prompts beschrijven de visuele inhoud mogelijk niet accuraat, wat leidt tot verminderde nauwkeurigheid en robuustheid.
2. Beperkte visuele-linguïstische embedding-uitlijning: De uitlijning tussen beeld- en tekstembeddings is een cruciale factor voor de generalisatieprestaties. Standaard prompt-tuning methoden (bijv. CoOp) slagen er vaak niet in om deze modaliteiten voldoende uit te lijnen onder distributieverschuivingen.

Huidige methoden worstelen ermee om direct beschikbare domeininformatie (bijv. locatie, tijd, experimentele condities) te benutten om deze uitlijning te verbeteren, wat cruciaal is voor het overdragen van kennis van meerdere trainingsdomeinen naar ongeziene testdomeinen.

2. Methodologie: CoDoL

De auteurs stellen Conditional Domain Prompt Learning (CoDoL) voor, een parameterefficiënte methode die domeininformatie gebruikt om de uitlijning van de beeld- en tekstencoders van CLIP te verbeteren. Het framework bestaat uit drie hoofdonderdelen:

A. Constructie van de Conditionele Domein Prompt

In tegenstelling tot standaard prompt-tuning, waarbij alleen klasse-specifieke contextvectoren worden geleerd, construeert CoDoL een prompt die zowel klasse- als domeininformatie bevat. De prompt-template wordt gedefinieerd als:
$$t = \text{[Class Tokens]} + \text{[Domain Tokens]} + \text{[Class Name]} + \text{[Domain Name]}$$

• Class Tokens: Leerbare vectoren die gedeeld worden over klassen of specifiek zijn voor klassen.
• Domain Tokens: Leerbare vectoren ontworpen om domein-invariante kenmerken te vangen, waardoor het model kan generaliseren naar ongeziene testdomeinen.
• Voorbeeld: Voor een "hond" in het domein "Cartoon" wordt de prompt: "[V]_1...[V]_Mc, [V]_1...[V]_Mk, hond, cartoon".

B. Domain Meta Network (DMN)

Om instantie-specifieke informatie naast domein-specifieke informatie te vangen, introduceren de auteurs een lichtgewicht neuraal netwerk genaamd het Domain Meta Network (DMN).

• Functie: De DMN neemt de beeldkenmerkvector ($z_v$) van de bevroren beeldencoder en genereert een input-conditionele offset.
• Mechanisme: Deze offset wordt elementgewijs toegevoegd aan de leerbare domein-specifieke contextvectoren.
  $$[V]^k_m(x) = [V]^k_m + (f_\theta(z_v))_m$$
• Resultaat: De resulterende tokens dragen zowel statische domeinkennis als dynamische instantie-specifieke details, waardoor een prompt $t_{y,j}(x)$ ontstaat die geconditioneerd is op zowel de klasse $y$ als de specifieke beeldinstantie $x$.

C. Training en Inferentie

• Training: Het model minimaliseert een cross-entropy loss over de gezamenlijke posteriore verdeling van klasse en domein. Het domeinlabel wordt tijdens de training gebruikt om de specifieke domeinprompt te superviseren, maar wordt tijdens inferentie behandeld als een latente variabele.
• Inferentie: Tijdens de testtijd zijn domeinlabels niet vereist. Het model marginaliseert over alle $K$ trainingsdomeinen om de klasse te voorspellen:
  $$\hat{c}(x) = \arg \max_y \sum_{j=1}^K p(y, k=j | x)$$

3. Belangrijkste Bijdragen

1. Nieuwwendend Prompting Framework: De voorstel van CoDoL, dat domeininformatie integreert in de promptstructuur om de visuele-linguïstische embedding-uitlijning voor OOD-generalisatie te verbeteren.
2. Lichtgewicht Instantie-Conditionering: De introductie van de Domain Meta Network (DMN), een lichtgewicht architectuur die input-conditionele tokens genereert, waardoor het model zowel instantie-specifieke als domein-specifieke informatie kan vangen zonder zware parameterupdates.
3. Empirische Validatie: Uitgebreide experimenten die aantonen dat CoDoL de uitlijning van de embedding-ruimtes van CLIP verbetert, wat bijdraagt aan de geobserveerde OOD-winsten.

4. Experimentele Resultaten

De auteurs evalueerden CoDoL op vier standaard OOD-benchmarks: PACS, VLCS, OfficeHome en DigitDG, met gebruik van zowel ResNet50 als ViT-B/16 backbones.

• Meerdere Trainingsdomeinen: CoDoL bereikte state-of-the-art prestaties over alle benchmarks. Bijvoorbeeld, op PACS met een ViT-B/16 backbone bereikte CoDoL een gemiddelde nauwkeurigheid van 98,77%, waarmee het de vorige SOTA (StyLIP) en zero-shot baselines overtrof.
• Enkele Trainingsdomein: In de meer uitdagende setting waarbij slechts één domein wordt gebruikt voor training, presteerde CoDoL consequent 3-4% beter dan andere prompting technieken (bijv. CoOp, CoCoOp), waarmee nieuwe SOTA-resultaten werden gevestigd voor scenario's met enkelvoudige domeintraining.
• Ablatie-studies:
  • Effectiviteit van DMN: Het verwijderen van de DMN resulteerde in een prestatiedaling van ongeveer 3%, wat de waarde van instantie-specifieke conditionering bevestigt.
  • Contextlengte: De optimale contextlengte voor domeintokens ($M_k$) bleek groter te zijn dan voor klasse-tokens ($M_c$) in multi-domein settings, wat suggereert dat langere domeincontexten gunstig zijn voor het leren van domeinkennis.
  • Uitlijningsmetrieken: Kwantitatieve analyse toonde aan dat CoDoL een kleinere modaliteitskloof ($\delta_{mod}$) en een hogere cross-modale retrieval recall (R@1) bereikte vergeleken met de baselines, wat de verbeterde visuele-linguïstische uitlijning bevestigt.
• Data-efficiëntie: De methode bleef effectief, zelfs met slechts 20% van de trainingsvoorbeelden die domeininformatie bevatten.

5. Betekenis en Claims

Het artikel claimt dat CoDoL de kernuitdagingen van onnauwkeurige tekstbeschrijvingen en beperkte embedding-uitlijning in prompt-gebaseerde CLIP-methoden aanpakt. Door domeininformatie en instantie-specifieke offsets expliciet te modelleren, verbetert de methode de robuustheid van VLMs bij real-world distributieverschuivingen.

De auteurs positioneren de verbetering in de visuele-linguïstische embedding-uitlijning als een primaire factor achter de geobserveerde OOD-generalisatiewinsten. Ze benadrukken dat deze aanpak parameterefficiënt is, aangezien alleen de training van prompt-tokens en een lichtgewicht DMN vereist is, terwijl de pre-trained encoders bevroren blijven. Het werk suggereert dat het benutten van domeininformatie een levensvatbare en effectieve strategie is om de betrouwbaarheid van AI-systemen in kritieke toepassingen waar datadistributies niet-stationair zijn, te vergroten.