Sintesi Tecnica: CoDoL – Conditional Domain Prompt Learning per la Generalizzazione Out-of-Distribution

1. Definizione del Problema

I modelli di deep learning si basano tipicamente sull'assunzione di indipendenza e identica distribuzione (IID), che spesso fallisce nelle applicazioni del mondo reale dove le distribuzioni dei dati di test differiscono da quelle di addestramento (generalizzazione Out-of-Distribution o OOD). Sebbene i Modelli Vision-Language (VLM), in particolare il Contrastive Language-Image Pre-training (CLIP), abbiano dimostrato forti capacità zero-shot, i metodi di prompting basati su CLIP affrontano due criticità fondamentali in contesti OOD:

1. Descrizioni Testuali Imprecise: I prompt fissi o progettati manualmente potrebbero non descrivere accuratamente il contenuto visivo, portando a una degradazione dell'accuratezza e della robustezza.
2. Allineamento Limitato degli Embedding Vision-Language: L'allineamento tra gli embedding di immagine e testo è un fattore chiave per la performance di generalizzazione. I metodi standard di prompt-tuning (es. CoOp) spesso non riescono ad allineare sufficientemente queste modalità sotto shift di distribuzione.

Gli attuali metodi faticano a sfruttare le informazioni di dominio prontamente disponibili (es. posizione, tempo, condizioni sperimentali) per migliorare questo allineamento, il che è cruciale per trasferire la conoscenza da molteplici domini di addestramento verso domini di test non visti.

2. Metodologia: CoDoL

Gli autori propongono il Conditional Domain Prompt Learning (CoDoL), un metodo efficiente in termini di parametri che utilizza informazioni di dominio per migliorare l'allineamento degli encoder di immagine e testo di CLIP. Il framework si compone di tre componenti principali:

A. Costruzione del Prompt di Dominio Condizionale

A differenza del normale prompt-tuning che apprende solo vettori di contesto specifici per classe, CoDoL costruisce un prompt che include sia informazioni di classe che di dominio. Il template del prompt è definito come:
$$t = \text{[Class Tokens]} + \text{[Domain Tokens]} + \text{[Class Name]} + \text{[Domain Name]}$$

• Class Tokens: Vettori apprendibili condivisi o specifici per le classi.
• Domain Tokens: Vettori apprendibili progettati per catturare caratteristiche invarianti al dominio, permettendo al modello di generalizzare a domini di test non visti.
• Esempio: Per un "cane" nel dominio "Cartone Animato", il prompt diventa: "[V]_1...[V]_Mc, [V]_1...[V]_Mk, cane, cartone animato".

B. Domain Meta Network (DMN)

Per catturare informazioni specifiche per l'istanza insieme alle informazioni specifiche del dominio, gli autori introducono una rete neurale leggera chiamata Domain Meta Network (DMN).

• Funzione: La DMN riceve il vettore delle caratteristiche dell'immagine ($z_v$) dall'encoder di immagine congelato e genera un offset condizionato all'input.
• Meccanismo: Questo offset viene aggiunto elemento per elemento ai vettori di contesto apprendibili specifici del dominio.
  $$[V]^k_m(x) = [V]^k_m + (f_\theta(z_v))_m$$
• Risultato: I token risultanti trasportano sia la conoscenza statica del dominio sia i dettagli dinamici specifici dell'istanza, creando un prompt $t_{y,j}(x)$ che è condizionato sia dalla classe $y$ che dalla specifica istanza dell'immagine $x$.

C. Addestramento e Inferenza

• Addestramento: Il modello minimizza una perdita di cross-entropy sulla distribuzione congiunta posteriore di classe e dominio. L'etichetta di dominio viene utilizzata durante l'addestramento per supervisionare il prompt specifico del dominio, ma è trattata come una variabile latente durante l'inferenza.
• Inferenza: Al momento del test, le etichette di dominio non sono richieste. Il modello marginalizza su tutti i $K$ domini di addestramento per predire l'etichetta di classe:
  $$\hat{c}(x) = \arg \max_y \sum_{j=1}^K p(y, k=j | x)$$

3. Contributi Chiave

1. Nuovo Framework di Prompting: La proposta di CoDoL, che integra le informazioni di dominio prontamente disponibili nella struttura del prompt per migliorare l'allineamento degli embedding vision-language per la generalizzazione OOD.
2. Condizionamento Leggero per Istanza: L'introduzione della Domain Meta Network (DMN), un'architettura leggera che genera token condizionati all'input, consentendo al modello di catturare sia informazioni specifiche per istanza che per dominio senza pesanti aggiornamenti di parametri.
3. Validazione Empirica: Esperimenti estesi che dimostrano come CoDoL migliori l'allineamento degli spazi di embedding di CLIP, fungendo da fattore contribuente ai guadagni osservati in OOD.

4. Risultati Sperimentali

Gli autori hanno valutato CoDoL su quattro benchmark OOD standard: PACS, VLCS, OfficeHome e DigitDG, utilizzando sia backbone ResNet50 che ViT-B/16.

• Molteplici Domini di Addestramento: CoDoL ha raggiunto prestazioni allo stato dell'arte (SOTA) in tutti i benchmark. Ad esempio, su PACS con un backbone ViT-B/16, CoDoL ha ottenuto un'accuratezza media del 98,77%, superando il precedente SOTA (StyLIP) e i baseline zero-shot.
• Singolo Dominio di Addestramento: Nel setting più impegnativo in cui viene utilizzato un solo dominio per l'addestramento, CoLoL ha costantemente superato altre tecniche di prompting (es. CoOp, CoCoOp) di circa il 3-4%, stabilendo nuovi risultati SOTA per gli scenari di addestramento a dominio singolo.
• Studi di Ablazione:
  • Efficacia della DMN: Rimuovere la DMN ha causato un calo delle prestazioni di circa il 3%, confermando il valore del condizionamento specifico per istanza.
  • Lunghezza del Contesto: Si è scoperto che la lunghezza ottimale del contesto per i token di dominio ($M_k$) è maggiore rispetto a quella per i token di classe ($M_c$) nei setting multi-dominio, suggerendo che contesti di dominio più lunghi sono benefici per l'apprendimento della conoscenza del dominio.
  • Metriche di Allineamento: L'analisi quantitativa ha mostrato che CoDoL ha ottenuto un gap di modalità ($\delta_{mod}$) minore e un recall di recupero cross-modale (R@1) più elevato rispetto ai baseline, confermando un migliore allineamento vision-language.
• Efficienza dei Dati: Il metodo è rimasto efficace anche con solo il 20% dei campioni di addestramento contenenti informazioni di dominio.

5. Significato e Rivendicazioni

Il paper sostiene che CoDoL affronti le sfide centrali delle descrizioni testuali imprecise e del limitato allineamento degli embedding nei metodi di prompting basati su CLIP. Modellando esplicitamente le informazioni di dominio e gli offset specifici per istanza, il metodo migliora la robustezza dei VLM nei cambiamenti di distribuzione del mondo reale.

Gli autori pongono il miglioramento nell'allineamento degli embedding vision-language come il fattore primario alla base dei guadagni osservati nella generalizzazione OOD. Essi sottolineano che questo approccio è efficiente in termini di parametri, richiedendo solo l'addestramento dei token di prompt e di una DMN leggera, mantenendo congelati gli encoder pre-addestrati. Il lavoro suggerisce che sfruttare le informazioni di dominio sia una strategia vitale ed efficace per potenziare l'affidabilità dei sistemi di IA in applicazioni ad alto rischio dove le distribuzioni dei dati sono non stazionarie.