Prompt Disentanglement via Language Guidance and Representation Alignment for Domain Generalization

Sintesi Tecnica: Disentanglement dei Prompt tramite Guida Linguistica e Allineamento delle Rappresentazioni per la Generalizzazione del Dominio (PADG)

Definizione del Problema
La Generalizzazione del Dominio (DG) mira ad addestrare modelli che operino in modo robusto su domini target non visti, utilizzando solo dati del dominio sorgente. Una sfida primaria nella DG è lo "shift del dominio" (domain shift), in cui i dati di addestramento e di test seguono distribuzioni differenti, violando il classico assunto i.i.d. (indipendente e identicamente distribuito). Sebbene i recenti Modelli Fondativi Visivi (VFM) come CLIP mostrino grande potenziale, i metodi esistenti di prompt tuning si concentrano spesso sull'adattamento specifico per il task piuttosto che sul disentanglement tra caratteristiche invarianti del dominio e caratteristiche specifiche del dominio. Di conseguenza, questi metodi faticano a generare rappresentazioni che possano generalizzare efficacemente attraverso domini diversi e non visti. Inoltre, la guida puramente basata sul testo spesso non riesce a catturare variazioni complesse specifiche del dominio (ad esempio, cambiamenti di prospettiva o di sfondo) che sono difficili da descrivere linguisticamente, portando a un disentanglement incompleto.

Metodologia
Gli autori propongono PADG (Prompt Disentanglement via Language Guidance and Representation Alignment), un framework unificato che sfrutta la flessibilità dei VFM e dei Large Language Models (LLM) per ottenere una robusta generalizzazione del dominio. Il framework opera attraverso due fasi di addestramento e una strategia di inferenza:

1. Disentanglement Cross-Modale dei Prompt (CMD): Questa fase affronta la separazione delle caratteristiche tra le modalità.

   • Disentanglement Testuale Assistito da GPT (GAT): Gli autori utilizzano un LLM (GPT-3) per generare descrizioni granulari per ogni classe all'interno di domini specifici. Attraverso l'analisi semantica latente, l'LLM sintetizza queste in descrizioni invarianti rispetto al dominio (ad esempio, la forma strutturale) e descrizioni specifiche del dominio (ad esempio, colore o sfondo). Queste descrizioni vengono utilizzate per guidare l'apprendimento di prompt testuali disgiunti tramite perdite di distillazione e di apprendimento contrastivo.
   • Disentanglement dell'Immagine Guidato dal Testo (IMT): Gli embedding testuali disgiunti fungono da guide semantiche per l'encoder visivo. L'encoder visivo viene perfezionato utilizzando prompt apprendibili per produrre corrispondenti caratteristiche visive invarianti rispetto al dominio e specifiche del dominio. Questo processo è regolarizzato minimizzando la distanza tra le caratteristiche visive apprese e gli embedding originali di CLIP, imponendo al contempo la confusione del dominio per le caratteristiche invarianti.

2. Allineamento della Rappresentazione nel Caso Peggiore (WERA): Per compensare i limiti della guida basata solo sul testo nel catturare le variazioni visive, questo modulo potenzia l'invarianza visiva attraverso la robustezza distributiva.

   • Il metodo modella una distribuzione del caso peggiore all'interno di una palla di Wasserstein centrata sul dominio sorgente.
   • Invece di distorcere la semantica dell'immagine, impiega una strategia di stilizzazione che regola la media e la varianza (statistiche) delle caratteristiche visive intermedie utilizzando prompt apprendibili.
   • Un processo di ottimizzazione iterativa ricerca i campioni stilizzati del caso peggiore che massimizzano il rischio empirico. Il modello allinea quindi le rappresentazioni dei campioni originali e di quelli stilizzati, garantendo che le caratteristiche visive apprese rimangano stabili sotto shift distributivi limitati.

3. Apprendimento dei Prototipi Specifici del Dominio (DSPL): Durante l'inferenza, gli autori sostengono che fare affidamento esclusivamente sulle caratteristiche invarianti del dominio sia subottimale. Introducono una strategia di ensemble che combina predizioni invarianti del dominio con predizioni specifiche del dominio.

   • I prototipi sono costruiti per ogni classe all'interno di ciascun dominio sorgente utilizzando l'encoder visivo specifico del dominio.
   • Per un campione di test, il modello calcola la similarità tra la query e questi prototipi per generare una predizione specifica del dominio.
   • L'output finale è una combinazione pesata della predizione invariante del dominio e della predizione basata sul prototipo specifica del dominio, sfruttando la conoscenza di domini visti simili per assistere la classificazione del target non visto.

Contributi Chiave

• Framework PADG: Un nuovo framework di prompt-tuning che sfrutta appieno la modalità testuale per ottenere il disentanglement cross-modale, separando le componenti invarianti e specifiche sia nello spazio testuale che in quello visivo.
• Modulo WERA: Un nuovo modulo che stilizza avversarialmente le caratteristiche visive all'interno di una palla di Wasserstein ed impone l'allineamento tra le distribuzioni originale e perturbata. Gli autori forniscono un'analisi teorica che garantisce i limiti di generalizzazione sotto questa ottimizzazione.
• Strategia DSPL: Un meccanismo di ensemble basato su prototipi che integra le statistiche specifiche del dominio con le predizioni invarianti del dominio per migliorare l'affidabilità dell'inferenza.
• Valutazione Completa: Esperimenti estesi che dimostrano l'efficacia del metodo su molteplici benchmark.

Risultati Sperimentali
Gli autori hanno valutato PADG su cinque benchmark mainstream di DG: PACS, VLCS, OfficeHome, DomainNet e TerraIncognita.

• Multi-Source DG: PADG ha raggiunto prestazioni state-of-the-art (SOTA) su tutti i dataset, con un'accuratezza media del 78,73%, superando i precedenti metodi SOTA come SIMPLE+ (78,10%) e SMOS (68,30%). In particolare, sul complesso dataset TerraIncognita, PADG ha migliorato l'ERM baseline del 6,71% e ha superato CLIP-LoRA del 3,31%.
• Single-Source DG: Nell'ambito più difficile della generalizzazione da singolo dominio (addestramento su una sola sorgente, test su più target), PADG ha superato significativamente i metodi esistenti, inclusi gli approcci basati su UDIM e CLIP, con miglioramenti fino al 16,79% su OfficeHome.
• Studi di Ablazione: Gli autori hanno confermato la significatività statistica di ogni componente (GAT, IMT, WERA, DSPL). I risultati indicano che il disentanglement testuale fornisce indizi semantici ricchi, mentre WERA riduce efficacementamente la divergenza sorgente-target, e DSPL affina ulteriormente l'inferenza utilizzando la conoscenza specifica del dominio.

Significatività e Rivendicazioni
Il paper sostiene che PADG riformula con successo il prompt tuning come un problema di disentanglement, affrontando efficacementamente i limiti dei metodi esistenti che confondono le caratteristiche specifiche del task con quelle invarianti del dominio. Combinando la ricchezza semantica degli LLM con la robustezza distributiva dell'apprendimento basato su Wasserstein, il metodo raggiunge prestazioni robuste anche sotto significativi shift di stile e con dati sorgente limitati. Gli autori affermano che il loro approccio fornisce un framework di fine-tuning leggero ma efficace che valida l'ipotesi secondo cui il disentanglement esplicito di fattori invarianti e specifici sia cruciale per la generalizzazione. L'analisi teorica supporta ulteriormente la tesi secondo cui l'ottimizzazione proposta garantisce la robustezza contro gli shift distributivi entro un raggio definito.