Sintesi Tecnica: Apprendimento Multi-granularità a forma di U per i Modelli Vision-Language (UPrompt)

1. Definizione del Problema

I modelli Vision-Language (VLM), adattati tramite il prompt learning, affrontano un fondamentale dilemma della granularità. I metodi esistenti tipicamente ottimizzano a una singola granularità fissa, creando un intrinseco compromesso:

• Prompt Globali: Strategie come CoOp catturano un contesto ampio ma mancano di consapevolezza semantica fine, fallendo nel codificare i dettagli locali necessari per un ragionamento dettagliato (ad esempio, con prestazioni inferiori sul dataset FGVCAircraft).
• Prompt Locali: I prompt finemente strutturati preservano i dettagli locali ma faticano a integrare un contesto globale sufficiente o a modellare le relazioni compositive tra diverse regioni.

Questa limitazione vincola le prestazioni di adattamento e la generalizzazione in compiti diversi, come il recupero cross-modale, la classificazione few-shot e la generalizzazione da base a nuovo (base-to-novel). Sebbene le architetture gerarchiche come U-Net abbiano avuto successo nell'unificare rappresentazioni multi-livello nei compiti di predizione densa (operando su griglie spaziali di pixel), trasferire questi principi al prompt learning non è banale. Il prompt learning opera in uno spazio di embedding astratto dove i prompt testuali mancano di una struttura geometrica intrinseca, rendendo la costruzione di rappresentazioni multi-granularità significative e di un flusso di informazioni bidirezionale una sfida importante.

2. Metodologia: UPrompt

Gli autori propongono UPrompt, un framework di apprendimento di prompt multi-granularità a forma di U ispirato a U-Net. Esso costruisce rappresentazioni multi-granularità parallele sia nella modalità visiva che in quella testuale, collegate da meccanismi di flusso di informazioni bidirezionali.

2.1 Costruzione Multi-granularità a forma di U

Il framework estende gli encoder CLIP a versioni multi-granularità ($k \in [1, K]$), che spaziano dal livello più grossolano al più fine.

• Modalità Visiva: Costruisce gerarchie di patch annidate tramite pooling spaziale progressivo nello spazio degli embedding. Partendo dai token di patch più fini ($E^{(K)}_{patch}$), le rappresentazioni più grossolane sono derivate ricorsivamente ($E^{(k)}_{patch} = Pool^{(k)}(E^{(k+1)}_{patch})$). I prompt apprendibili vengono concatenati con questi embedding sottoposti a pooling prima di essere inviati all'encoder di visione.
• Modalità Testuale: Costruisce gerarchie semantiche tramite arricchimento progressivo. La semantica centrale viene estratta ($T^{(1)}_{embed}$), e i livelli successivi sono generati aggiungendo iterativamente elaborazioni specifiche per la granularità ($T^{(k)}_{embed} = T^{(k-1)}_{embed} \oplus \Phi^{(k)}_{refine}(t)$). Questi sono istanziati utilizzando Large Language Models (LLM) per generare descrizioni testuali gerarchiche (ad esempio, da concetti astratti a descrizioni dettagliate).

2.2 Meccanismi di Connessione Bidirezionale

Per garantire la coerenza cross-livello e l'apprendimento complementare, UPrompt introduce due meccanismi chiave analoghi alle skip connections di U-Net:

1. Potenziamento Cascata da Grossolano a Fine (Coarse-to-Fine Cascaded Enhancement - CE):

   • Obiettivo: Affrontare la carenza di contesto in cui gli embedding a grana fine mancano di guida globale.
   • Meccanismo: Inietta informazioni contestuali a granularità grossolana negli embedding più fini utilizzando l'attenzione cross-granularità. L'embedding potenziato $\hat{X}^{(k)}$ è calcolato prestando attenzione alla rappresentazione potenziata del livello più grossolano $\hat{X}^{(k-1)}$.
   • Effetto: Permette alle caratteristiche a grana fine di estrarre informazioni contestualmente rilevanti dalle rappresentazioni globali, migliorando la modellazione locale.

2. Supervisione Gerarchica da Fine a Grossolano (Fine-to-Coarse Hierarchical Supervision - HS):

   • Obiettivo: Affrontare l'incoerenza di ottimizzazione e lo scivolamento semantico (semantic drift) alle granularità grossolane.
   • Meccanismo: Utilizza le caratteristiche del livello più fine (che possiedono la migliore corrispondenza cross-modale) come "segnali di insegnamento" per supervisionare i livelli più grossolani tramite distillazione della conoscenza. Viene minimizzata la divergenza KL tra la distribuzione di similarità del livello grossolano e la distribuzione distaccata del livello fine.
   • Effetto: Garantisce la coerenza semantica attraverso le scale, impedendo alle rappresentazioni grossolane di deviare pur mantenendo la loro natura complementare.

2.3 Obiettivo Complessivo

L'obiettivo di addestramento combina la perdita di allineamento contrastivo attraverso tutti i $K$ livelli di granularità con la perdita di supervisione gerarchica ($L_{guide}$). Durante l'inferenza, il sistema può selezionare in modo flessibile i livelli di granularità per bilanciare prestazioni ed efficienza, impostando come predefinito il livello più fine per l'accuratezza ottimale.

3. Contributi Chiave

• Framework UPrompt: Un framework ispirato a U-Net che introduce una gerarchia strutturata nell'adattamento vision-language, superando i limiti a scala singola attraverso percorsi multi-granularità paralleli.
• Flusso di Informazioni Bidirezionale: L'introduzione del Potenziamento Cascata da Grossolano a Fine (iniezione di contesto globale nei dettagli locali) e della Supervisione Gerarchica da Fine a Grossolano (regolarizzazione delle granularità grossolane con l'allineamento del livello fine) per garantire la coerenza semantica e l'apprendimento complementare.
• Validazione Completa: Dimostrazione di prestazioni superiori su 17 benchmark, inclusi il recupero cross-modale, la classificazione few-shot, la generalizzazione da base a nuovo e scenari out-of-distribution.

4. Risultati Sperimentali

Esperimenti estesi validano l'efficacia di UPrompt:

• Recupero Cross-Modale:
  • Su MSCOCO, UPrompt supera MAMET e VPKE rispettivamente di 4.1 e 7.3 rSum.
  • Su Flickr30K, raggiunge un rSum di 571.1, superando metodi recenti di fine-tuning come DoPL, MAMET e VPKE.
• Generalizzazione da Base a Nuovo (Base-to-Novel):
  • Raggiunge una Media Armonica (HM) dell'82.12% su 11 dataset, superando CoCoA-Mix del 5.09% e superando TAP e SurPL-G.
  • Si osservano guadagni notevoli su dataset impegnativi come FGVCAircraft (+0.79% HM).
• Classificazione Few-Shot:
  • Raggiunge un'accuratezza media dell'85.13% su 11 dataset a 16-shot, superando GalLoP, ProVP-Ref e MMA.
• Efficienza e Adattabilità:
  • Inferenza Adattiva: Utilizzando una strategia di uscita anticipata (early-exit) a cascata, UPrompt eguaglia l'accuratezza a grana fine riducendo il costo computazionale al 48%, ottenendo un'accelerazione di 2.1×.
  • Rapporto Costo-Prestazioni: La configurazione a media granularità (UPrompt-M) eguaglia l'accuratezza di PSRC con solo 1/3 dei FLOP.
• Robustezza:
  • Dimostra una forte generalizzazione Out-of-Distribution (OOD) (61.22% in media su varianti di ImageNet), superando metodi come GalLoP e HiCroPL.
  • Le prestazioni rimangono stabili attraverso diversi LLM (Qwen3, Llama3) utilizzati per la generazione della gerarchia testuale.

5. Significato e Rivendicazioni

Il paper sostiene che UPrompt fornisca una soluzione fondata per l'adattamento vision-language, portando i principi dell'apprendimento di rappresentazioni gerarchiche da U-Net ai modelli VLM basati su prompt.

• Risoluzione dei Compromessi: Risolve con successo il limite degli approcci a singola granularità stabilendo un framework unificato che ottiene sia la comprensione globale che la precisione locale attraverso il flusso di informazioni bidirezionale.
• Coerenza Semantica: Il framework assicura che la coerenza semantica sia mantenuta attraverso le scale di rappresentazione, prevenendo la degradazione spesso vista nei moduli multi-granularità isolati.
• Flessibilità: Il design gerarchico consente flessibili compromessi tra prestazioni ed efficienza, permettendo al modello di adattarsi ai vincoli di risorse senza una perdita significativa di accuratezza.

Gli autori riconoscono che, sebbene efficace, l'attuale profondità gerarchica è limitata e il lavoro futuro esplorerà architetture multi-granularità più profonde per modellare strutture semantiche più ricche.