Sintesi Tecnica: Ancoraggio della Distribuzione Visiva per un Prompt Tuning Efficiente

1. Definizione del Problema

I modelli visione-linguaggio (VLM) come CLIP eseguono il riconoscimento zero-shot confrontando le rappresentazioni delle immagini con classificatori testuali derivati dai nomi delle classi. Sebbene il prompt tuning adatti questi modelli utilizzando dati sorgente etichettati limitati, gli approcci esistenti affrontano un compromesso fondamentale tra efficienza e capacità di adattamento:

• Prompt testuali statici: sono computazionalmente economici ma spesso vanno in overfitting sulla distribuzione sorgente, fallendo nel catturare come le classi si manifestino visivamente in un nuovo dominio target.
• Prompt condizionati dall'immagine: si adattano alle singole query ma comportano costi di computazione per ogni istanza.
• Il tuning multimodale: modifica la branca visiva, aumentando la complessità.

Esiste una lacuna critica: i nomi delle classi definiscono l'identità semantica (ad es. "foresta") ma non specificano l'istanza visiva di quella classe in un particolare dominio target (ad es. un'immagine satellitare zenitale di una foresta). I metodi esistenti che tentano di sintetizzare prototipi visivi direttamente dai nomi delle classi spesso falliscono nel trasferirsi tra i dataset perché recuperano la geometria del dominio sorgente piuttosto che l'aspetto del dominio target. Inoltre, il condizionamento indiretto dei prompt potrebbe non sfruttare efficacemente i prototipi visivi disponibili, anche quando esistono.

2. Metodologia: Visual Distribution Anchoring (VDA)

Gli autori propongono VDA, un framework di adattamento al target senza addestramento che aumenta un classificatore semantico congelato con prototipi visivi a livello di classe stimati offline da un pool non etichettato del target. Il metodo opera senza etichette target, ottimizzazione lato target, assunzioni di prior uniformi di classe o raffinamento iterativo.

Componenti Core

1. Classificatori Semantici e di Dominio Congelati:

   • Un classificatore semantico congelato (ad es., TCP o CLIP zero-shot) assegna punteggi alle immagini basandosi sui nomi delle classi.
   • Un classificatore di template di dominio fisso assegna punteggi alle immagini basandosi su una combinazione di nomi di classe e una descrizione del dominio specificata manualmente (ad es., "una fotografia ravvicinata della texture di un [classe]").
   • I logit da entrambi i classificatori vengono mediati per punteggiare ogni immagine non etichettata nel pool target.

2. Partizionamento Hard (Hard Partitioning):

   • A differenza dei metodi di assegnazione soft (ad es., Sinkhorn) che forzano le immagini in distribuzioni bilanciate, VDA esegue un'assegnazione argmax hard, assegnando ogni immagine a esattamente una classe predetta.
   • Ciò consente masse di classe disuguali, riflettendo la distribuzione naturale del pool non etichettato.

3. Selezione Capped di Pseudo-Supporto (Capped Pseudo-Support Selection):

   • All'interno di ogni gruppo di classe predetta, le immagini sono classificate in base alla confidenza di assegnazione (probabilità softmax).
   • VDA trattiene al massimo $K$ (ad es., $K=32$) immagini con il ranking più alto per classe come "pseudo-supporti". Se una classe ha meno di $K$ assegnazioni, tutte vengono trattenute; se non ne ha nessuna, la classe si affida esclusivamente al classificatore semantico.
   • Fondamentalmente, il metodo non richiede pseudo-etichette perfette; errori di classificazione visivamente locali (ad es., classificare erroneamente un modello specifico di aeromobile ma identificare correttamente il produttore) possono comunque fornire informazioni utili sull'aspetto del dominio target.

4. Stima e Fusione dei Prototipi:

   • I prototipi visivi normalizzati sono calcolati come la media delle caratteristiche degli pseudo-supporti selezionati per ogni classe.
   • Questi prototipi vengono fusi con l'originale classificatore semantico utilizzando un singolo peso globale ($\lambda$).
   • La fusione è conservativa: il classificatore semantico preserva l'identità della classe, mentre il prototipo visivo corregge l'aspetto del dominio target.
   • Negli spazi di feature condivisi (ad es., standard CLIP), questa fusione si riduce a un vettore di classe fisso e memorizzabile, richiedendo nessuna computazione aggiuntiva durante l'inferenza.

3. Contributi Principali

Il documento presenta tre contributi primari:

1. Distinzione tra Ricostruzione della Sorgente e Trasferimento del Target: Gli autori dimostrano che, mentre la mappatura testo-centroide può ricostruire accuratamente i prototipi sorgente tenuti da parte, essa fallisce nel predire i prototipi target specifici del dominio. Le analisi oracle confermano che i veri prototipi target sono altamente discriminanti, motivando la necessità di stimarli dalle immagini target non etichettate piuttosto che dal solo testo.
2. Introduzione di VDA: Un framework senza addestramento che stima prototipi visivi correlati alla classe da un pool target disgiunto e non etichettato e li fonde con un classificatore semantico congelato. Non richiede etichette target, aggiornamenti di gradiente o raffinamento iterativo.
3. Analisi del Meccanismo: Esperimenti controllati rivelano che il partizionamento hard per classe è il principale motore dei guadagni di performance, piuttosto che statistiche generiche del dominio target. Inoltre, lo studio mostra che gli errori di pseudo-label visivamente locali possono rimanere utili quando combinati con un classificatore semanticamente stabile.

4. Risultati Sperimentali

Gli autori hanno valutato VDA attraverso dieci trasferimenti ImageNet-to-target (inclusi Caltech101, Oxford Pets, Stanford Cars, Flowers102, Food101, FGVC-Aircraft, SUN397, DTD, EuroSAT e UCF101).

• Performance Primaria: Utilizzando TCP come classificatore semantico di base, VDA ha migliorato la media della top-1 accuracy dal 65.82% al 69.21% (+3.39 punti), migliorando nove dataset target su dieci.
• Confronto con i Baseline:
  • VDA ha superato ZLaP di 1.53 punti in media.
  • VDA ha superato una riproduzione priva di prior di InMaP di 2.98 punti.
  • Il metodo ha ottenuto questi guadagni senza assumere un prior di classe uniforme o utilizzare immagini di test del target per l'adattamento.
• Generalità: Il meccanismo di correzione visiva è stato applicato a vari classificatori semantici, dimostrando miglioramenti coerenti:
  • Zero-shot CLIP: +3.22 punti (65.34% $\to$ 68.56%).
  • MaPLe (Multimodal Prompt): +3.35 punti (66.25% $\to$ 69.60%).
  • PromptKD (Target-Distilled): +2.79 punti (70.80% $\to$ 73.59%).
• Insight dall'Ablazione:
  • L'uso diretto dei prototipi visivi senza fusione semantica ha prodotto guadagni minimi, confermando la necessità di fondere la correzione dell'aspetto con l'identità semantica.
  • I metodi di assegnazione soft (Sinkhorn) hanno portato ad assegnazioni ad alta entropia e al degrado delle performance, validando la scelta del partizionamento hard.
  • Il ranking della confidenza ha fornito un beneficio minore e dipendente dal dominio rispetto alla corrispondenza di classe hard.

5. Significato e Rivendicazioni

Il documento sostiene che VDA offre un meccanismo semplice, efficiente e complementare per adattare i modelli visione-linguaggio basati su prompt a nuovi domini. La sua importanza risiede in:

• Adattamento Senza Addestramento: Elimina la necessità di ottimizzazione lato target, raffinamento iterativo o accesso alle query di test durante la fase di adattamento.
• Decoupling di Identità e Aspetto: Trattando i prototipi visivi come correzioni piuttosto che come sostituzioni, VDA sfrutta la robustezza del classificatore semantico pur adattandosi ai cambiamenti dell'aspetto del dominio target.
• Robustezza a Etichette Imperfette: Il metodo utilizza efficacemente pseudo-label imperfetti, purché siano visivamente locali alla classe reale, rendendolo pratico per scenari in cui le etichette esatte non sono disponibili.
• Efficienza di Deployment: Il classificatore risultante è fisso e memorizzabile, non comportando costi di inferenza aggiuntivi rispetto ai classici classificatori congelati quando operante in uno spazio di feature condiviso.

Gli autori concludono che l'evidenza visiva a livello di classe, derivata da pool non etichettati e ancorata tramite partizionamento hard, funge da risorsa potente e sottoutilizzata per un efficiente prompt tuning.