Riepilogo Tecnico: USE – Un Framework di Self-Ensembling Unificato per il Test-Time Prompt Tuning

1. Problema

I Modelli Vision-Language (VLM), come CLIP, hanno dimostrato una forte generalizzazione in scenari zero-shot ma rimangono vulnerabili ai cambiamenti di distribuzione nei compiti a valle. Sebbene l'Adattamento al Tempo di Test (TTA) offra una soluzione sfruttando campioni di test non etichettati, i metodi esistenti soffrono spesso di inconsistenze tra le loro fasi di ottimizzazione e di inferenza.

Nello specifico, il metodo pionieristico di Test-Time Prompt Tuning (TPT) ottimizza i prompt testuali minimizzando l'entropia marginale sulle predizioni medie di viste aumentate. Tuttavia, TPT e le sue varianti tipicamente si affidano a un'aumentazione "debole" (l'immagine originale) per l'inferenza finale, mentre la fase di ottimizzazione utilizza una media di aumentazioni "forti". Questa discrepanza crea un disallineamento tra le pseudo-etichette utilizzate per l'ottimizzazione e la strategia di predizione finale. Inoltre, gli approcci esistenti spesso sottopesano o escludono l'immagine di test originale durante la costruzione delle pseudo-etichette, nonostante l'evidenza che l'immagine originale possa essere più affidabile di alcune viste aumentate nella classificazione zero-shot.

2. Metodologia

Il documento propone USE (Unified Self-Ensembling), un framework che unifica le fasi di ottimizzazione e inferenza attraverso una strategia di self-ensembling coerente.

2.1 Rivedere TPT come Self-Training

Gli autori reinterpretano innanzitutto l'obiettivo di TPT. Introducendo una distribuzione ausiliaria $q$ (una versione con stop-gradient della predizione media), l'obiettivo di minimizzazione dell'entropia marginale viene scomposto in un termine di Reverse Cross-Entropy (RCE) e un termine di divergenza KL. Poiché il termine KL viene ottimizzato quando $q$ è fissato, l'obiettivo si riduce efficacemente alla minimizzazione della RCE. Ciò rivela che TPT apprende implicitamente da pseudo-etichette auto-generate, dove la pseudo-etichetta è costruita mediando le predizioni da selezionate viste aumentate a bassa entropia.

2.2 Strategia di Self-Ensembling (SE)

Per migliorare la qualità di queste pseudo-etichette, gli autori introducono una strategia di Self-Ensembling (SE). L'analisi empirica mostra che, sebbene le aumentazioni forti siano utili, l'aumentazione debole (l'immagine di test originale) possiede spesso un valore distintivo e non dovrebbe essere scartata.

La strategia SE aggrega dinamicamente le predizioni sia dalle aumentazioni deboli ($p_w$) che da quelle forti ($p_s$). Utilizza un coefficiente di ponderazione basato sull'entropia $\beta$ per regolare adattivamente il contributo dell'immagine di test:

1. Ranking: Il rango di auto-entropia relativa $\delta$ dell'aumentazione debole viene calcolato rispetto all'insieme delle aumentazioni forti.
2. Ponderazione: Una funzione lineare riscala $\delta$ in un peso $\beta$ (limitato tra 0.3 e 0.7). Se l'aumentazione debole ha un'entropia inferiore (maggiore confidenza) rispetto alla maggior parte delle aumentazioni forti, riceve un peso maggiore.
3. Costruzione della Pseudo-Etichetta: La pseudo-etichetta finale $q(x)$ è calcolata come:
   $$q(x) = \beta \cdot p_w(x) + (1 - \beta) \cdot p_s(x)$$

2.3 Il Framework Unificato (USE)

USE garantisce la coerenza tra le due fasi del TTA:

• Fase di Ottimizzazione: Il prompt testuale viene ottimizzato utilizzando la perdita RCE, dove la target pseudo-etichetta $q(x)$ è generata tramite la strategia SE.
• Fase di Inferenza: A differenza di TPT, che predice esclusivamente sull'aumentazione debole, USE applica la stessa strategia SE per generare la predizione finale $\hat{p}(x)$. Ciò unifica l'obiettivo di stima della pseudo-etichetta e l'inferenza finale.

Inoltre, gli autori introducono una tecnica di skip per ridurre il costo computazionale. Se la predizione dall'aumentazione debole è identica a quella delle aumentazioni forti selezionate, il passaggio di ottimizzazione viene saltato, poiché la predizione è ritenuta affidabile.

In particolare, la strategia SE può funzionare indipendentemente come un metodo TTA senza ottimizzazione, non richiedendo backpropagation.

3. Contributi Chiave

• Reinterpretazione di TPT: Il documento rivela che TPT apprende implicitamente da pseudo-etichette auto-generate, inquadrando l'obiettivo di entropia marginale come una perdita di Reverse Cross-Entropy contro un target con stop-gradient.
• Self-Ensembling (SE): Una strategia semplice ed efficace che pesa adattivamente le aumentazioni deboli e forti per generare pseudo-etichette più affidabili. Funge da metodo TTA stand-alone, privo di ottimizzazione.
• Framework Unificato (USE): Un framework TTA che allinea l'obiettivo di ottimizzazione con l'obiettivo di inferenza applicando la strategia SE in entrambe le fasi, garantendo la coerenza.
• Capacità Plug-and-Play: SE è dimostrato essere un modulo leggero che può essere integrato in esistenti metodi TTA per migliorare costantemente le prestazioni senza un carico computazionale significativo.

4. Risultati Sperimentali

Gli autori hanno valutato USE e SE su ImageNet, le sue varianti Out-of-Distribution (OOD) (ImageNet-A, V2, R, Sketch) e dieci dataset fine-grained (es. DTD, Flowers102, EuroSAT) utilizzando backbone ViT-B/16 e ResNet-50.

• Prestazioni:
  • Senza Ottimizzazione: SE ha ottenuto i risultati migliori o i secondi migliori tra i metodi senza ottimizzazione, superando CLIP, MTA e ZERO. Sul backbone ResNet-50, SE ha raggiunto un'accuratezza media del 47.80% sui dataset OOD, superando molti metodi basati su ottimizzazione.
  • Basato su Ottimizzazione: USE ha costantemente superato i baseline come TPT, C-TPT, R-TPT e STS. Sui dataset fine-grained con ViT-B/16, USE ha migliorato l'accuratezza media dal 64.84% (TPT) al 65.35%.
  • Robustezza: Quando inizializzato con CoOp (un'inizializzazione del prompt più forte), sia SE che USE hanno mantenuto prestazioni di alto livello, dimostrando robustezza a diverse configurazioni pre-addestrate.
• Integrazione: Integrare SE come modulo plug-in in metodi esistenti (TPT, C-TPT, R-TPT, STS) ha prodotto costantemente guadagni di accuratezza. Ad esempio, aggiungere SE a C-TPT ha aumentato la sua accuratezza IN&O dal 61.09% al 64.27%.
• Efficienza:
  • SE è altamente efficiente, richiedendo solo 0.059 secondi per campione e 1.06 GB di memoria, paragonabile a 64 passaggi forward di CLIP ma con un'accuratezza superiore.
  • USE, utilizzando la tecnica di skip, ha ridotto il tempo medio di test a 0.144 secondi per immagine. Oltre il 60% dei campioni di test è stato saltato senza degradazione dell'accuratezza.

5. Significato e Rivendicazioni

Il documento afferma che il significato primario di USE risiede nella sua unificazione degli obiettivi di ottimizzazione e inferenza. Garantendo che le pseudo-etichette utilizzate per l'adattamento siano costruite utilizzando la stessa strategia della fase di inferenza finale, USE elimina il divario di prestazioni spesso presente nei metodi TTA.

Gli autori sottolineano che:

1. La Coerenza è la Chiave: I guadagni di prestazione sono ampiamente attribuiti alla coerenza fornita dalla strategia SE in entrambe le fasi.
2. Semplicità ed Efficacia: La strategia SE è un meccanismo di ponderazione basato sull'entropia semplice, che non richiede obiettivi di addestramento complessi o parametri aggiuntivi, eppure produce miglioramenti sostanziali delle prestazioni.
3. Versatilità: Il framework è versatile, funzionando efficacemente sia come metodo stand-alone senza ottimizzazione, sia come potenziamento coerente per metodi basati su ottimizzazione.

Il documento conclude che, sebbene il metodo introduca un certo carico computazionale dovuto alla generazione di molteplici aumentazioni (un tratto comune del TTA episodico), l'uso della tecnica di skip e gli elevati guadagni di accuratezza rendono USE un approccio pratico ed efficace per migliorare la robustezza dei VLM contro i cambiamenti di distribuzione.