SoC: Semantic Orthogonal Calibration for Test-Time Prompt Tuning

Riepilogo Tecnico: Calibrazione Semantica Ortogonale per l'Adattamento dei Prompt al Momento del Test (SoC)

Enunciato del Problema
I Modelli Vision-Language (VLM), come CLIP, hanno dimostrato forti capacità zero-shot ma affrontano sfide significative quando vengono distribuiti in scenari reali che coinvolgono dati fuori distribuzione o categorie nuove. Sebbene l'Adattamento dei Prompt al Momento del Test (TPT) sia emerso come un metodo per adattare i VLM a nuovi compiti senza dati etichettati, ottimizzando i prompt testuali tramite minimizzazione dell'entropia, questo approccio induce spesso previsioni eccessivamente confidenti, portando a una scarsa calibrazione dell'incertezza.

I metodi recenti dello stato dell'arte, in particolare O-TPT (Orthogonal Test-Time Prompt Tuning), tentano di mitigare questa eccessiva sicurezza imponendo l'ortogonalità completa tra coppie di embedding dei prompt testuali. L'intuizione è che prototipi ortogonali migliorino la separabilità delle classi. Tuttavia, questo articolo sostiene che imporre un'ortogonalità rigorosa sia teoricamente ed empiricamente difettoso per classi semanticamente correlate. Spingendo aggressivamente tutti i prototipi delle classi l'uno lontano dall'altro, O-TPT interrompe la struttura semantica intrinseca dello spazio di embedding (ad esempio, costringendo "coltura annuale" e "coltura permanente" a essere ortogonali nonostante la loro sovrapposizione concettuale). Questa separazione artificiale risulta in un'inflazione sistematica della confidenza di previsione, anche quando la previsione del modello è errata, degradando così la calibrazione invece di migliorarla.

Metodologia
Gli autori propongono la Calibrazione Semantica Ortogonale (SoC), un regolarizzatore innovativo progettato per imporre la separazione dei prototipi preservando al contempo la vicinanza semantica.

1. Regolarizzazione Basata su Huber: Invece della penalità quadratica utilizzata in O-TPT (che applica una forte forza repulsiva proporzionale al quadrato della similarità), SoC utilizza una funzione di perdita Huber. Questa perdita è quadratica per residui piccoli (coppie a bassa similarità) ma transita a una penalità lineare per residui più grandi (coppie ad alta similarità).
2. Preservazione Semantica: La formulazione Huber limita la forza repulsiva per coppie di classi altamente simili. Questo garantisce che le classi semanticamente correlate (che possiedono naturalmente un'alta similarità coseno nello spazio di embedding) non vengano allontanate in modo aggressivo come in O-TPT. Il regolarizzatore è definito come:
   $$L_{SoC} = L_{TPT} + \lambda \cdot \frac{2}{K(K-1)} \sum_{i<j} L_{Huber}(s_{ij}, \delta)$$
   dove $s_{ij}$ è la similarità coseno tra i prototipi delle classi $i$ e $j$, e $\delta$ è una soglia di margine.
3. Analisi Teorica: L'articolo deriva un limite inferiore sulla confidenza softmax basato sulla similarità delle classi nel caso peggiore ($\mu$). L'analisi dimostra che l'ortogonalità completa (O-TPT) riduce aggressivamente $\mu$ in un singolo passo di gradiente, portando a un limite inferiore di confidenza strettamente più alto. Al contrario, il regolarizzatore proposto basato su Huber applica una repulsione più delicata alle coppie ad alta similarità, prevenendo aumenti eccessivi di confidenza e mantenendo una migliore calibrazione.

Contributi Chiave

• Regolarizzatore SoC: Introduzione di un regolarizzatore basato su Huber per TPT che produce gradienti più lisci rispetto ai vincoli di ortogonalità completa. Preserva efficacemente la struttura semantica tra classi correlate mitigando al contempo gli effetti di sovrapposizione dell'ortogonalità rigorosa.
• Insight Teorico: Una derivazione di un limite inferiore di confidenza che collega la similarità delle classi nel caso peggiore all'incertezza di previsione. Questa analisi rivela che l'ortogonalità completa inflaziona sistematicamente la confidenza riducendo aggressivamente la similarità, anche per categorie semanticamente correlate, mentre il metodo proposto evita ciò limitando la repulsione.
• Validazione Empirica: Esperimenti completi su 11 dataset diversi (inclusa classificazione fine-granulare, shift di dominio naturali e immagini satellitari) dimostrano che SoC migliora costantemente le metriche di calibrazione (Errore di Calibrazione Atteso - ECE) rispetto ai baseline dello stato dell'arte (TPT, C-TPT, O-TPT) mantenendo al contempo prestazioni discriminative competitive.

Risultati

• Prestazioni di Calibrazione: Su 11 dataset, SoC ha ottenuto i migliori punteggi ECE in tutti i dataset tranne uno rispetto a O-TPT. Il miglioramento medio dell'ECE su O-TPT è stato di 2,3, con guadagni significativi osservati in compiti fine-granulare (ad esempio, una riduzione di 14,5 punti dell'ECE su EuroSAT).
• Affidabilità: I diagrammi di affidabilità mostrano che mentre O-TPT esibisce un'eccessiva sicurezza pronunciata (probabilità previste che superano costantemente l'accuratezza osservata), SoC produce curve più piatte vicine alla diagonale, indicando un migliore allineamento tra confidenza e accuratezza.
• Robustezza:
  • Aggiornamenti Multi-step: Applicando due aggiornamenti di gradiente (uno scenario in cui la calibrazione di O-TPT peggiora del 39%), SoC ha mostrato un degrado significativamente inferiore (23%), allineandosi al risultato teorico secondo cui la riduzione netta della similarità di O-TPT è instabile.
  • Variazioni del Backbone: SoC ha superato O-TPT sia in accuratezza che in ECE su diversi backbones ViT (ViT-B/16 e ViT-L/14).
  • Sensibilità ai Prompt: SoC ha dimostrato un ECE più basso su 18 diversi prompt testuali iniziali rispetto a O-TPT, indicando una ridotta sensibilità all'inizializzazione del prompt.
• Efficienza Computazionale: La complessità computazionale di SoC è $O(n^2)$, mentre O-TPT coinvolge trasformazioni di Householder con complessità $O(n^3)$, rendendo SoC più efficiente per dataset con un gran numero di classi.

Significato e Affermazioni
L'articolo afferma che il limite principale dei metodi di calibrazione basati sull'ortogonalità attuali è il loro fallimento nel distinguere tra separazione geometrica e vicinanza semantica. Sostituendo la repulsione rigida di O-TPT con un meccanismo più fluido e consapevole della semantica, SoC permette ai VLM di adattarsi a nuovi compiti senza sacrificare l'affidabilità delle loro stime di incertezza. Gli autori collocano questo lavoro come un passo verso metodi di calibrazione più consapevoli della semantica per i VLM, particolarmente cruciali per applicazioni critiche per la sicurezza come l'assistenza sanitaria e la guida autonoma, dove previsioni errate eccessivamente confidenti sono inaccettabili. Lo studio suggerisce che preservare la struttura della varietà delle classi semanticamente simili è essenziale per raggiungere una vera calibrazione, piuttosto che semplicemente massimizzare la separazione geometrica.