Adaptive Debiasing Tsallis Entropy for Test-Time Adaptation

1. Il Problema: Bias nelle Vision-Language Models (VLM) durante la TTA

Le moderne Vision-Language Models (VLM), come CLIP, sono pre-addestrate su dataset web-scale massicci ma fortemente sbilanciati. Questo porta a un bias intrinseco di previsione:

• Le classi "head" (frequenti) vengono previste con alta confidenza e accuratezza.
• Le classi "tail" (rare) vengono previste con bassa confidenza e accuratezza.

Nelle tecniche di Test-Time Adaptation (TTA), l'obiettivo è adattare il modello ai dati di test non etichettati in tempo reale. La maggior parte dei metodi TTA esistenti (es. TPT, Zero) utilizza l'Entropia di Shannon (SE) per misurare l'incertezza e selezionare le "viste ad alta confidenza" tra diverse trasformazioni di un'immagine.

Il limite fondamentale: L'Entropia di Shannon calcola l'incertezza basandosi sulle probabilità stimate $p$. Poiché queste probabilità sono già distorte dal bias del modello (soprattutto per le classi tail), anche il calcolo dell'entropia è distorto. Di conseguenza, la SE non riesce a distinguere correttamente tra incertezza reale e bias strutturale, portando alla selezione di viste subottimali e a un adattamento inefficace.

2. Metodologia: Dall'Entropia di Shannon all'ADTE

Gli autori propongono una soluzione basata su una generalizzazione dell'entropia, l'Entropia di Tsallis (TE), e la sua evoluzione adattiva, l'ADTE (Adaptive Debiasing Tsallis Entropy).

A. Entropia di Tsallis (TE)

L'Entropia di Tsallis introduce un parametro aggiuntivo $q$ (parametro non estensivo) che generalizza l'Entropia di Shannon:
$$H_{TE}(P) = \frac{1}{1-q} \left( \sum_{l=1}^{L} P(y=l)^q - 1 \right)$$

• Equivalenza: Quando $q \to 1$, la TE diventa identica alla SE.
• Proprietà di Correzione del Bias: Gli autori dimostrano teoricamente e sperimentalmente che per $0 < q < 1$, la TE è in grado di mitigare l'impatto del bias. In particolare, per le classi tail (dove $p \approx 0$), la TE con $q < 1$ produce valori di entropia che correggono la sottostima dell'incertezza tipica della SE, permettendo di selezionare viste con una maggiore affidabilità cumulativa (misurata tramite Top-K Cumulative Reliability, $Tcr_K$).

B. Adaptive Debiasing Tsallis Entropy (ADTE)

Sebbene la TE sia promettente, il parametro $q$ è solitamente iperparametro manuale e fisso. Tuttavia, il bias varia da classe a classe (le classi head hanno un bias diverso dalle tail) e da distribuzione a distribuzione.
Per risolvere questo, gli autori introducono l'ADTE, che personalizza il parametro $q$ per ogni classe $l$, denotato come $q_l$.

Algoritmo di Calcolo di $q_l$:

1. Stima del Bias: Utilizzando un "memory bank" di istanze di test in arrivo, il metodo stima la distribuzione delle probabilità a priori $\tilde{p}_l$ per ogni classe. Questo viene fatto risolvendo un'equazione lineare iterativa (metodo di Jacobi) basata sulle pseudo-label generate dal modello.
2. Normalizzazione: Il bias stimato viene normalizzato. L'ipotesi è che un bias maggiore (tipico delle classi tail) richieda una correzione più forte, ovvero un valore di $q_l$ più piccolo (vicino a 0).
3. Formula: $q_l$ è calcolato tramite normalizzazione min-max del bias stimato in un intervallo predefinito (es. $[0.01, 0.9]$):
   $$q_l = \alpha + (\beta - \alpha) \frac{-\log \tilde{p}_l - \min(\tilde{p})}{\max(\tilde{p}) - \min(\tilde{p})}$$
4. Selezione delle Viste: Si calcola l'entropia $H_{ADTE}$ per ogni vista aumentata utilizzando i parametri $q_l$ specifici per classe. Le viste con entropia più bassa (più confidenti) vengono selezionate e aggregate per la previsione finale.

3. Contributi Chiave

1. Identificazione del Bias nell'Entropia: Dimostrazione che l'uso della SE nella TTA per VLM porta a stime di incertezza distorte a causa del pre-addestramento su dati sbilanciati.
2. Generalizzazione Teorica: Dimostrazione che l'Entropia di Shannon è un caso limite della Tsallis e che la TE offre un limite inferiore (in termini di prestazioni) superiore alla SE quando $q < 1$.
3. Metodo ADTE: Sviluppo di un framework adattivo che calcola dinamicamente un parametro $q$ specifico per ogni classe senza bisogno di tuning manuale degli iperparametri, integrandosi perfettamente con strategie di aggiustamento dei logit (Logit Adjustment).
4. Robustezza: Il metodo non richiede modifiche all'architettura del modello o ai prompt testuali e funziona indipendentemente dal tipo di modello VLM utilizzato.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su CLIP (ViT-B/16 e ViT-L/14) e confrontati con lo stato dell'arte (SOTA) come TPT, Zero, TDA, Frolic, e BCA.

• Benchmark OOD (Out-of-Distribution): Su ImageNet e le sue varianti (ImageNet-A, V2, R, K), ADTE supera costantemente i metodi SOTA.
  • Esempio: Con ViT-L/14 e prompt CuPL, ADTE raggiunge il 77.2% di accuratezza media OOD, superando Zero (75.9%) e Frolic (76.2%).
• Benchmark Cross-Domain: Su 10 dataset diversi (Caltech, SUN, DTD, ecc.), ADTE ottiene la più alta performance media in assoluto, dimostrando una capacità di generalizzazione superiore.
• Analisi sulle Classi Tail: L'analisi specifica mostra che ADTE migliora drasticamente l'accuratezza e la confidenza sulle classi tail (es. su ImageNet-1k, classi con accuratezza 0% salgono fino al 56.5% con ADTE), riducendo l'entropia predittiva per queste categorie.
• Efficienza Computazionale: L'aggiunta di ADTE rispetto al metodo "Zero" comporta un costo computazionale trascurabile (tempo di inferenza simile, ~0.07s contro 0.06s), rendendolo pratico per l'uso in tempo reale.
• Robustezza al Rumore: Esperimenti con pseudo-label rumorose (fino al 100% di errore) mostrano che ADTE rimane stabile e supera la SE, confermando la sua robustezza teorica.

5. Significato e Impatto

Questo lavoro rappresenta un passo significativo nel campo dell'adattamento a tempo di test per i modelli multimodali.

• Cambio di Paradigma: Sposta l'attenzione dalla semplice minimizzazione dell'entropia (SE) a una misurazione dell'incertezza che tiene conto della non estensività e del bias distributivo (TE).
• Praticità: Offre una soluzione "plug-and-play" che non richiede ri-addestramento costoso o tuning manuale complesso, rendendo i VLM più robusti in scenari reali dove i dati di test possono essere fortemente sbilanciati o diversi dal dominio di addestramento.
• Generalità: La capacità di funzionare su diverse architetture (da CLIP a SigLIP) e su modelli unimodali suggerisce che il principio di correzione del bias tramite entropia adattiva è universale e applicabile oltre il contesto specifico di CLIP.

In sintesi, ADTE risolve il problema fondamentale del bias nelle VLM durante l'adattamento, trasformando un limite teorico dell'entropia di Shannon in un vantaggio competitivo attraverso l'uso intelligente e adattivo dell'entropia di Tsallis.