Sintesi Tecnica: DOME - Apprendimento di Variabili di Dominio Trasferibili da Supervisione Sparsa per l'Adattamento al Tempo di Test

1. Definizione del Problema

L'Adattamento al Tempo di Test (Test-Time Adaptation, TTA) mira ad allineare un modello pre-addestrato con i cambiamenti dei domini di test utilizzando solo dati streaming non etichettati. I metodi TTA esistenti si affidano prevalentemente a un paradigma di "ricerca implicita", in cui tentano di inferire una singola distribuzione statistica globale per rappresentare l'intero dominio target. Gli autori sostengono che questo approccio sia fondamentalmente errato per gli scenari del mondo reale perché:

• Multidimensionalità: I cambiamenti di dominio nel mondo reale sono multidimensionali e specifici per ogni campione (ad esempio, un'immagine può appartenere simultaneamente a un dominio "artistico" e a un dominio "animale").
• Perdita di Informazioni: Forzare tutti i dati target in una singola rappresentazione unificata elimina i segnali di dominio specifici per il campione.
• Instabilità: Il conflitto tra la realtà multidimensionale del campione e l'obiettivo di apprendere una singola distribuzione globale porta a un'ottimizzazione instabile e a minimi locali.
• Fragilità: Gli attuali metodi richiedono spesso euristiche complesse o algoritmi di adattamento intricati per mitigare questi problemi, pur rimanendo fragili sotto diversi cambiamenti.

Il documento pone una domanda centrale: Possiamo modellare esplicitamente il dominio di ogni campione invece di fare affidamento sulla ricerca implicita?

2. Metodologia: DOME e il Framework Sparse-to-Dense (S2D)

Gli autori propongono DOME (DOMain Encoder), un encoder di dominio zero-shot che genera esplicitamente rappresentazioni di dominio per i campioni a valle. DOME è addestrato tramite un framework di apprendimento Sparse-to-Dense (S2D), che consiste in due componenti sinergiche:

A. Disentanglement del Dominio con Etichette Sparse (SDD)

Poiché le annotazioni dense del dominio non sono disponibili, SDD impara a isolare i fattori specifici del dominio dalla semantica della categoria utilizzando una supervisione sparsa.

• Momentum Sparse Bank: Un banco di dominio memorizza caratteristiche sparse e correlate al dominio aggiornate tramite una strategia di momentum ($m=0.9$). Questo rinforza le informazioni di dominio condivise pur sopprimendo il rumore specifico dell'istanza.
• Meccanismo di Disentanglement:
  1. I token intermedi di un encoder di visione CLIP hanno le codifiche posizionali rimosse per sopprimere gli indizi relativi alla categoria.
  2. Un Dictionary Decoder leggero mappa la rappresentazione dell'immagine in uno spazio ad alta dimensionalità e overcomplete.
  3. Regolarizzazione della Sparsità: Una perdita $\ell_1$ incoraggia il modello ad attivare solo un sottoinsieme sparso di caratteristiche interpretabili (attributi canonici del dominio).
  4. JumpReLU: Una soglia apprendibile sopprime le attivazioni deboli residue, producendo un segnale di dominio pulito e sparso ($z_{dom}$).

B. Apprendimento delle Rappresentazioni del Dominio Dense (DDRL)

Questa componente estrapola le annotazioni sparse in uno spazio di dominio continuo e denso per abilitare la generalizzazione zero-shot.

• Pre-addestramento Visione-Linguaggio: DOME è inizializzato da encoder di immagine e testo CLIP congelati. Durante l'addestramento, un testo di dominio parzialmente mascherato guida l'estrazione delle variabili di dominio, riducendo l'ambiguità nello spazio multidimensionale.
• Riparametrizzazione: Il modello predice la media per canale ($\hat{\mu}$) e la deviazione standard ($\hat{\sigma}$) per rappresentare le statistiche del dominio.
• Obiettivi di Addestramento: Le caratteristiche dense ($\hat{z}$) sono addestrate per allinearsi con i segnali sparsi puliti ($z_{dom}$) tramite:
  • Perdita MSE: Regredisce le proiezioni dense verso i prototipi sparsi.
  • Perdita Ausiliaria: Allinea le proiezioni con le statistiche grezze del dominio.
  • Perdita InfoNCE: Incoraggia la coesione intra-dominio e la separazione inter-dominio.

C. Integrazione con l'Adattamento al Tempo di Test (TTA)

All'inferenza, DOME opera come un modulo congelato:

1. Iniezione del Dominio: DOME elabora l'immagine di test (e la sua debole aumentazione) per generare statistiche di dominio.
2. Modulazione dell'Adapter: Un leggero adapter MLP converte queste statistiche in parametri affini ($g, b$).
3. Modulazione delle Caratteristiche: Questi parametri modulano le caratteristiche di un backbone ViT congelato tramite $x = x \cdot (1 + g) + b$ dopo la LayerNorm.
4. Ottimizzazione: Solo l'adapter e i livelli di normalizzazione sono aggiornati utilizzando un obiettivo standard di minimizzazione dell'entropia (entropia condizionale e marginale) su un singolo passaggio forward-backward. Non è richiesto alcun complesso auto-apprendimento o pseudo-labeling.

3. Contributi Chiave

1. Iniezione Esplicita del Dominio: DOME è il primo estrattore di caratteristiche specifiche del dominio general-purpose nella letteratura TTA, trasformando il paradigma dalla ricerca implicita del dominio all'iniezione esplicita del dominio.
2. Framework di Apprendimento Sparse-to-Dense: Una nuova strategia di addestramento che utilizza un banco sparso aggiornato tramite momentum per la supervisione disgiunta e il pre-addestramento visione-linguaggio per estrapolare rappresentazioni di dominio dense e continue per la generalizzazione zero-shot.
3. Semplicità e Prestazioni: Gli autori dimostrano che un adattamento robusto deriva da una rappresentazione del dominio esplicita e strutturata piuttosto che da algoritmi complessi. Anche una semplice strategia di minimizzazione dell'entropia combinata con DOME raggiunge risultati allo stato dell'arte.

4. Risultati Sperimentali

Il metodo è stato valutato su ImageNet-C, ImageNet-R e ImageNet-Sketch utilizzando vari backbone (ViT-B, ViT-L, DINOv2).

• ImageNet-C: DOME + Minimizzazione dell'Entropia ha raggiunto il 66,7% di accuratezza media, superando baselines complessi come DeYO (66,4%) e FOA (66,3%). Ha mostrato una forza particolare in Motion Blur, Zoom Blur ed Elastic Transform.
• ImageNet-R: Ha raggiunto il 68,7% di accuratezza top-1, eguagliando il metodo complesso più performante (DeYO) e gestendo efficacemente i cambiamenti di stile.
• ImageNet-Sketch: Ha stabilito un nuovo stato dell'arte al 53,9%, superando significativamente DeYO (50,3%), dimostrando robustezza quando i segnali di texture sono assenti.
• Generalizzazione: In impostazioni di TTA offline su domini artistici non visti, DOME ha costantemente superato un baseline che utilizza le statistiche grezze di CLIP (DomStat), migliorando l'accuratezza dal 52,81% al 68,34% su ViT-B/16.
• Efficienza: DOME raggiunge prestazioni SOTA con 4 volte meno parametri addestrabili rispetto ai metodi di adattamento a modello completo (es. CoTTA) mantenendo la latenza in tempo reale.

5. Significato e Rivendicazioni

Il paper sostiene che il driver principale di un TTA robusto non è la complessità dell'algoritmo di adattamento (es. auto-apprendimento, allineamento dei prototipi), ma la qualità della rappresentazione del dominio.

• Cambio di Paradigma: Modellando esplicitamente le variabili di dominio, il processo di inferenza diventa dipendente dai dati e personalizzabile per il dominio multidimensionale di ogni campione, invece di essere ottimizzato per una potenzialmente inaccurata distribuzione globale.
• Disentanglement: Il framework S2D riesce a disgiungere i segnali di dominio dalle informazioni semantiche, permettendo al modello di concentrarsi sulle informazioni semantiche durante l'adattamento pur essendo guidato da espliciti segnali di dominio.
• Capacità Zero-Shot: Sfruttando il pre-addestramento visione-linguaggio, DOME può generalizzare a domini non visti senza richiedere etichette di dominio specifiche durante la fase di TTA a valle.

Gli autori concludono che la rappresentazione del dominio esplicita e strutturata è la chiave per risolvere la fragilità degli attuali metodi TTA, consentendo a strategie semplici di raggiungere prestazioni allo stato dell'arte attraverso diversi e continui cambiamenti di dominio.