Sintesi Tecnica: BP-TTA: Adattamento al Tempo di Test Bilanciato e Guidato dai Prototipi in Scenari Dinamici

1. Definizione del Problema

Il documento affronta i limiti degli esistenti metodi di Test-Time Adaptation (TTA) quando vengono implementati in scenari dinamici reali. Mentre la TTA tradizionale assume che i dati di test siano indipendenti e identicamente distribuiti (i.i.d.) da un singolo dominio target, le applicazioni pratiche coinvolgono scenari di Practical Test-Time Adaptation (PTTA) caratterizzati da due sfide simultanee:

1. Spostamenti Continui di Dominio (Continual Domain Shifts): La distribuzione di test evolve continuamente nel tempo a causa di condizioni ambientali mutevoli (ad es. illuminazione, meteo, rumore dei sensori).
2. Sbilanciamento delle Classi nei Dati in Streaming: A causa delle correlazioni temporali nei flussi reali (ad es. un veicolo su un'autostrada che vede principalmente automobili, per poi entrare in un'area residenziale con pedoni), le finestre temporali brevi possono presentare uno sbilanciamento delle classi estremamente severo.

I metodi esistenti spesso falliscono in questo contesto perché:

• Sbilanciamento delle Classi: Gli aggiornamenti del gradiente vengono dominati dalle classi maggioritarie, causando l'overfitting del modello su pattern a breve termine e trascurando le classi minoritarie.
• Spostamenti Continui: L'affidamento su pseudo-label o sulla minimizzazione dell'entropia diventa instabile man mano che la distribuzione deriva, portando a una supervisione rumorosa e al dimenticanza catastrofica (catastrophic forgetting).

2. Metodologia: BP-TTA

Gli autori propongono BP-TTA (Balanced and Prototype-Guided Test-Time Adaptation), un framework che integra il Batch-Balanced Sampling (BBS) e il Category Prototype-Guided Adaptation (CPGA) all'interno di un'architettura Mean Teacher (reti student e teacher).

A. Batch-Balanced Sampling (BBS)

Per mitigare lo sbilanciamento delle classi nei dati in streaming, il BBS ricostruisce dinamicamente batch di addestramento bilanciati.

• Memory Bank: Mantiene un memory bank consapevole delle classi $\mathcal{M}$ che memorizza campioni con gli attributi: pseudo-label ($\hat{y}_i$), età ($a_i$), confidenza ($\gamma_i$) e incertezza ($u_i$).
• Meccanismo di Selezione: Utilizza un punteggio di selezione $H_i = \exp(a_i/K) + u_i$ per gestire il memory bank, dando priorità ai campioni recenti e incerti e rimuovendo quelli ridondanti.
• Ricostruzione del Batch: Per ogni batch in entrata, il metodo:
  • Sottocampiona (Downsamples) le classi maggioritarie selezionando i top-$N$ campioni con la confidenza più alta.
  • Integra (Supplements) le classi minoritarie recuperando campioni ad alta confidenza dal memory bank.
  • Replica i campioni se necessario per garantire un numero fisso di campioni per classe ($N_{per-class}$).
• Differenziazione: A differenza del lavoro precedente (ad es. RoTTA) che si affida esclusivamente ai campioni del memory bank, il BBS opera direttamente sul batch in entrata, garantendo che il batch bilanciato rifletta l'attuale distribuzione target pur correggendo lo sbilanciamento.

B. Category Prototype-Guided Adaptation (CPGA)

Per stabilizzare l'adattamento sotto spostamenti continui di dominio, il CPGA sfrutta i prototipi di classe per guidare l'apprendimento delle feature.

• Inizializzazione e Aggiornamento dei Prototipi: I prototipi di classe $\{p_c\}$ sono inizializzati dai pesi del classificatore del modello sorgente. Vengono aggiornati tramite un meccanismo di Media Mobile Esponenziale (EMA) utilizzando solo campioni ad alta confidenza ($\gamma_i \geq \tau$):
  $$p_c^{(t+1)} = \alpha p_c^{(t)} + (1-\alpha)z_i \quad \text{se } \hat{y}_i = c \text{ e } \gamma_i \geq \tau$$
• Perdita del Prototipo (Prototype Loss): Viene introdotta una perdita di supervisione per minimizzare la distanza tra le feature dei campioni e i rispettivi prototipi di classe, incoraggiando il clustering intra-classe e la separazione inter-classe:
  $$\mathcal{L}_{proto} = \frac{1}{|S|} \sum_{i \in S} (1 - \text{sim}(z_i, p_{\hat{y}_i}))$$
  dove $S$ è l'insieme dei campioni ad alta confidenza.

C. Ottimizzazione Complessiva

La funzione di perdita totale combina la perdita di consistenza standard (tra student e teacher sotto aumento) e la perdita del prototipo:
$$\mathcal{L}_{total} = \mathcal{L}_{sup} + \lambda \mathcal{L}_{proto}$$
Il modello student viene aggiornato tramite discesa del gradiente, mentre il modello teacher viene aggiornato tramite EMA.

3. Contributi Chiave

1. Framework Innovativo: Propone BP-TTA, il primo metodo che affronta congiuntamente lo sbilanciamento delle classi e gli spostamenti continui di dominio in contesti PTTA, combinando il campionamento bilanciato per batch con l'adattamento guidato dai prototipi.
2. Batch-Balanced Sampling (BBS): Introduce un meccanismo per ricostruire dinamicamente batch bilanciati da stream sbilanciati utilizzando un memory bank consapevole delle classi, garantendo pseudo-label affidabili per tutte le classi.
3. Category Prototype-Guided Adaptation (CPGA): Sviluppa un metodo per mantenere prototipi di classe in evoluzione durante l'inferenza, utilizzando la similarità dei prototipi come vincolo per migliorare l'affidabilità degli pseudo-label e la stabilità dello spazio delle feature.
4. Valutazione Esaustiva: Dimostra prestazioni superiori rispetto ai metodi TTA allo stato dell'arte (inclusi TENT, CoTTA, EATA, SAR e RoTTA) su tre dataset (CIFAR10-C, CIFAR100-C, ImageNet-C) e sul dataset DomainNet-126 in condizioni PTTA.

4. Risultati Sperimentali

Il documento riporta estesi esperimenti che validano l'efficacia di BP-TTA:

• Prestazioni: BP-TTA supera costantemente tutti i baseline. Su CIFAR10-C, CIFAR100-C e ImageNet-C, ha migliorato l'accuratezza media rispettivamente di 3,08%, 1,84% e 1,59% rispetto ai secondi migliori metodi.
• Studi di Ablazione:
  • Efficacia dei Componenti: L'uso del solo BBS riduce significativamente i tassi di errore rispetto al modello sorgente. Il solo CPGA fatica in presenza di forte sbilanciamento a causa di aggiornamenti dei prototipi rumorosi. La combinazione (BBS+CPGA) produce i risultati migliori.
  • Iperparametri: Il metodo è robusto alle variazioni della soglia di confidenza $\tau$ e del fattore di smoothing $\alpha$. Un fattore di ponderazione $\lambda=10$ per la perdita del prototipo è risultato ottimale.
  • Dimensione del Batch: Dimensioni del batch moderate producono il miglior equilibrio tra stabilità e velocità di risposta.
• Robustezza:
  • Frequenza dello Spostamento di Dominio: BP-TTA degrada più lentamente rispetto a RoTTA all'aumentare della frequenza dei cambiamenti di dominio.
  • Severità dello Sbilanciamento: Il metodo mantiene prestazioni stabili anche quando il parametro di concentrazione di Dirichlet $\delta$ diminuisce (indicando un maggiore sbilanciamento).
  • Ordine della Sequenza: A differenza di DA-TTA, che mostra un'alta varianza tra diverse sequenze di spostamento del dominio, BP-TTA mantiene prestazioni costanti indipendentemente dall'ordine degli spostamenti.
  • Architettura del Modello: Il metodo è efficace su varie reti backbone (ResNet, WideResNet, ResNeXt) senza cali di prestazioni significativi.
• Visualizzazione: Le visualizzazioni t-SNE confermano che il CPGA produce cluster intra-classe più compatti e una migliore separazione inter-classe rispetto ai metodi di prototipo baseline come T3A.

5. Significato e Rivendicazioni

Il documento afferma che BP-TTA fornisce una soluzione robusta per la Practical Test-Time Adaptation, un setting che riflette le sfide di implementazione nel mondo reale in modo più accurato rispetto ai precedenti paradigmi di adattamento statico o puramente continuo.

• Affrontare i Vincoli del Mondo Reale: Gestendo esplicitamente l'interazione tra sbilanciamento delle classi e spostamenti di dominio, il metodo previene i "fallimenti catastrofici" che si riscontrano spesso quando i modelli sono esposti a flussi di dati con correlazioni temporali.
• Stabilità: L'integrazione della guida dei prototipi stabilizza il processo di apprendimento, impedendo al modello di andare in overfitting sulle classi dominanti o di essere tratto in inganno da pseudo-label rumorosi durante i drift di distribuzione.
• Stato dell'Arte: Gli autori asseriscono che il loro metodo raggiunge prestazioni allo stato dell'arte nelle impostazioni di streaming dinamico al tempo di test, offrendo una soluzione flessibile e pratica per migliorare la robustezza del modello in ambienti non stazionari.

Il lavoro è supportato dal Piano di Svolta per le Discipline Fondamentali e Interdisciplinari del Ministero dell'Istruzione della Cina e dalla Fondazione per le Scienze Naturali della Provincia dello Sichuan.