A Closer Look at In-Distribution vs. Out-of-Distribution Accuracy for Open-Set Test-time Adaptation

Sintesi Tecnica: Un esame approfondito dell'accuratezza In-Distribution vs. Out-of-Distribution per l'Open-Set Test-time Adaptation

Definizione del Problema
Le reti neurali profonde soffrono spesso di un degrado dell'accuratezza quando i dati di test subiscono uno shift della distribuzione. Mentre i metodi di Test-Time Adaptation (TTA) mitigano questo problema aggiornando i modelli sugli input di test, gli approcci standard assumono che tutti i dati di test appartengano a classi note (In-Distribution o InD). In scenari open-set realistici, i dati di test possono anche contenere classi sconosciute (Out-of-Distribution o OOD). I metodi di open-set TTA esistenti mirano ad adattarsi ai dati InD pur filtrando o rifiutando i dati OOD. Tuttavia, la loro capacità di rilevare e rifiutare accuratamente gli input OOD rimane poco esplorata. Esiste una lacuna critica nella comprensione del compromesso tra il mantenimento di un'elevata accuratezza InD e la garanzia di un rifiuto affidabile degli input OOD, in particolare sotto proporzioni variabili di dati OOD e diverse architetture di normalizzazione.

Metodologia e Configurazione del Benchmark
Gli autori conducono un benchmark completo dei metodi di TTA robusti e open-set, tra cui SAR, OSTTA, UniEnt, UniEnt+ e SoTTA, insieme a un semplice baseline (Tent). La valutazione utilizza benchmark di corruzione standard:

• Piccola Scala: CIFAR-10-C (InD) accoppiato con SVHN-C o CIFAR-100-C corrotti (OOD).
• Grande Scala: ImageNet-C (InD) accoppiato con ImageNet-O-C corrotto (near OOD, visivamente simile ma con classi diverse) o Textures-C (far OOD, pattern non appartenenti a oggetti).

Lo studio introduce diverse variazioni sperimentali per riflettere le condizioni di deployment reali:

1. Batch Misti: Valutazione delle prestazioni in cui i batch contengono proporzioni variabili di dati InD e OOD (25%, 50%, 75%).
2. Intervalli di Batch: Test in scenari in cui i dati OOD appaiono in burst consecutivi (intervalli) tra i batch InD, piuttosto che essere uniformemente miscelati.
3. Distribuzione di Output: Gli autori propongono un nuovo baseline che sostituisce il classico output softmax con un output sigmoid/multi-label. Ciò consente al modello di emettere probabilità basse per tutte le classi simultaneamente, consentendo il rifiuto esplicito degli input sconosciuti senza forzare una predizione di classe.
4. Layer di Normalizzazione: Investigazione dell'impatto di Batch Normalization (BN), Group Normalization (GN) e Layer Normalization (LN) sulla stabilità dell'adattamento open-set.

Contributi Chiave e Risultati

• Compromesso InD vs. OOD: L'analisi rivela che gli attuali metodi di open-set TTA faticano a bilanciare il riconoscimento InD e il rifiuto OOD. Ottimizzare per un'elevata accuratezza InD spesso risulta in un'accuratezza OOD prossima allo zero (alti tassi di falsi positivi per i dati OOD), e viceversa. Sebbene metodi come UniEnt ottengano la migliore separazione, affrontano comunque significativi compromessi.
• Limitazioni del Filtraggio Attuale: Il documento dimostra che i meccanismi di filtraggio interno dei metodi esistenti (ad esempio, il thresholding della confidenza in SoTTA, il filtraggio dell'entropia in SAR, il clustering dei prototipi in UniEnt) sono imperfetti. In alcuni casi, la loro capacità di distinguere InD da OOD è inferiore a un semplice thresholding basato sui punteggi di confidenza derivati dagli output grezzi del modello.
• Baseline di Output Sigmoide: Sostituire la softmax con l'output sigmoide (Tent-Sigmoid e SAR-Sigmoid) produce un profilo di compromesso distinto. Sebbene possa ridurre leggermente l'accuratezza InD rispetto alle controparti basate su softmax, migliora significativamente le metriche di rilevamento OOD (AUROC, FPR@TPR95, OSCR). La distribuzione dell'entropia sigmoidea mostra una migliore separazione tra input InD e OOD, esibendo spesso una distribuzione bimodale che facilita il rifiuto senza euristiche di filtraggio complesse.
• Sensibilità alle Proporzioni OOD: I metodi esistenti sono altamente sensibili alla proporzione di dati OOD all'interno di un batch. All'aumentare del rapporto OOD, le prestazioni degradano costantemente in tutte le metriche. Tuttavia, i metodi sono relativamente insensibili all'intervallo dei batch OOD (batch OOD consecutivi), suggerendo che il problema risieda nell'interazione dei dati miscelati all'interno di un singolo aggiornamento del batch piuttosto che nella presenza di dati OOD nel tempo.
• Ruolo dei Layer di Normalizzazione: La stabilità dell'adattamento dipende fortemente dal layer di normalizzazione. I modelli che utilizzano la Batch Normalization (BN) mostrano grandi fluttuazioni nell'accuratezza e nelle metriche OOD quando affrontano diverse proporzioni di OOD. Al contrario, Group Normalization (GN) e Layer Normalization (LN) dimostrano prestazioni significativamente più stabili, con LN che mostra i risultati più robusti complessivamente.

Significatività e Rivendicazioni
Il documento sostiene di fornire la prima valutazione standardizzata e multi-metrica di TTA open-set che misura esplicitamente il compromesso tra accuratezza InD e OOD. Gli autori sostengono che il campo abbia trascurato l'affidabilità del rifiuto OOD a favore dei miglioramenti dell'accuratezza InD. Introducendo il baseline sigmoide e testando sotto proporzioni variabili e realistiche di OOD, il lavoro evidenzia che gli attuali metodi non filtrano efficacemente i dati OOD per gli aggiornamenti di adattamento.

Gli autori concludono che, sebbene il loro baseline sigmoide offra un profilo di compromesso diverso e spesso più favorevole per il rifiuto OOD, non è una panacea; sacrifica parte dell'accuratezza InD. Suggeriscono che il lavoro futuro debba concentrarsi sullo sviluppo di metodi che possano bilanciare meglio questi obiettivi contrastanti, potenzialmente attraverso tecniche di filtraggio migliorate o distribuzioni di output alternative, per garantire un deployment sicuro e affidabile in ambienti open-set. Il documento non pretende di risolvere interamente il problema, ma identifica le lacune specifiche nelle metodologie attuali e fornisce una comprensione empirica più completa delle sfide coinvolte.