Towards Accurate Model Selection in Deep Unsupervised Domain Adaptation

Riepilogo Tecnico: Verso una Selezione Accurata del Modello nella Deep Unsupervised Domain Adaptation

Problematica
La Deep Unsupervised Domain Adaptation (Deep UDA) mira a trasferire la conoscenza da un dominio sorgente etichettato a un dominio target non etichettato. Tuttavia, un collo di bottiglia critico ostacola il progresso in questo campo: la mancanza di un metodo di selezione del modello accurato e standardizzato. Nel machine learning standard, gli iperparametri vengono ottimizzati utilizzando un set di validazione con etichette. Nella Deep UDA, le etichette target non sono disponibili. Le alternative esistenti soffrono di gravi difetti:

• Rischio della Sorgente (Source Risk): Altamente distorto quando il divario tra i domini è ampio, poiché le prestazioni della sorgente non riflettono in modo affidabile le prestazioni del target.
• Rischio del Target (Target Risk): Richiede dati target etichettati, il che contraddice l'impostazione non supervisionata.
• Cross-Validazione Pesata per Importanza (IWCV): Teoricamente non distorta, ma soffre di una varianza illimitata, portando all'instabilità. Spesso si basa su stime imprecise del rapporto di densità (ad esempio, l'adattamento di distribuzioni normali multidimensionali) e assume che il supporto della sorgente copra il supporto del target, ipotesi che viene frequentemente violata negli spazi di input ad alta dimensionalità.
• Iperparametri Fissi: Manca di giustificazione e non riesce ad adattarsi ai requisiti specifici del compito.

Di conseguenza, confrontare i modelli di stato dell'arte della Deep UDA è difficile perché sono spesso selezionati utilizzando schemi di validazione inconsistenti o difettosi.

Metodologia: Deep Embedded Validation (DEV)
Gli autori propongono la Deep Embedded Validation (DEV), un metodo di selezione del modello che incorpora le rappresentazioni delle caratteristiche adattate nel procedimento di validazione per stimare il rischio del target senza dati target etichettati. La metodologia consiste in tre componenti principali:

1. Embedding a Livello di Caratteristiche (Feature-Level Embedding):
   Invece di validare sulle covariate di input grezze (dove il divario tra i domini è ampio), DEV opera nello spazio delle caratteristiche apprese. I modelli Deep UDA apprendono caratteristiche invarianti rispetto al dominio, riducendo efficacementmente la divergenza di distribuzione nello spazio delle caratteristiche ($d_{\alpha+1}(q_f \| p_f) < d_{\alpha+1}(q \| p)$).

• Il metodo stima il rapporto di densità $w_f(x) = q_f(x)/p_f(x)$ nello spazio delle caratteristiche utilizzando un modello discriminativo (una regressione logistica a due strati) addestrato per distinguere tra le caratteristiche della sorgente e del target.
• Questo approccio ammorbidisce l'assunzione di supporto ($supp(p) \supset supp(q)$) perché le caratteristiche adattate sono più compatte e invarianti rispetto al dominio, rendendo l'assunzione più affidabile rispetto allo spazio di input grezzo.

2. Stima Non Distorta con Varianza Limitata:
   DEV costruisce uno stimatore non distorto del rischio del target utilizzando la perdita pesata sui dati della sorgente: $\frac{1}{n_s} \sum w_f(x_s^i) \ell(g(x_s^i), y_s^i)$.

• Teoricamente, la varianza di questo stimatore è limitata dalla divergenza di Rényi tra le distribuzioni delle caratteristiche. Poiché l'adattamento delle caratteristiche riduce questa divergenza, DEV ottiene un limite di varianza più stretto rispetto alla IWCV a livello di input.

3. Riduzione della Varianza tramite Variabili di Controllo (Control Variates):
   Per ridurre ulteriormente la varianza della stima del rischio, DEV impiega la tecnica della variabile di controllo.

• Lo stimatore del rapporto di densità $w_f(x)$ viene utilizzato come variabile di controllo poiché la sua aspettativa è nota per essere 1 ($E[w_f(x)] = 1$).
• Viene costruito un nuovo stimatore: $R_{DEV} = \text{WeightedLoss} + \eta(w_f(x) - 1)$, dove $\eta$ è un coefficiente ottimale stimato dai dati per minimizzare la varianza. Ciò sfrutta la correlazione tra la perdita e il rapporto di densità per stabilizzare la stima.

Contributi Chiave

• Nuovo Framework di Validazione: DEV è il primo metodo che valida i modelli Deep UDA a livello di caratteristiche piuttosto che a livello di covariate, fornendo intuizioni teoriche sul perché questo porti a prestazioni migliori.
• Garanzie Teoriche: Il documento dimostra che DEV fornisce una stima non distorta del rischio del target con una varianza limitata dalla divergenza di Rényi delle caratteristiche adattate.
• Riduzione della Varianza: Integra le variabili di controllo per ridurre esplicitamente la varianza dello stimatore del rischio, affrontando l'instabilità inerente ai precedenti metodi pesati per importanza.
• Generalizzabilità: Il metodo è applicabile non solo ai modelli di adattamento delle caratteristiche, ma anche ai modelli generativi e agli scenari di adattamento parziale del dominio (PADA), purché l'assunzione di supporto sia rispettata nello spazio adattato.

Risultati Sperimentali
Gli autori hanno valutato DEV su diversi benchmark (VisDA, Office-31, Digits) e contro vari modelli Deep UDA (MCD, CDAN, GTA, PADA).

• Dataset Simulato (Toy Dataset): DEV ha dimostrato una varianza significativamente inferiore rispetto a IWCV pur mantenendo l'imparzialità, seguendo da vicino il vero Rischio del Target (Target Risk).
• VisDA (Synthetic-to-Real): DEV ha selezionato modelli che hanno raggiunto prestazioni quasi identiche al limite superiore del "Target Risk" (che utilizza dati target etichettati), superando significativamente il Source Risk, la IWCV e i risultati riportati nel paper originale. La IWCV ha performato scarsamente a causa di pesi instabili derivati da caratteristiche pre-addestrate.
• Office-31 & Digits: DEV ha superato costantemente il Source Risk e la IWCV, in particolare nei compiti con grandi divari tra i domini (ad esempio, SVHN $\to$ MNIST), dove il Source Risk è fallito completamente.
• Adattamento Parziale del Dominio (PADA): DEV ha gestito con successo i compiti di Partial Domain Adaptation senza modifiche, stimando accuratamente i rapporti di densità per le classi condivise rispetto a quelle specifiche della sorgente.
• Studio di Ablazione: Rimuovendo la variabile di controllo da DEV, il metodo ha comunque superato la IWCV, confermando il beneficio dell'embedding delle caratteristiche. L'aggiunta della variabile di controllo ha fornito un ulteriore miglioramento di circa il 2%, confermando il valore della riduzione della varianza.

Significatività e Rivendicazioni
Il paper sostiene che DEV risolve il "dilemma" della selezione del modello nella Deep UDA offrendo un metodo che è:

1. Non distorto (Unbiased): Non richiede dati target etichettati.
2. Stabile: Possiede una varianza limitata e ridotta rispetto ai metodi non distorti esistenti.
3. Efficace: Empiricamente, i modelli selezionati da DEV si avvicinano alle prestazioni dei modelli selezionati dal Target Risk ideale (ma inaccessibile).

Gli autori posizionano DEV come uno standard non intrusivo e accurato che consente un confronto equo tra gli algoritmi di Deep UDA, accelerando potenzialmente i futuri progressi nel campo rimuovendo l'ambiguità delle pratiche di validazione inconsistenti.