Locality-aware Private Class Identification for Domain Adaptation with Extreme Label Shift

Sintesi Tecnica: Identificazione delle Classi Private Consapevole della Località per l'Adattamento di Dominio con Spostamento Estremo delle Etichette

Enunciato del Problema
L'Adattamento di Dominio Non Supervisionato (UDA) assume tipicamente uno scenario a insieme chiuso in cui i domini sorgente e target condividono uno spazio di etichette identico. Tuttavia, le applicazioni del mondo reale spesso coinvolgono uno "spostamento estremo delle etichette", in cui gli spazi delle etichette sono eterogenei. Ciò si manifesta in due scenari principali: l'Adattamento di Dominio a Insieme Aperto (OSDA), in cui il dominio target contiene classi private assenti nella sorgente, e l'Adattamento di Dominio Parziale (PDA), in cui il dominio sorgente contiene classi private assenti nel target.

La sfida centrale in questi scenari è l'"identificazione delle classi private". I metodi esistenti si basano generalmente sull'assunzione che lo spostamento semantico delle classi private sia sistematicamente più grande dello spostamento di dominio delle classi condivise, trattando i campioni privati come valori anomali. Gli autori sostengono che questa assunzione sia spesso violata nella pratica, poiché la varianza all'interno di una singola classe condivisa può superare il divario tra una classe privata e un'altra classe condivisa. Di conseguenza, i metodi esistenti spesso falliscono nel distinguere in modo affidabile i campioni privati, portando a un trasferimento negativo e a un disallineamento.

Metodologia
Il documento propone un nuovo framework incentrato sull'Identificazione delle Classi Private Consapevole della Località e su un modello di trasferimento affidabile denominato ReOT (Metodo basato su OT Affidabile).

1. Identificazione Consapevole della Località tramite Trasporto Ottimale Mascherato (MOT):

   • Gli autori osservano che, sebbene gli spostamenti globali possano essere ambigui, una struttura spaziale locale è valida: all'interno di un vicinato locale di un cluster di una classe condivisa, la distanza tra campioni condivisi è sistematicamente inferiore alla distanza tra campioni condivisi e privati.
   • Utilizzano il Trasporto Ottimale Mascherato (MOT) per caratterizzare questa struttura locale. Una matrice di mascheramento viene applicata alla matrice dei costi per imporre il trasporto solo tra campioni con le stesse etichette previste.
   • Viene derivata una funzione di punteggio basata sulla massa di trasporto. Sulla base delle proprietà teoriche del MOT, la massa totale trasportata verso un campione di classe privata da una sorgente di classe condivisa è significativamente inferiore alla massa trasportata verso un campione di classe condivisa.
   • Viene definito un punteggio $s(z')$ come $1/m - \sum \Gamma^*_{ij}$. I campioni con $s(z') > 0$ (o che superano un margine) sono identificati come privati, mentre quelli con $s(z') < 0$ sono identificati come condivisi. Questo approccio garantisce teoricamente la separazione dei campioni condivisi e privati sotto le assunzioni spaziali locali, senza fare affidamento su assunzioni globali di valori anomali.

2. Il Framework ReOT:

   • Funzione di Perdita per Trasferimento Affidabile ($L_{rt}$): Una volta identificati i campioni privati e condivisi, ReOT minimizza le distanze intra-classe tra domini per le classi condivise, massimizzando al contempo la distanza tra classi condivise e private. Ciò è ottenuto utilizzando il piano di trasporto da MOT per allineare le distribuzioni condizionali solo all'interno degli insiemi condivisi identificati.
   • Minimizzazione del Rischio ($L_{cls}$): Il modello minimizza il rischio di classificazione empirico sia sul dominio sorgente sia sui campioni privati identificati nel dominio target (o sorgente, per PDA).
   • Funzione di Perdita per Ricostruzione del Baricentro ($L_{br}$): Per rifinire ulteriormente la rappresentazione, il modello mappa le rappresentazioni target indietro nel dominio sorgente utilizzando il piano di trasporto (mappa del baricentro) e minimizza la perdita di ricostruzione. Ciò fornisce una supervisione soft, spingendo i campioni target verso i loro prototipi di classe corrispondenti.
   • L'obiettivo finale combina queste perdite: $L = L_{cls} + \eta_1 L_{rt} + \eta_2 L_{br}$.

3. Analisi Teorica:

   • Il documento fornisce un limite superiore di generalizzazione per il rischio target negli scenari di spostamento estremo delle etichette. Il limite scompone l'errore in termini relativi al rischio sorgente, all'errore di previsione massimo, alla discrepanza della distribuzione delle etichette e al divario condizionale condiviso.
   • Gli autori dimostrano che ReOT minimizza questo limite superiore riducendo il rischio sorgente, allineando le distribuzioni condizionali (riducendo il divario condizionale condiviso) e identificando efficacemente le classi private per minimizzare gli errori su quei campioni specifici.

Contributi Chiave

• Identificazione Consapevole della Località: Un nuovo metodo per identificare le classi private utilizzando una funzione di punteggio derivata dalla massa di trasporto MOT. Rilassa l'assunzione irrealistica di valori anomali globali sfruttando le strutture spaziali locali.
• Garanzia Teorica: Una dimostrazione teorica che evidenzia la capacità della funzione di punteggio di distinguere campioni condivisi e privati, e un limite di errore di generalizzazione per scenari di spostamento estremo delle etichette che ReOT dimostra di minimizzare.
• Framework Unificato (ReOT): Un singolo algoritmo in grado di gestire sia le impostazioni OSDA che PDA regolando dinamicamente la direzione del trasporto e le definizioni della maschera in base a quale dominio contiene le classi private.
• Validazione Empirica: Estesi esperimenti su quattro dataset di riferimento (Image-CLEF, Office-31, Office-Home, VisDA-2017) che dimostrano prestazioni superiori rispetto ai metodi all'avanguardia in entrambe le impostazioni OSDA e PDA.

Risultati Sperimentali

• Prestazioni OSDA: Su Image-CLEF, Office-31 e Office-Home, ReOT ha raggiunto la massima accuratezza armonica ($H$) nella maggior parte dei compiti, superando metodi SOTA come ANNA e MRJT. Ad esempio, su Image-CLEF, ReOT ha raggiunto una media $H$ dell'84,4%, superando ANNA dell'1,5%.
• Prestazioni PDA: ReOT ha dimostrato prestazioni robuste su Office-Home e VisDA-2017, raggiungendo la migliore accuratezza media (78,7% su Office-Home) e mantenendo elevate prestazioni sul dataset impegnativo VisDA-2017, dove altri metodi si sono degradati significativamente.
• Studi di Ablazione: La rimozione della funzione di perdita di trasferimento ($L_{rt}$) o della funzione di perdita di ricostruzione ($L_{br}$) ha portato a cali di prestazioni, confermando la necessità sia dell'allineamento condizionale di classe sia della ricostruzione del baricentro.
• Efficienza di Identificazione: Il metodo di identificazione delle classi private ha identificato con successo circa l'88,2% dei campioni privati in OSDA e il 95,6% in PDA attraverso i dataset.
• Robustezza: Il metodo è rimasto stabile attraverso diverse impostazioni di iperparametri e scelte di funzioni di costo (Euclidea al quadrato vs basata su discriminatore).

Significato e Affermazioni
Il documento afferma che ReOT affronta il limite fondamentale dei metodi esistenti di identificazione delle classi private spostando il focus dalla rilevazione globale di valori anomali alla caratterizzazione della struttura spaziale locale. Radicando teoricamente il processo di identificazione nelle proprietà del trasporto ottimale mascherato, il metodo garantisce affidabilità anche quando le classi private non sono valori anomali distinti.

Gli autori affermano che ReOT fornisce una soluzione unificata sia per OSDA che per PDA, colmando il divario tra questi due scenari simmetrici ma spesso trattati separatamente. Teoricamente, il limite di generalizzazione proposto offre una nuova prospettiva sulla scomposizione dell'errore in spazi di etichette eterogenei, mostrando che la minimizzazione del limite richiede sia un'identificazione accurata delle classi private sia un allineamento delle distribuzioni condizionali. Empiricamente, i risultati validano che ReOT raggiunge un migliore equilibrio tra il riconoscimento dei campioni privati e la preservazione delle prestazioni delle classi condivise, portando a un adattamento di dominio più robusto in scenari reali di spostamento estremo delle etichette.

Il documento conclude con modestia, notando che, sebbene ReOT sia efficace per scenari singolo-sorgente/singolo-target, il lavoro futuro potrebbe estendere il framework a impostazioni multi-sorgente, multi-target e senza sorgente.