An Unsupervised Tensor-Based Domain Alignment

Sintesi Tecnica: Allineamento di Dominio su Base Tensoriale Non Supervisionato

Problematica
I sistemi di intelligenza artificiale basati sull'elaborazione dei segnali soffrono spesso di un degrado delle prestazioni quando vengono implementati in scenari del mondo reale in cui i dati di addestramento (source) e di test (target) sono raccolti in condizioni diverse, come dispositivi o ambienti variabili. Questo "domain shift" crea una discrepanza nelle distribuzioni dei dati che ostacola la generalizzazione del modello. Sebbene siano state proposte tecniche di adattamento del dominio (DA) tradizionali come la Principal Component Analysis (PCA), il Subspace Alignment (SA) e il Correlation Alignment (CORAL), esse tipicamente vettorizzano i dati con struttura tensoriale, fallendo così nel cogliere le caratteristiche strutturali multidimensionali. Inoltre, i metodi basati su tensori esistenti, come il Tensor-Aligned Invariant Subspace Learning (TAISL), impongono vincoli di ortogonalità sulle matrici di proiezione (varietà di Stiefel). Gli autori sostengono che tali vincoli di ortogonalità limitano la flessibilità rappresentativa, rendendo difficile catturare variazioni di dominio complesse.

Metodologia
Il documento propone un algoritmo di Allineamento di Dominio su Base Tensoriale (TDA) progettato per allineare i tensori source e target all'interno di un sottospazio invariante comune. Il metodo utilizza la decomposizione di Tucker per proiettare i dati senza vettorizzazione.

• Funzione Obiettivo: Il nucleo del framework è una funzione obiettivo che minimizza una perdita di allineamento $J(\mathcal{M}, \mathcal{U})$ incorporando un termine di regolarizzazione $h(\mathcal{M})$.
  • Perdita di Allineamento: Questo termine impone l'allineamento dei tensori source e target tramite una trasformazione congiunta attraverso matrici di allineamento $\mathcal{M} = \{M_k\}$ e un sottospazio condiviso $\mathcal{U} = \{U_k\}$. I tensori source e target sono proiettati in un sottospazio comune definito da tensori core $G_s$ e $G_t$.
  • Regolarizzazione: Viene aggiunto un termine di conservazione della varianza per minimizzare l'errore di ricostruzione tra i tensori originali e quelli recuperati tramite la pseudo-inversa di Moore-Penrose delle matrici di allineamento. Ciò garantisce che la varianza di entrambi i tensori, source e target, sia preservata.
• Vincoli di Varietà: Una chiave innovazione metodologica è il rilassamento del vincolo di ortogonalità. Invece di imporre $M_k M_k^T = I$ (varietà di Stiefel), il metodo proposto impone un vincolo di varietà obliqua, definito come $\text{diag}(M_k M_k^T) = 1$. Ciò consente trasformazioni non ortogonali, offrendo una maggiore flessibilità per catturare variazioni di dominio complesse e l'interdipendenza tra le direzioni di proiezione.
• Ottimizzazione: Il problema viene risolto utilizzando una strategia di minimizzazione alternata a causa dell'interdipendenza tra $\mathcal{M}$ e $\mathcal{U}$:
  1. Ottimizzazione di $\mathcal{U}$: Con le matrici di allineamento fisse, le matrici di sottospazio vengono aggiornate tramite decomposizione di Tucker attraverso l'algoritmo Alternating Least Squares (ALS).
  2. Ottimizzazione di $\mathcal{M}$: Con le matrici di sottospazio fisse, le matrici di allineamento vengono aggiornate tramite discesa del gradiente Riemanniana sulla varietà obliqua.

Contributi Chiave

1. Generalizzazione dei Metodi Esistenti: Il framework proposto è versatile, generalizzando i metodi di DA basati su tensori esistenti (incluso TAISL) come casi particolari. Quando il vincolo obliquo è sostituito dall'ortogonalità e termini specifici vengono rimossi, il metodo si riduce agli algoritmi precedenti.
2. Vincolo di Varietà Obliqua: Utilizzando la varietà obliqua invece della varietà di Stiefel, il metodo rilassa i vincoli di ortogonalità, fornendo una maggiore flessibilità rappresentativa e adattabilità per shift di dominio complessi.
3. Preservazione della Varianza: L'inclusione di termini di regolarizzazione progettati specificamente per preservare la varianza di entrambi i tensori, source e target, garantisce prestazioni robuste.
4. Allineamento a Doppio Dominio: A differenza dei metodi precedenti che spesso si concentrano sull'allineamento dei dati source verso un dominio target, questo approccio considera simultaneamente sia i domini source che target durante il processo di allineamento.

Risultati Sperimentali
Gli autori hanno valutato l'algoritmo su dataset visivi (MNIST, MNIST-C, MNIST-M) e acustici (TUT Urban Acoustic Scenes 2018 Mobile). Le prestazioni sono state misurate tramite l'accuratezza di classificazione sui dati target e la riduzione della distanza intra-classe.

• Accuratezza di Classificazione: Il metodo proposto, in particolare la variante con vincoli obliqui (TDA(O)), ha superato costantemente i baseline allo stato dell'arte (inclusi NA, PCA, SA, CORAL, NTSL, TAISL ed E-TAISL).
  • Sui tensori di immagini, TDA(O) ha raggiunto l'accuratezza più elevata in tutti i domini target (ad es., 79,2% su MNIST-C Fog, 71,1% su MNIST-C Blur e 53,1% su MNIST-M).
  • Sui tensori audio, TDA(O) ha ottenuto similmente un'accuratezza superiore (85,7% per l'accoppiamento 1:1 e 62,7% per l'accoppiamento casuale).
• Velocità di Convergenza: Il metodo ha dimostrato una convergenza più rapida rispetto ai baseline. TDA(O) ha mostrato la convergenza più veloce in termini di riduzione della perdita e miglioramento dell'accuratezza, grazie all'efficienza del vincolo obliquo.
• Robustezza: L'algoritmo ha mantenuto l'affidabilità anche con dimensioni ridotte dei tensori target ed è risultato robusto al rumore delle etichette. Ha costantemente ottenuto distanze intra-classe minori rispetto ai baseline, indicando una migliore coerenza geometrica cross-dominio.
• Visualizzazione: Le visualizzazioni t-SNE hanno confermato che TDA(O) ha ottenuto un adattamento di dominio superiore, con le distribuzioni source e target che si sovrappongono più efficacemente rispetto a TAISL. L'analisi delle matrici di proiezione ha mostrato che il vincolo obliquo ha introdotto elementi fuori diagonale non trascurabili, confermando una maggiore interdipendenza tra le direzioni di proiezione.

Significatività
Il presente articolo posiziona il framework TDA proposto come una scelta superiore per compiti complessi di adattamento del dominio. Combinando la preservazione strutturale tensoriale con la flessibilità dei vincoli di varietà obliqua e la regolarizzazione della preservazione della varianza, il metodo affronta i limiti dei metodi tradizionali basati su vettori e con vincoli ortogonali. Gli autori affermano che questo approccio non solo aumenta significativamente l'accuratezza della classificazione, ma migliora anche la velocità di conversione dell'allineamento del dominio, rendendolo una soluzione robusta per applicazioni del mondo reale in cui le distribuzioni dei dati cambiano a causa di variazioni ambientali o di dispositivi.