An Unsupervised Tensor-Based Domain Alignment

Technische Samenvatting: Ongesuperviseerde Tensor-gebaseerde Domein-alignering

Probleemstelling
Op signaalverwerking gebaseerde kunstmatige intelligentie-systemen lijden vaak onder prestatievermindering wanneer ze worden ingezet in realistische scenario's waarbij trainingsdata (bron) en testdata (doel) onder verschillende omstandigheden zijn verzameld, zoals variërende apparaten of omgevingen. Deze "domeinverschuiving" (domain shift) creëert een discrepantie in datadistributies die de generalisatie van modellen belemmert. Hoewel traditionele domeinadaptatie (DA) technieken zoals Principal Component Analysis (PCA), Subspace Alignment (SA) en Correlation Alignment (CORAL) zijn voorgesteld, vectoriseren deze doorgaans tensor-gestructureerde data, waardoor de meerdimensionale structurele kenmerken niet volledig worden benut. Bov�aal beperken bestaande tensor-gebaseerde methoden, zoals Tensor-Aligned Invariant Subspace Learning (TAISL), de projectiematrices door orthogonaliteitsrestricties op te leggen (Stiefel-variëteit). De auteurs stellen dat deze orthogonaliteitsrestricties de representatieve flexibiliteit beperken, waardoor het moeilijk wordt om complexe domeinvariaties te vangen.

Methodologie
Het artikel stelt een Tensor-Based Domain Alignment (TDA) algoritme voor, ontworpen om bron- en doel-tensoren uit te lijnen binnen een gemeenschappelijke invariante subspace. De methode maakt gebruik van Tucker-decompositie om data te projecteren zonder vectorisatie.

• Doelfunctie: De kern van het framework is een doelfunctie die een aligneringsverlies $J(\mathcal{M}, \mathcal{U})$ minimaliseert terwijl een regularisatieterm $h(\mathcal{M})$ wordt opgenomen.
  • Aligneringsverlies: Deze term dwingt de uitlijning van bron- en doel-tensoren af via een gezamenlijke transformatie door aligneringsmatrices $\mathcal{M} = \{M_k\}$ en een gedeelde subspace $\mathcal{U} = \{U_k\}$. De bron- en doel-tensoren worden geprojecteerd in een gemeenschappelijke subspace gedefinieerd door core-tensoren $G_s$ en $G_t$.
  • Regularisatie: Een variantbehoudende term wordt toegevoegd om de reconstructiefout te minimaliseren tussen de originele tensoren en de tensoren die zijn hersteld via de Moore-Penrose pseudo-inverse van de aligneringsmatrices. Dit zorgt ervoor dat de variantie van zowel de bron- als de doel-tensoren behouden blijft.
• Manifold-restricties: Een belangrijke methodologische innovatie is de versoepeling van de orthogonaliteitsrestrictie. In plaats van $M_k M_k^T = I$ (Stiefel-variëteit) af te dwingen, legt de voorgestelde methode een oblique manifold constraint op, gedefinieerd als $\text{diag}(M_k M_k^T) = 1$. Dit staat niet-orthogonale transformaties toe, wat meer flexibiliteit biedt om complexe domeinvariaties en de onderlinge afhankelijkheid tussen projectierichtingen te vangen.
• Optimalisatie: Het probleem wordt opgelost met een alternerende minimalisatiestrategie vanwege de onderlinge afhankelijkheid van $\mathcal{M}$ en $\mathcal{U}$:
  1. Optimaliseer $\mathcal{U}$: Met vaste aligneringsmatrices worden de subspace-matrices bijgewerkt met behulp van Tucker-decompositie via het Alternating Least Squares (ALS) algoritme.
  2. Optimaliseer $\mathcal{M}$: Met vaste subspace-matrices worden de aligneringsmatrices bijgewerkt met behulp van Riemannian gradient descent op de oblique manifold.

Belangrijkste Bijdragen

1. Generalisatie van Bestaande Methoden: Het voorgestelde framework is veelzijdig en generaliseert bestaande tensor-gebaseerde DA-methoden (inclusief TAISL) als speciale gevallen. Wanneer de oblique restrictie wordt vervangen door orthogonaliteit en specifieke termen worden verwijderd, reduceert de methode tot eerdere algoritmen.
2. Oblique Manifold Constraint: Door gebruik te maken van de oblique manifold in plaats van de Stiefel-variëteit, versoepelt de methode de orthogonaliteitsrestricties, wat zorgt voor verbeterde representatieve flexibiliteit en aanpassingsvermogen voor complexe domeinverschuivingen.
3. Variantbehoud: De inclusie van regularisatietermen die specifelijk zijn ontworpen voor het behoud van de variantie van zowel de bron- als de doel-tensoren, garandeert robuuste prestaties.
4. Dual-Domain Alignment: In tegenstelling tot eerdere methoden die vaak focussen op het uitlijnen van bron-data naar een doel-domein, beschouwt deze aanpak zowel de bron- als de doel-domeinen simultaan tijdens het aligneringsproces.

Experimentele Resultaten
De auteurs evalueerden het algoritme op visuele (MNIST, MNIST-C, MNIST-M) en akoestische (TUT Urban Acoustic Scenes 2018 Mobile) datasets. De prestaties werden gemeten aan de hand van classificatienauwkeurigheid op doel-data en de reductie van intra-class afstand.

• Classificatienauwkeurigheid: De voorgestelde methode, met name de variant met oblique restricties (TDA(O)), presteerde consequent beter dan de state-of-the-art baselines (inclusief NA, PCA, SA, CORAL, NTSL, TAISL en E-TAISL).
  • Op beeld-tensoren behaalde TDA(O) de hoogste nauwkeurigheid over alle doel-domeinen (bijv. 79,2% op MNIST-C Fog, 71,1% op MNIST-C Blur, en 53,1% op MNIST-M).
  • Op audio-tensoren behaalde TDA(O) eveneens superieure nauwkeurigheid (85,7% voor 1:1 pairing en 62,7% voor random pairing).
• Convergentiesnelheid: De methode vertoonde een snellere convergentie vergeleken met de baselines. TDA(O) vertoonde de snelste convergentie in termen van zowel verliesreductie als verbetering van de nauwkeurigheid, toegeschreven aan de efficiëntie van de oblique restrictie.
• Robuustheid: Het algoritme bleef betrouwbaar, zelfs bij beperkte omvang van de doel-tensoren, en vertoonde robuustheid tegen labelruis. Het behaalde consistent kleinere intra-class afstanden vergeleken met de baselines, wat wijst op een betere cross-domein geometrische consistentie.
• Visualisatie: t-SNE visualisaties bevestigden dat TDA(O) superieure domeinadaptatie bereikte, waarbij de bron- en doel-distributies effectiever overlappen dan met TAISL. Analyse van de projectiematrices toonde aan dat de oblique restrictie niet-verwaarloosbare off-diagonal elementen introduceerde, wat de verhoogde onderlinge afhankelijkheid tussen projectierichtingen bevestigt.

Betekenis
Dit artikel positioneert het voorgestelde TDA-framework als een superieure keuze voor complexe domeinadaptatie-taken. Door de combinatie van tensor-gebaseerde structurele preservatie met de flexibiliteit van oblique manifold-restricties en variantbehoudende regularisatie, adresseert de methode de beperkingen van traditionele vector-gebaseerde en orthogonaal-beperkte tensor-methoden. De auteurs beweren dat deze aanpak niet alleen de classificatienauwkeurigheid aanzienlijk verhoogt, maar ook de snelheid van de domein-alignering conversie verbetert, waardoor het een robuuste oplossing vormt voor real-world toepassingen waarbij datadistributies verschuiven door omgevings- of apparaatvariaties.