An Unsupervised Tensor-Based Domain Alignment

Technische Zusammenfassung: Unüberwachte Tensor-basierte Domänenanpassung

Problemstellung
Auf der Signalverarbeitung basierende Systeme der künstlichen Intelligenz leiden oft unter Leistungseinbußen, wenn sie in realen Szenarien eingesetzt werden, in denen Trainings- (Quell-) und Testdaten (Ziel-) unter unterschiedlichen Bedingungen erhoben wurden, wie etwa durch variierende Geräte oder Umgebungen. Dieser „Domänenversatz“ (Domain Shift) erzeugt eine Diskrepanz in den Datenverteilungen, die die Generalisierung des Modells behindert. Während traditionelle Techniken der Domänenanpassung (Domain Adaptation, DA) wie die Hauptkomponentenanalyse (PCA), Subraum-Ausrichtung (Subspace Alignment, SA) und Korrelationsausrichtung (CORAL) vorgeschlagen wurden, vektorisieren diese typischerweise tensorstrukturierte Daten und versäumen es daher, die multidimensionalen strukturellen Eigenschaften auszuschöpfen. Darüber hinaus legen bestehende tensorbasierte Methoden, wie die Tensor-Ausgerichte Invariante Subraum-Lernverfahren (Tensor-Aligned Invariant Subspace Learning, TAISL), Orthogonalitätsbeschränkungen auf die Projektionsmatrizen (Stiefel-Mannigfaltigkeit) auf. Die Autoren argumentieren, dass diese Orthogonalitätsbeschränkungen die Repräsentationsflexibilität einschränken und es schwierig machen, komplexe Domänenvariationen zu erfassen.

Methodik
Das Paper schlägt einen Tensor-basierten Domänenanpassungs-Algorithmus (Tensor-Based Domain Alignment, TDA) vor, der darauf ausgelegt ist, Quell- und Zieltensoren innerhalb eines gemeinsamen invarianten Subraums auszurichten. Die Methode nutzt die Tucker-Zerlegung, um Daten ohne Vektorisierung zu projizieren.

• Zielfunktion: Der Kern des Frameworks ist eine Zielfunktion, die einen Ausrichtungsverlust $J(\mathcal{M}, \mathcal{U})$ minimiert und dabei einen Regularisierungsterm $h(\mathcal{M})$ einbezieht.
  • Ausrichtungsverlust: Dieser Term erzwingt die Ausrichtung von Quell- und Zieltensoren durch eine gemeinsame Transformation mittels der Ausrichtungsmatrizen $\mathcal{M} = \{M_k\}$ und eines gemeinsamen Subraums $\mathcal{U} = \{U_k\}$. Die Quell- und Zieltensoren werden in einen gemeinsamen Subraum projiziert, der durch die Kerntensoren $G_s$ und $G_t$ definiert ist.
  • Regularisierung: Ein Varianz-erhaltender Term wird hinzugefügt, um den Rekonstruktionsfehler zwischen den Originaltensoren und den mittels der Moore-Penrose-Pseudoinversen der Ausrichtungsmatrizen wiederhergestellten Tensoren zu minimieren. Dies stellt sicher, dass die Varianz sowohl der Quell- als auch der Zieltensoren erhalten bleibt.
• Mannigfaltigkeitsbeschränkungen: Eine zentrale methodische Innovation ist die Lockerung der Orthogonalitätsbeschränkung. Anstatt $M_k M_k^T = I$ (Stiefel-Mannigfaltigkeit) zu erzwingen, implementiert die vorgeschlagene Methode eine oblique Mannigfaltigkeitsbeschränkung (Oblique Manifold Constraint), definiert als $\text{diag}(M_k M_k^T) = 1$. Dies ermöglicht nicht-orthogonale Transformationen und bietet eine größere Flexibilität, um komplexe Domänenvariationen und die Interdependenz zwischen Projektionsrichtungen zu erfassen.
• Optimierung: Das Problem wird aufgrund der Abhängigkeit zwischen $\mathcal{M}$ und $\mathcal{U}$ mittels einer alternierenden Minimierungsstrategie gelöst:
  1. Optimierung von $\mathcal{U}$: Bei festen Ausrichtungsmatrizen werden die Subraummatrizen mittels Tucker-Zerlegung über den Alternating Least Squares (ALS)-Algorithmus aktualisiert.
  2. Optimierung von $\mathcal{M}$: Bei festen Subraummatrizen werden die Ausrichtungsmatrizen mittels Riemannschem Gradientenabstieg auf der obliquen Mannigfaltigkeit aktualisiert.

Wesentliche Beiträge

1. Generalisierung bestehender Methoden: Das vorgeschlagene Framework ist vielseitig und generalisiert bestehende tensorbasierte DA-Methoden (einschließlich TAISL) als Spezialfälle. Wenn die oblique Beschränkung durch Orthogonalität ersetzt und spezifische Terme entfernt werden, reduziert sich die Methode auf vorangegangene Algorithmen.
2. Oblique Mannigkeitsbeschränkung: Durch die Verwendung der obliquen Mannigfaltigkeit anstelle der Stiefel-Mannigfaltigkeit lockert die Methode die Orthogonalitätsbeschränkungen, was eine verbesserte Repräsentationsflexibilität und Anpassungsfähigkeit an komplexe Domänenverschiebungen bietet.
3. Varianzerhaltung: Die Einbeziehung von Regularisierungstermen, die speziell darauf ausgelegt sind, die Varianz sowohl der Quell- als auch der Zieltensoren zu bewahren, gewährleistet eine robuste Leistung.
4. Dual-Domänen-Ausrichtung: Im Gegensatz zu vorangegangenen Methoden, die oft darauf abzielen, die Quelldaten auf eine Zieldomäne auszurichten, betrachtet dieser Ansatz sowohl die Quell- als auch die Zieldomänen gleichzeitig während des Ausrichtungsprozesses.

Experimentelle Ergebnisse
Die Autoren evaluierten den Algorithmus auf visuellen (MNIST, MNIST-C, MNIST-M) und akustischen (TUT Urban Acoustic Scenes 2018 Mobile) Datensätzen. Die Leistung wurde anhand der Klassifizierungsgenauigkeit auf den Ziel-Daten und der Reduktion der Intra-Klassen-Distanz gemessen.

• Klassifizierungsgenauigkeit: Die vorgeschlagene Methode, insbesondere die Variante mit obliquen Beschränkungen (TDA(O)), übertraf konsistent die State-of-the-Art-Baselines (einschließlich NA, PCA, SA, CORAL, NTSL, TAISL und E-TAISL).
  • Bei Bildtensoren erreichte TDA(O) die höchste Genauigkeit über alle Zieldomänen hinweg (z. B. 79,2 % bei MNIST-C Fog, 71,1 % bei MNIST-C Blur und 53,1 % bei MNIST-M).
  • Bei Audiotensoren erzielte TDA(O) ebenfalls eine überlegene Genauigkeit (85,7 % bei 1:1 Paarung und 62,7 % bei zufälliger Paarung).
• Konvergenzgeschwindigkeit: Die Methode zeigte eine schnellere Konvergenz im Vergleich zu den Baselines. TDA(O) wies die schnellste Konvergenz sowohl in Bezug auf die Verlustreduktion als auch auf die Verbesserung der Genauigkeit auf, was auf die Effizienz der obliquen Beschränkung zurückzuführen ist.
• Robustheit: Der Algorithmus blieb selbst bei begrenzten Zieltensorgrößen zuverlässig und zeigte Robustheit gegenüber Label-Rauschen. Er erreichte konsistent kleinere Intra-Klassen-Distanzen als die Baselines, was auf eine bessere geometrische Konsistenz über Domänen hinweg hindeutet.
• Visualisierung: t-SNE-Visualisierungen bestätigten, dass TDA(O) eine überlegene Domänenanpassung erreicht, wobei sich die Quell- und Zielverteilungen effektiver überlappen als bei TAISL. Die Analyse der Projektionsmatrizen zeigte, dass die oblique Beschränkung nicht vernachlässigbare Nebendiagonalelemente einführte, was die verstärkte Interdependenz zwischen den Projektionsrichtungen bestätigt.

Bedeutung
Das Paper positioniert das vorgeschlagene TDA-Framework als eine überlegene Wahl für komplexe Aufgaben der Domänenanpassung. Durch die Kombination von tensorbasierter Strukturerhaltung mit der Flexibilität obliquer Mannigkeitsbeschränkungen und varianzerhaltender Regularisierung adressiert die Methode die Einschränkungen traditioneller vektorbasierter und orthogonal beschränkter Tensormethoden. Die Autoren behaupten, dass dieser Ansatz nicht nur die Klassifizierungsgenauigkeit signifikant steigert, sondern auch die Geschwindigkeit der Domänenanpassungskonvertierung verbessert, was ihn zu einer robusten Lösung für reale Anwendungen macht, bei denen sich Datenverteilungen aufgrund von Umwelt- oder Gerätevariationen verschieben.