An Unsupervised Tensor-Based Domain Alignment

Résumé Technique : Alignement de Domaine par Tenseur Non Supervisé

Énoncé du Problème
Les systèmes d'intelligence artificielle basés sur le traitement du signal souffrent souvent d'une dégradation des performances lorsqu'ils sont déployés dans des scénarios réels où les données d'entraînement (source) et de test (cible) sont collectées sous des conditions différentes, telles que des dispositifs ou des environnements variables. Ce « décalage de domaine » crée une divergence dans les distributions de données qui entrave la généralisation du modèle. Bien que des techniques d'adaptation de domaine (DA) traditionnelles telles que l'Analyse en Composantes Principales (PCA), l'Alignement de Sous-Espace (SA) et l'Alignement de Corrélation (CORAL) aient été proposées, elles vectorisent généralement les données structurées en tenseurs, échouant ainsi à exploiter les caractéristiques structurelles multidimensionnelles. De plus, les méthodes existantes basées sur les tenseurs, telles que l'Apprentissage de Sous-Espace Invariant Aligné par Tenseur (TAISL), imposent des contraintes d'orthogonalité sur les matrices de projection (variété de Stiefel). Les auteurs soutiennent que ces contraintes d'orthogonalité limitent la flexibilité de représentation, rendant difficile la capture des variations complexes de domaine.

Méthodologie
Le papier propose un algorithme d'Alignement de Domaine par Tenseur (TDA) conçu pour aligner les tenseurs sources et cibles au sein d'un sous-espace invariant commun. La méthode utilise la décomposition de Tucker pour projeter les données sans vectorisation.

• Fonction d'Objectif : Le cœur du cadre est une fonction d'objectif qui minimise une perte d'alignement $J(\mathcal{M}, \mathcal{U})$ tout en incorporant un terme de régularisation $h(\mathcal{M})$.
  • Perte d'Alignement : Ce terme impose l'alignement des tenseurs sources et cibles via une transformation conjointe à travers des matrices d'alignement $\mathcal{M} = \{M_k\}$ et un sous-espace partagé $\mathcal{U} = \{U_k\}$. Les tenseurs sources et cibles sont projetés dans un sous-espace commun défini par des tenseurs noyaux $G_s$ et $G_t$.
  • Régularisation : Un terme de préservation de la variance est ajouté pour minimiser l'erreur de reconstruction entre les tenseurs originaux et ceux récupérés via la pseudo-inverse de Moore-Penrose des matrices d'alignement. Cela garantit que la variance des tenseurs sources et cibles est préservée.
• Contraintes de Variété : Une innovation méthodologique clé est l'assouplissement de la contrainte d'orthogonalité. Au lieu d'imposer $M_k M_k^T = I$ (variété de Stiefel), la méthode proposée impose une contrainte de variété oblique, définie par $\text{diag}(M_k M_k^T) = 1$. Cela permet des transformations non orthogonales, offrant une plus grande flexibilité pour capturer les variations de domaine complexes et l'interdépendance entre les directions de projection.
• Optimisation : Le problème est résolu à l'aide d'une stratégie de minimisation alternée en raison de l'interdépendance de $\mathcal{M}$ et $\mathcal{U}$ :
  1. Optimiser $\mathcal{U}$ : Avec les matrices d'alignement fixées, les matrices de sous-espace sont mises à jour via la décomposition de Tucker par l'algorithme des Moindres Carrés Alternés (ALS).
  2. Optimiser $\mathcal{M}$ : Avec les matrices de sous-espace fixées, les matrices d'alignement sont mises à jour par descente de gradient de Riemann sur la variété oblique.

Contributions Clés

1. Généralisation des Méthodes Existantes : Le cadre proposé est polyvalent, généralisant les méthodes de DA basées sur les tenseurs existantes (y compris TAISL) comme des cas particuliers. Lorsque la contrainte oblique est remplacée par l'orthogonalité et que des termes spécifiques sont supprimés, la méthode se réduit aux algorithmes antérieurs.
2. Contrainte de Variété Oblique : En utilisant la variété oblique plutôt que la variété de Stiefel, la méthode assouplit les contraintes d'orthogonalité, offrant une flexibilité de représentation et une adaptabilité accrues pour les décalages de domaine complexes.
3. Préservation de la Variance : L'inclusion de termes de régularisation spécifiquement conçus pour préserver la variance des tenseurs sources et cibles assure des performances robustes.
4. Alignement de Double Domaine : Contra \text{à} certaines méthodes antérieures qui se concentrent souvent sur l'alignement des données sources vers un domaine cible, cette approche considère simultanément les domaines sources et cibles pendant le processus d'alignement.

Résultats Expérimentaux
Les auteurs ont évalué l'algorithme sur des ensembles de données visuels (MNIST, MNIST-C, MNIST-M) et acoustiques (TUT Urban Acoustic Scenes 2018 Mobile). La performance a été mesurée par la précision de classification sur les données cibles et la réduction de la distance intra-classe.

• Précision de Classification : La méthode proposée, particulièrement la variante avec contraintes obliques (TDA(O)), a systématiquement surpassé les bases de référence de l'état de l'art (incluant NA, PCA, SA, CORAL, NTSL, TAISL et E-TAISL).
  • Sur les tenseurs d'images, TDA(O) a atteint la précision la plus élevée sur tous les domaines cibles (ex: 79,2 % sur MNIST-C Fog, 71,1 % sur MNIST-C Blur et 53,1 % sur MNIST-M).
  • Sur les tenseurs audio, TDA(O) a également obtenu une précision supérieure (85,7 % pour l'appariement 1:1 et 62,7 % pour l'appariement aléatoire).
• Vitesse de Convergence : La méthode a démontré une convergence plus rapide par rapport aux bases de référence. TDA(O) a présenté la convergence la plus rapide en termes de réduction de perte et d'amélioration de la précision, grâce à l'efficacité de la contrainte oblique.
• Robustesse : L'algorithme a maintenu sa fiabilité même avec des tailles de tenseurs cibles limitées et a fait preuve de robustesse face au bruit d'étiquetage. Il a systématiquement obtenu des distances intra-classes plus faibles que les bases de référence, indiquant une meilleure cohérence géométrique cross-domaine.
• Visualisation : Les visualisations t-SNE ont confirmé que TDA(O) a réalisé une adaptation de domaine supérieure, les distributions sources et cibles se chevauchant plus efficacement qu'avec TAISL. L'analyse des matrices de projection a montré que la contrainte oblique introduisait des éléments hors diagonale non négligeables, confirmant une interdépendance accrue entre les directions de projection.

Signification
Ce papier positionne le cadre TDA proposé comme un choix supérieur pour les tâches complexes d'adaptation de domaine. En combinant la préservation structurelle par tenseur avec la flexibilité des contraintes de variété oblique et la régularisation de préservation de la variance, la méthode répond aux limites des méthodes traditionnelles basées sur les vecteurs et les contraintes orthogonales. Les auteurs affirment que cette approche non seulement augmente considérablement la précision de la classification, mais améliore également la vitesse de conversion de l'alignement de domaine, ce qui en fait une solution robuste pour les applications réelles où les distributions de données changent en raison de variations environnementales ou de dispositifs.