An Unsupervised Tensor-Based Domain Alignment

Resumen Técnico: Alineación de Dominios Basada en Tensores No Supervisada

Planteamiento del Problema
Los sistemas de inteligencia artificial basados en el procesamiento de señales suelen sufrir una degradación del rendimiento cuando se despliegan en escenarios del mundo real donde los datos de entrenamiento (fuente) y de prueba (objetivo) se recolectan bajo condiciones diferentes, tales como variaciones en dispositivos o entornos. Este "desplazamiento de dominio" (domain shift) crea una discrepancia en las distribuciones de los datos que obstaculiza la generalización del modelo. Aunque se han propuesto técnicas tradicionales de adaptación de dominio (DA) como el Análisis de Componentes Principales (PCA), la Alineación de Subespacios (SA) y la Alineación de Correlación (CORAL), estas típicamente vectorizan los datos con estructura tensorial, fallando así en explotar las características estructurales multidimensionales. Además, los métodos basados en tensores existentes, como el Aprendizaje de Subespacios Alineados con Tensores (TAISL), imponen restricciones de ortogonalidad a las matrices de proyección (variedad de Stiefel). Los autores argumentan que estas restricciones de ortogonalidad limitan la flexibilidad de representación, dificultando la captura de variaciones de dominio complejas.

Metodología
El artículo propone un algoritmo de Alineación de Dominios Basada en Tensores (TDA) diseñado para alinear tensores de origen y objetivo dentro de un subespacio invariante común. El método utiliza la descomposición de Tucker para proyectar los datos sin vectorizarlos.

• Función Objetivo: El núcleo del marco de trabajo es una función objetivo que minimiza una pérdida de alineación $J(\mathcal{M}, \mathcal{U})$ incorporando un término de regularización $h(\mathcal{M})$.
  • Pérdida de Alineación: Este término impone la alineación de los tensores de origen y objetivo mediante una transformación conjunta a través de matrices de alineación $\mathcal{M} = \{M_k\}$ y un subespacio compartido $\mathcal{U} = \{U_k\}$. Los tensores de origen y objetivo se proyectan en un subespacio común definido por tensores núcleo $G_s$ y $G_t$.
  • Regularización: Se añade un término de preservación de la varianza para minimizar el error de reconstrucción entre los tensores originales y aquellos recuperados mediante la pseudo-inversa de Moore-Penrose de las matrices de alineación. Esto asegura que la varianza de ambos tensores, tanto de origen como de objetivo, se preserve.
• Restricciones de la Variedad: Una innovación metodológica clave es la relajación de la restricción de ortogonalidad. En lugar de imponer $M_k M_k^T = I$ (variedad de Stiefel), el método propuesto impone una restricción de variedad oblicua, definida como $\text{diag}(M_k M_k^T) = 1$. Esto permite transformaciones no ortogonales, ofreciendo una mayor flexibilidad para capturar variaciones de dominio complejas e interdependencia entre las direcciones de proyección.
• Optimización: El problema se resuelve utilizando una estrategia de minimización alternante debido a la interdependencia de $\mathcal{M}$ y $\mathcal{U}$:
  1. Optimizar $\mathcal{U}$: Con las matrices de alineación fijas, las matrices de subespacio se actualizan mediante la descomposición de Tucker a través del algoritmo de Mínimos Cuadrados Alternantes (ALS).
  2. Optimizar $\mathcal{M}$: Con las matrices de subespacio fijas, las matrices de alineación se actualizan mediante el descenso de gradiente de Riemann en la variedad oblicua.

Contribuciones Clave

1. Generalización de Métodos Existentes: El marco propuesto es versátil, generalizando los métodos de DA basados en tensores existentes (incluyendo TAISL) como casos especiales. Cuando la restricción oblicua se reemplaza por la ortogonalidad y se eliminan términos específicos, el método se reduce a algoritmos previos.
2. Restricción de Variedad Oblicua: Al utilizar la variedad oblicua en lugar de la variedad de Stiefel, el método relaja las restricciones de ortogonalidad, proporcionando una mayor flexibilidad de representación y adaptabilidad para desplazamientos de dominio complejos.
3. Preservación de la Varianza: La inclusión de términos de regularización diseñados específicamente para preservar la varianza de los tensores de origen y de objetivo asegura un rendimiento robusto.
4. Alineación de Doble Dominio: A diferencia de los métodos anteriores que a menudo se centran en alinear los datos de origen hacia un dominio objetivo, este enfoque considera simultáneamente los dominios de origen y objetivo durante el proceso de alineación.

Resultados Experimentales
Los autores evaluaron el algoritmo en conjuntos de datos visuales (MNIST, MNIST-C, MNIST-M) y acústicos (TUT Urban Acoustic Scenes 2018 Mobile). El rendimiento se midió mediante la precisión de clasificación en los datos objetivo y la reducción de la distancia intra-clase.

• Precisión de Clasificación: El método propuesto, particularmente la variante con restricciones oblicuas (TDA(O)), superó consistentemente a las líneas base del estado del arte (incluyendo NA, PCA, SA, CORAL, NTSL, TAISL y E-TAISL).
  • En tensores de imagen, TDA(O) alcanzó la precisión más alta en todos los dominios objetivo (por ejemplo, 79.2% en MNIST-C Fog, 71.1% en MNIST-C Blur y 53.1% en MNIST-M).
  • En tensores de audio, TDA(O) también logró una precisión superior (85.7% para emparejamiento 1:1 y 62.7% para emparejamiento aleatorio).
• Velocidad de Convergencia: El método demostró una convergencia más rápida en comparación con las líneas base. TDA(O) exhibió la convergencia más rápida en términos de reducción de pérdida y mejora de la precisión, atribuido a la eficiencia de la restricción oblicua.
• Robustez: El algoritmo mantuvo su fiabilidad incluso con tamaños de tensor objetivo limitados y exhibió robustez ante el ruido de etiquetas. Consistentemente logró distancias intra-clase menores en comparación con las líneas base, lo que indica una mejor consistencia geométrica entre dominios.
• Visualización: Las visualizaciones de t-SNE confirmaron que TDA(O) logró una adaptación de dominio superior, con las distribuciones de origen y objetivo solapándose de manera más efectiva que con TAISL. El análisis de las matrices de proyección mostró que la restricción oblicua introdujo elementos fuera de la diagonal no despreciables, confirmando una mayor interdependencia entre las direcciones de proyección.

Significancia
El artículo posiciona al marco TDA propuesto como una opción superior para tareas complejas de adaptación de dominio. Al combinar la preservación estructural basada en tensores con la flexibilidad de las restricciones de variedad oblicua y la regularización de preservación de la varianza, el método aborda las limitaciones de los métodos tradicionales basados en vectores y con restricciones ortogonales. Los autores afirman que este enfoque no solo aumenta significativamente la precisión de la clasificación, sino que también mejora la velocidad de conversión de la alineación de dominio, convirtiéndolo en una solución robusta para aplicaciones del mundo real donde las distribuciones de datos cambian debido a variaciones ambientales o de dispositivos.