Dual-Attention Convolution Experts for Sparse Tensor Completion

Resumen Técnico: Expertos de Convolución de Doble Atención para la Completación de Tensores Dispersos

Planteamiento del Problema
La factorización de tensores (TF) es una herramienta fundamental para recuperar entradas faltantes en datos de alta dimensión y dispersos presentes en aplicaciones como sistemas de recomendación y pronóstico espaciotemporal. Sin embargo, los enfoques existentes enfrentan dos desafíos principales:

1. Modelado de Interacciones Complejas: Los métodos de descomposición lineales o multilineales tradicionales luchan por capturar interacciones cruzadas altamente no lineales entre factores latentes. Aunque los métodos de TF basados en redes neuronales (basados en MLP o CNN) ofrecen capacidades de modelado no lineal, las arquitecturas basadas en CNN a menudo fallan al capturar interacciones finas entre factores latentes y pueden sufrir de sobreajuste o un enredo rígido de representaciones.
2. Dispersión de Datos: La severa dispersión de los datos limita las señales de entrenamiento disponibles para las redes neuronales profundas. Las soluciones existentes suelen depender de información auxiliar (por ejemplo, matrices de similitud, redes sociales), lo que puede introducir ruido si los datos auxiliares no son fiables o están diseñados para escenarios específicos.

Metodología: DCGC
Los autores proponen Redes de Expertos de Convolución con Doble Atención y Aprendizaje Contrastivo a Nivel de Grupo (DCGC), un marco de TF neuronal diseñado para modelar interacciones no lineales de manera robusta bajo condiciones de dispersión. La arquitectura consta de tres componentes principales:

1. Incrustación e Interacciones de Segundo Orden:

   • El modelo mapea índices discretos a matrices de factores latentes ($U, P, W$).
   • A diferencia de los enfoques lineales estándar, DCGC construye explícitamente características cruzadas de segundo orden mediante el cálculo de productos de Hadamard por pares entre los factores latentes (por ejemplo, $u_i \odot p_j$). Estos vectores de interacción se concatenan con las incrustaciones originales para formar una representación 2D unificada ($H_{emb}$).

2. Mezcla de Expertos de Convolución con Doble Atención y Compuerta:

   • Mezcla de Expertos (MoE): Inspirado en MMoE, el modelo emplea múltiples expertos de convolución ($C$) para realizar alineaciones no lineales ponderadas de los factores latentes. Esto permite que diferentes expertos se especialicen en patrones subyacentes heterogéneos mientras comparten parámetros para mitigar el sobreajuste.
   • Mecanismo de Doble Atención: Para priorizar dinámicamente la información crítica, el modelo calcula dos tipos de puntuaciones de atención a partir de las salidas de los expertos:
     • Atención de Expertos ($A_{exp}$): Pondera la importancia de los canales de convolución individuales (expertos).
     • Atención de Características ($A_{fea}$): Pondera la importancia de los elementos de las características alineadas dentro de los canales.
     • Estas se fusionan aditivamente para modular las incrustaciones de valor, permitiendo que el modelo se concentre tanto en los expertos críticos como en las características críticas.
   • Compuerta Personalizada: Para abordar la polarización de la atención (donde unos pocos expertos dominan) y la negligencia de los factores observados de forma dispersa, un mecanismo de compuerta personalizado genera pesos de enrutamiento dependientes de la entrada. Esto reasigna la capacidad de modelado hacia las interacciones dispersas, superando las estrategias de dropout estándar en el equilibrio de carga.

3. Aprendizaje Contrastivo a Nivel de Grupo (GLCL):

   • Para mitigar la dispersión de los datos sin depender de datos auxiliares ruidosos, DCGC introduce una estrategia contrastiva autosupervisada.
   • Agrupación: Los tríos observados se categorizan en distintos niveles de retroalimentación (por ejemplo, Alto, Medio, Bajo) basados en sus valores originales del tensor.
   • Objetivo Contrastivo: El modelo agrega muestras positivas dentro del mismo nivel de retroalimentación mientras separa las muestras negativas de los niveles de retroalimentación inferiores.
   • Función de Pérdida: Se aplica una pérdida InfoNCE a la tarea auxiliar, fomentando que el espacio de representación agrupe las muestras con niveles de retroalimentación idénticos y separe aquellas con niveles diferentes. Esto proporciona señales autosupervisadas de alta calidad para estabilizar el aprendizaje de los factores latentes para sensores o usuarios dispersos.

Contribuciones Clave

1. Arquitectura Novedosa: La propuesta de una red de mezcla de expertos de convolución mejorada con un mecanismo de doble atención y una compuerta personalizada, permitiendo el modelado de grano fino de las interacciones cruzadas no lineales entre modos.
2. Mitigación de la Dispersión mediante Autosupervisión: El desarrollo de una estrategia eficiente de Aprendizaje Contrastivo a Nivel de Grupo (GLCL) en lote (in-batch) que aprovecha la consistencia del nivel de retroalimentación para generar señales autosupervisadas, reduciendo la dependencia de datos auxiliares no fiables.
3. Validación Empírica: Experimentos extensos en cinco conjuntos de datos del mundo real (predicción de tráfico y recomendación) demostrando una superioridad consistente sobre los métodos de TF de vanguardia (por ejemplo, CoATF, HOCTC) y un rendimiento competitivo frente a métodos especializados basados en GNN.

Resultados Experimentales
Los autores evaluaron DCGC en cinco conjuntos de datos: GZspeed y PEMS (tráfico), y Movielens-100k, Movielens-1M y AmazonBeauty (recomendación).

• Rendimiento: DCGC superó a los mejores modelos de referencia en un 3.34%–5.06% en RMSE/MAE en los conjuntos de datos de tráfico y logró mejoras de 1.44%–3.56% (RMSE) y 1.32%–7.43% (MAE) en los conjuntos de datos de recomendación.
• Comparación: El método superó significativamente a los métodos lineales tradicionales (P-Tucker) y a los enfoques neuronales recientes (CoSTCo, MDMTF, HOCTC). También mantuvo un rendimiento competitivo frente a los métodos basados en GNN diseñados para escenarios de arranque en frío (por ejemplo, LightGCN, MetaHIN).
• Estudios de Ablación:
  • Eliminar el mecanismo de doble atención o reemplazarlo con ramas de atención simple resultó en una degradación del rendimiento, confirmando la necesidad de modelar tanto la importancia del experto como la de las características.
  • Reemplazar el mecanismo de compuerta personalizada con un dropout estándar condujo a tasas de error más altas, particularmente en escenarios altamente dispersos (por ejemplo, AmazonBeauty), y causó una polarización de la carga de los expertos.
  • Reemplazar GLCL con aprendizaje contrastivo vainilla o eliminarlo por completo degradó el rendimiento, validando la eficacia de la agrupación por niveles de retroalimentación.
• Eficiencia: El modelo mantiene un rendimiento competitivo incluso con un número bajo de canales de convolución y un rango reducido, lo que indica que los mecanismos de atención permiten un uso eficiente de los parámetros.

Significado y Reivindicaciones
El artículo afirma que DCGC aborda los dos desafíos de capturar interacciones no lineales complejas y manejar la dispersión extrema de datos en la completación de tensores. Al integrar una mezcla de expertos de convolución de grano fino con un mecanismo de doble atención, el modelo logra un modelado no lineal robusto sin un crecimiento excesivo de parámetros. Además, la estrategia de Aprendizaje Contrastivo a Nivel de Grupo ofrece una forma novedosa de inyectar señales autosupervisadas directamente desde la distribución de los datos, mitigando la dispersión sin el ruido asociado con la información auxiliar externa. Los autores posicionan a DCGC como un marco robusto y de propósito general para la completación de tensores dispersos tanto en los dominios espaciotemporales como de recomendación.

Limitaciones
Los autores reconocen dos limitaciones para trabajos futuros:

1. El módulo de doble atención actual utiliza una fusión aditiva simple para las puntuaciones de expertos y características, lo que puede no capturar completamente la información complementaria; se sugieren mecanismos de fusión más adaptativos.
2. La estrategia GLCL depende de intervalos de retroalimentación predefinidos; el trabajo futuro podría explorar la construcción de intervalos adaptativos basados en la distribución de los datos o la densidad de interacción.