Robust Tensor-on-Tensor Regression

A continuación presento un resumen técnico detallado del artículo "Robust Tensor-on-Tensor Regression" (Regresión Robusta Tensorial sobre Tensorial), escrito por Mehdi Hirari, Fabio Centofanti, Mia Hubert y Stefan Van Aelst.

1. Planteamiento del Problema

La regresión tensorial sobre tensorial (TOT, por sus siglas en inglés) es una herramienta fundamental para analizar datos estructurados como tensores (arreglos multidimensionales), donde tanto las variables predictoras ($X$) como las de respuesta ($Y$) son tensores. Un ejemplo clásico es la predicción de atributos faciales (tensor de respuesta) a partir de imágenes faciales (tensor predictor).

El problema central abordado en este trabajo es la sensibilidad de los métodos de regresión TOT clásicos a los valores atípicos (outliers). La literatura existente suele ser vulnerable a dos tipos específicos de contaminación, especialmente problemáticos en datos de alta dimensión como los tensores:

• Outliers Casewise (por caso): Observaciones completas que se desvían significativamente del resto de los datos (ej. una imagen facial completamente distorsionada o un individuo con características atípicas).
• Outliers Cellwise (por celda): Células individuales dentro de un tensor que son anómalas, mientras que el resto de la observación es normal (ej. un píxel con ruido en una imagen o un atributo mal medido en un vector de características). Dado que los tensores tienen un gran número de celdas, este tipo de contaminación es muy frecuente.
• Valores Faltantes: La presencia de datos ausentes, que pueden tratarse de manera similar a los outliers cellwise.

Los métodos actuales de TOT no logran manejar simultáneamente ambos tipos de outliers en las variables predictoras y de respuesta, ni integrarlos eficazmente con la imputación de valores faltantes.

2. Metodología Propuesta: ROTOT

Los autores proponen ROTOT (Robust Tensor-on-Tensor Regression), un nuevo método diseñado para ser robusto frente a outliers casewise y cellwise, así como a valores faltantes, tanto en los predictores como en la respuesta.

Componentes Clave del Método:

1. Tratamiento de los Predictores ($X_n$):

   • Se utiliza una extensión robusta del Análisis de Componentes Principales Multilineal (MPCA), denominada ROMPCA (Robust MPCA).
   • ROMPCA descompone los tensores predictores para identificar y reemplazar celdas contaminadas o faltantes mediante valores imputados ($X^{imp}_n$).
   • Genera un peso casewise ($w^x_n$) que es cero para casos atípicos completos y uno para casos regulares.

2. Tratamiento de la Respuesta ($Y_n$):

   • Se define una función de pérdida basada en M-estimación ponderada.
   • La función objetivo minimiza una suma ponderada de funciones de pérdida acotadas ($\rho$) aplicadas a los residuos.
   • Se emplean dos funciones $\rho$ distintas (específicamente la función tangente hiperbólica, tanh):
     • $\rho_1$: Limita la influencia de los outliers cellwise en la respuesta.
     • $\rho_2$: Mitiga el efecto de los outliers casewise en la respuesta.
   • Esta estructura permite que un solo outlier cellwise no arruine la estimación de todo el caso (evitando que un outlier cellwise se convierta automáticamente en un outlier casewise).

3. Estructura del Modelo:

   • Se asume una estructura de bajo rango para el tensor de coeficientes ($B$) mediante una descomposición CANDECOMP/PARAFAC (CP). Esto reduce drásticamente el número de parámetros a estimar y evita el sobreajuste.
   • El modelo se formula como: $Y_n = B_0 + \langle X^{imp}_n, B \rangle + E_n$.

4. Algoritmo de Optimización (IRLS):

   • Dado que la función objetivo es no convexa, se propone un algoritmo de Mínimos Cuadrados Ponderados Iterativamente (IRLS).
   • El algoritmo alterna entre:
     • Actualizar los factores de la descomposición CP ($U_\ell, V_m$) y el intercepto ($B_0$) mediante mínimos cuadrados ponderados.
     • Actualizar los pesos ($W_n$) basados en los residuos estandarizados y las funciones $\rho$.
   • Se demuestra que el algoritmo converge monótonamente hacia un mínimo local.

5. Inicialización Robusta:

   • Para evitar mínimos locales no robustos, se utiliza una estrategia de inicialización híbrida que combina el algoritmo DDC (Detecting Deviating Cells) para identificar celdas atípicas y una selección de subconjuntos de datos "limpios" para obtener estimaciones iniciales.

3. Contribuciones Clave

• Primera solución integral: ROTOT es el primer método de regresión tensorial capaz de manejar simultáneamente outliers casewise, outliers cellwise y valores faltantes en ambas variables (predictora y respuesta).
• Función de pérdida dual: La introducción de una función de pérdida compuesta con dos funciones $\rho$ permite una distinción y control granular entre la contaminación por celdas y por casos completos.
• Herramientas de Diagnóstico Gráfico: Los autores proponen dos herramientas visuales innovadoras:
  • Mapa de celdas residuales (Residual Cellmap): Un mapa de calor que visualiza qué celdas específicas en los tensores de residuos son atípicas.
  • Mapa de Outliers (Outlier Map): Una extensión del mapa de outliers de regresión que combina la distancia de residuos (respuesta) con la distancia de puntuación (predictor) y el porcentaje de celdas atípicas, permitiendo distinguir entre puntos de apalancamiento buenos y malos.
• Disponibilidad de Software: Se proporciona código en R para reproducir los resultados y aplicar el método.

4. Resultados

Estudio de Simulación

Se realizaron simulaciones de Monte Carlo extensas variando el nivel de contaminación (cellwise, casewise y mixto) y la relación señal-ruido (SNR).

• Rendimiento: ROTOT superó consistentemente a los métodos competidores (TOT clásico, y variantes que solo manejan un tipo de outlier) en términos de Error de Predicción Relativa (RPE).
• Robustez: Mientras que los métodos clásicos colapsaron o perdieron precisión significativamente ante la presencia de outliers cellwise en la respuesta, ROTOT mantuvo un rendimiento estable.
• Valores Faltantes: El método demostró ser efectivo también en escenarios con datos faltantes, imputándolos correctamente sin degradar la precisión.

Aplicación a Datos Reales (Labeled Faces in the Wild - LFW)

El método se aplicó al dataset LFW para predecir atributos faciales (ej. "sonriente", "gafas", "borroso") a partir de imágenes.

• Comparación: ROTOT logró un Error Cuadrático Medio Recortado (robMSE) significativamente menor que la regresión TOT clásica.
• Detección de Anomalías: El análisis de los residuos permitió identificar casos específicos:
  • Individuos con atributos mal medidos (outliers cellwise), como una imagen con un efecto de flash excesivo.
  • Individuos con características faciales atípicas o imágenes de baja calidad (outliers casewise), como rostros parcialmente ocultos por el cabello.
  • El mapa de outliers permitió visualizar claramente la naturaleza de la contaminación en cada observación.

5. Significado e Impacto

Este trabajo representa un avance significativo en el análisis de datos tensoriales de alta dimensión. En aplicaciones del mundo real (como visión por computadora, neurociencia o análisis de sensores), los datos rara vez son "limpios". La capacidad de ROTOT para:

1. Preservar la estructura multidimensional de los datos (evitando la vectorización que destruye correlaciones).
2. Ser robusto frente a errores de medición individuales (celda) y fallos sistemáticos de observación (caso).
3. Manejar datos incompletos sin necesidad de descartar observaciones enteras.

...lo convierte en una herramienta esencial para la estadística robusta moderna. Además, las herramientas de diagnóstico propuestas permiten a los investigadores no solo obtener mejores predicciones, sino también entender la naturaleza de los errores en sus datos, facilitando la detección de anomalías y la limpieza de bases de datos complejas.