Resumen Técnico: Valores Atípicos por Celda (Cellwise Outliers)

1. Introducción y Definición del Problema

El artículo aborda un cambio de paradigma en la estadística robusta y el aprendizaje automático. Tradicionalmente, la definición de "valor atípico" (outlier) o "anomalía" se basaba en el contaminación por casos (casewise contamination): un caso (fila en la matriz de datos) se consideraba atípico en su totalidad o estaba limpio.

Sin embargo, en la era de los datos de alta dimensión, ha surgido el problema de los valores atípicos por celda (cellwise outliers). Estos son valores individuales erróneos que pueden aparecer en cualquier celda de la matriz de datos (o tensor).

• El problema crítico: Incluso una pequeña proporción de celdas contaminadas puede corromper más de la mitad de los casos (filas) en dimensiones altas. Por ejemplo, si la probabilidad de que una celda esté contaminada es $\epsilon_{cell} = 0.05$ y la dimensión es $d=14$, la probabilidad de que un caso contenga al menos una celda atípica es del 51%. Si $d=70$, esta probabilidad sube al 97%.
• Limitación de métodos existentes: Los métodos robustos tradicionales (como MCD o S-estimadores) funcionan eliminando o restando peso a todo el caso si detectan una anomalía. En el escenario de celdas, esto es ineficiente, ya que elimina información válida de las otras celdas limpias de ese mismo caso, llevando a una pérdida masiva de eficiencia y potencia estadística.

2. Metodología y Enfoques Teóricos

El artículo revisa cómo la detección y estimación deben adaptarse, señalando que la robustez por celda requiere abandonar ciertas propiedades de equivariancia intuitivas.

2.1. Modelos de Contaminación

Se discuten tres modelos principales:

1. Contaminación por casos (Casewise): Toda la fila es contaminada o limpia.
2. Contaminación por celdas (Cellwise): Las celdas se contaminan independientemente.
3. Contaminación mixta: Combinación de casos contaminados, celdas contaminadas y valores faltantes (NA).

2.2. Detección de Celdas Atípicas

• Enfoque Marginal: Identificar outliers en cada variable por separado (ej. puntuaciones Z robustas). Es insuficiente porque un valor puede no ser atípico marginalmente pero sí en el contexto multivariado (ej. un coche con ancho pequeño pero velocidad alta).
• Enfoque Multivariado (DDC): El algoritmo Detect Deviating Cells (DDC) ajusta regresiones lineales robustas simples de cada variable sobre las demás. Los residuos resultantes identifican celdas que no se ajustan al patrón multivariado, incluso si son normales marginalmente.
• FastDDC: Una versión computacionalmente eficiente para alta dimensión que utiliza screening de dependencias lineales y vecinos más cercanos.

2.3. Estimación de Ubicación y Covarianza

• Ruptura de la Equivariancia Afín: Se demuestra teóricamente que los estimadores que satisfacen la equivariancia afín (una propiedad deseable en estadística clásica) tienen un valor de ruptura por celda (cellwise breakdown value) muy bajo, limitado por $1/d$. Esto significa que en alta dimensión, un solo porcentaje pequeño de celdas contaminadas puede destruir el estimador.
• Soluciones Propuestas:
  • Estimadores Coordenada a Coordenada: Para la ubicación, usar estimadores univariados robustos por variable.
  • CellMCD: Una extensión del estimador MCD (Minimum Covariance Determinant) que maximiza la verosimilitud de un subconjunto de celdas limpias en lugar de casos completos. Utiliza un algoritmo de descenso de coordenadas por bloques para alternar entre identificar celdas sospechosas y re-estimar la matriz de covarianza.
  • TSGS (Two-Step Generalized S-estimator): Filtra celdas atípicas, las marca como faltantes y luego aplica un estimador S robusto para datos con valores faltantes.

2.4. Regresión Robusta por Celdas

• Desafío: En regresión $y = X\beta + \epsilon$, las variables predictoras $X$ pueden tener celdas contaminadas. Eliminar toda la fila de $X$ es costoso.
• Métodos:
  • Shooting S-estimator: Utiliza descenso de coordenadas, ajustando un coeficiente a la vez con un estimador S robusto, modificando la respuesta en cada iteración para evitar la propagación de errores.
  • cellLTS (Least Trimmed Squares): Primero imputa celdas atípicas en $X$ usando CellMCD, y luego aplica LTS robusto a los datos "limpiados".
  • Predicción Fuera de Muestra: Se introduce un mecanismo para predecir con nuevos vectores que pueden tener celdas atípicas, imputando primero esas celdas antes de aplicar la ecuación de regresión, evitando predicciones distorsionadas.

2.5. Análisis de Componentes Principales (PCA) y Tensors

• PCA Robusto por Celdas (cellPCA): Minimiza una función de pérdida acotada sobre los residuos de las celdas individuales. A diferencia del PCA clásico que proyecta ortogonalmente (propagando el error de una celda a toda la proyección), cellPCA imputa celdas sospechosas antes de proyectar.
• Tensors: Se extiende el enfoque a datos multidimensionales (tensors) mediante descomposiciones Tucker y CP.
  • ROMPCA: Un método que maneja simultáneamente outliers por casos y por celdas en tensors, permitiendo valores faltantes.
  • Aplicación: Se ilustra con datos de video (Dog Walker), donde se detectan cambios en el fondo (celdas atípicas) sin descartar todo el frame (caso).

2.6. Matrices de Precisión y Alta Dimensión

• Se discuten métodos para estimar matrices de precisión (inversa de la covarianza) en alta dimensión, utilizando correlaciones robustas pareadas (pairwise) y regularización (Graphical Lasso) para manejar la singularidad de la matriz de covarianza.

3. Contribuciones Clave

1. Marco Teórico de Ruptura: Demostración formal de que la equivariancia afín es incompatible con la robustez por celdas en alta dimensión, obligando a un cambio de paradigma en el diseño de estimadores.
2. Algoritmos Integrados: Desarrollo de métodos que no solo detectan outliers, sino que los integran en el proceso de estimación (ej. CellMCD, cellLTS, cellPCA), en lugar de tratarlos como un paso de pre-procesamiento aislado.
3. Manejo de Datos Faltantes y Mixtos: Los métodos propuestos (como MacroPCA y cellPCA) manejan naturalmente valores faltantes (NA) junto con outliers, imputando celdas sospechosas de manera coherente con la estructura de los datos.
4. Escalabilidad: Introducción de técnicas como FastDDC y regularización para aplicar estos conceptos a datos de ultra-alta dimensión (miles o millones de variables).
5. Visualización: Uso de "Cellmaps" (mapas de celdas) para visualizar residuos estandarizados, permitiendo a los investigadores identificar patrones de contaminación específicos.

4. Resultados y Evidencia Empírica

• Simulaciones: Los autores citan estudios comparativos que muestran que los métodos de dos pasos (filtrado + estimación) y los métodos iterativos (como CellMCD) superan a los métodos tradicionales de robustez por casos en escenarios de contaminación por celdas, especialmente cuando la dimensión $d$ es alta.
• Datos Reales:
  • TopGear: Detección de errores de medición específicos (ej. ancho de un coche) que no eran detectables marginalmente.
  • Datos Octane (NIR): Aplicación de cellPCA para identificar espectros con ruido local sin descartar muestras enteras.
  • Video (Dog Walker): Identificación de movimiento de hojas en el fondo (celdas atípicas) en un video de vigilancia, demostrando la capacidad de aislar anomalías locales en datos tensoriales.

5. Significancia e Impacto

El artículo establece que la detección y el manejo de valores atípicos por celda son esenciales para el análisis moderno de datos, donde la alta dimensionalidad hace que la contaminación por casos sea demasiado restrictiva.

• Cambio de Paradigma: La comunidad estadística debe aceptar sacrificar ciertas propiedades de equivariancia (como la afín) para ganar robustez en entornos de alta dimensión.
• Aplicabilidad: Estos métodos son cruciales en campos como la genómica, la espectroscopía, la epidemiología y el procesamiento de imágenes/video, donde los errores de medición suelen ser locales y no afectan a toda la observación.
• Herramientas Disponibles: El trabajo ha sido implementado en paquetes de software como cellWise en R, facilitando su adopción práctica.

En conclusión, el artículo provee una revisión exhaustiva y un marco unificado que ha permitido el avance de la estadística robusta desde el nivel de "caso" al nivel de "celda", resolviendo problemas que antes hacían inviables los análisis estadísticos en grandes conjuntos de datos ruidosos.