Resumen Técnico: Análisis Discriminante Robusto Celda a Celda

Enunciado del Problema

El Análisis Discriminante (DA) clásico, incluidas las variantes Lineal (LDA) y Cuadrática (QDA), se basa en la media aritmética y la matriz de covarianza empírica para estimar los parámetros de clase. Estos estimadores son altamente sensibles a los valores atípicos. Si bien la estadística robusta tradicional se ha centrado en los valores atípicos por caso (puntos de datos completos que se alejan mucho del centro de la clase), el análisis de datos moderno encuentra cada vez más valores atípicos por celda. Estos son entradas inesperadas dentro de una matriz de datos donde solo algunas celdas de un caso están corruptas, mientras que las celdas restantes contienen información valiosa.

Eliminar un caso completo debido a unas pocas celdas atípicas resulta en una pérdida significativa de información. Además, los métodos robustos por caso a menudo fallan en presencia de contaminación por celdas, porque incluso un pequeño porcentaje de celdas atípicas puede contaminar a la mayoría de los casos. La literatura existente ha abordado la estimación robusta por celda para datos de entrenamiento (por ejemplo, Aerts y Wilms, 2017), pero persiste una brecha crítica: la predicción robusta fuera de la muestra. Los métodos actuales luchan por clasificar nuevos datos de prueba que pueden contener ellos mismos celdas atípicas o valores faltantes (NA), lo que a menudo conduce a una clasificación errónea.

Metodología

Los autores proponen cellLDA y cellQDA, un marco unificado para el análisis discriminante robusto por celda que aborda tanto la etapa de entrenamiento como la de predicción.

1. Entrenamiento Robusto (Dentro de la Muestra)

El método estima la ubicación ($\mu_g$) y la matriz de dispersión ($\Sigma_g$) para cada clase $g$ utilizando el estimador cellMCD (Raymaekers y Rousseeuw, 2024).

• Objetivo: CellMCD minimiza una log-verosimilitud negativa penalizada que incluye una distancia de Mahalanobis al cuadrado parcial calculada solo sobre celdas no marcadas.
• Marcado: Estima simultáneamente una matriz de máscara binaria $W_g$ donde $w_{ij}=0$ indica una celda marcada (atípica o NA) y $w_{ij}=1$ indica una celda limpia.
• Adaptación de LDA: Para el DA Lineal, se estima una matriz de dispersión compartida agrupando datos centrados y aplicando cellMCD con un centro fijo.

2. Predicción Fuera de la Muestra (Datos de Prueba)

La novedad central radica en la etapa de predicción, que maneja casos de prueba que contienen valores atípicos por celda y NA.

• Cellflagger: Para un nuevo punto de prueba $x$, un "cellflagger" basado en la verosimilitud marca celdas de forma iterativa. Minimiza una función objetivo penalizada para determinar qué celdas son atípicas con respecto a una clase específica $g$. Una celda se marca si su residuo estandarizado excede un intervalo de tolerancia robusto (basado en el cuantil $\chi^2$).
• Modelo de Contaminación: Los autores introducen un modelo estadístico novedoso que extiende el marco de contaminación por celdas (Alqallaf et al., 2009) a múltiples clases. El modelo asume:
  • Las celdas limpias siguen una distribución normal multivariante $N(\mu_g, \Sigma_g)$.
  • Las celdas atípicas siguen una distribución Laplace de colas pesadas.
  • Las celdas atípicas ocurren con una probabilidad específica $p_{gj}$.
• Función Discriminante Robusta: Basado en la verosimilitud conjunta de los datos y los indicadores de contaminación bajo el modelo anterior, se deriva una nueva función discriminante $\delta_g(x, w_g)$. Esta función incluye:
  1. La log-verosimilitud estándar de las celdas no marcadas.
  2. Un término de penalización por el número de celdas marcadas (basado en la probabilidad Bernoulli de contaminación).
  3. Un término que accounta por la magnitud de las celdas atípicas (basado en la densidad Laplace).
• Manejo de Datos Faltantes: El marco maneja naturalmente los NA fijando los pesos correspondientes a 0 (tratándolos como excluidos permanentemente) antes de aplicar el cellflagger, asegurando que la función discriminante solo sume sobre las celdas limpias disponibles.
• Detección de Valores Atípicos por Caso: Si un caso de prueba tiene más de $d/2$ celdas marcadas o una distancia de Mahalanobis grande en las celdas restantes, se asigna a una nueva clase de "valor atípico" (clase 0).

Contribuciones Clave

1. Marco Unificado: El enfoque unifica la estimación de parámetros, la detección de valores atípicos y la clasificación bajo un único principio de máxima verosimilitud penalizada.
2. Predicción Robusta: A diferencia de los métodos anteriores robustos por celda, este enfoque proporciona un mecanismo para clasificar datos de prueba que pueden contener celdas atípicas, evitando la clasificación errónea de casos con errores menores en los datos.
3. Manejo de Valores Faltantes: El método acomoda naturalmente los datos faltantes sin requerir imputación previa a la clasificación.
4. Interpretabilidad: Los autores introducen herramientas gráficas (Mapas de Clases y Mapas de Celdas) para visualizar los resultados de la clasificación, distinguiendo entre casos limpios, casos clasificados correctamente con celdas atípicas y valores atípicos por caso.

Resultados

Simulaciones

Los métodos se evaluaron en datos simulados con dimensiones $d=5$ y $d=20$, bajo diversos escenarios de contaminación (por celda, por caso y mixtos) y estructuras de correlación.

• Datos de Prueba Limpios: Cuando los datos de entrenamiento contenían valores atípicos por celda, cellQDA y cellLDA mantuvieron una alta precisión, superando al DA clásico (CQDA/CLDA) y a los métodos robustos por caso (RQDA/RLDA).
• Datos de Prueba Contaminados: Cuando los datos de prueba contenían valores atípicos por celda, solo cellQDA y cellLDA mantuvieron un rendimiento robusto. Los métodos clásicos y robustos por caso sufrieron caídas significativas en la precisión porque sus reglas discriminantes no estaban diseñadas para manejar celdas atípicas en el conjunto de prueba.
• Escenarios Mixtos: Los métodos propuestos superaron consistentemente a las líneas base robustas existentes (GLQDA/RLDA) cuando tanto los datos de entrenamiento como los de prueba estaban contaminados.

Aplicación a Datos Reales

El método se aplicó a un conjunto de datos de 804 dulces suizos (Galletas, Helados, Pasteles, Pudines) con 9 variables nutricionales.

• Precisión: cellQDA logró la mayor precisión validada cruzadamente (0.832), superando a CQDA (0.569), RQDA (0.805) y GLQDA (0.767).
• Interpretación: Las visualizaciones gráficas revelaron que cellQDA clasificó correctamente productos con perfiles nutricionales inusuales (por ejemplo, marcas específicas de "Weight Watchers") que fueron clasificados erróneamente por otros métodos o marcados como valores atípicos globales. Los mapas de celdas identificaron con éxito ingredientes inusuales específicos (por ejemplo, sal inesperadamente alta/baja) que impulsaban la clasificación.
• Datos Faltantes: El método mantuvo una alta precisión (76%) incluso cuando hasta el 60% de las celdas de prueba se establecieron como faltantes, superando significativamente al DA clásico aplicado a datos completos.

Significado y Afirmaciones

El artículo afirma que el significado principal de este trabajo es el desarrollo de un método de predicción robusta fuera de la muestra para el análisis discriminante. Si bien el entrenamiento robusto está establecido, la capacidad de clasificar nuevos datos que contienen valores atípicos por celda sin descartar toda la observación es una contribución novedosa.

Los autores enfatizan que su enfoque es coherente, ya que los pasos de estimación, marcado y clasificación se derivan todos del mismo modelo de verosimilitud penalizada. Esta unificación permite un manejo natural de los valores faltantes y proporciona una forma estadísticamente fundamentada de penalizar el número de celdas marcadas. Los resultados de las simulaciones demuestran que estos métodos ofrecen un rendimiento superior en escenarios realistas donde ocurre contaminación de datos tanto en las fases de entrenamiento como de prueba, sin sacrificar la eficiencia en datos limpios.