A unified approach to outlier identification for mixed-type data

Resumen Técnico: Un Enfoque Unificado para la Identificación de Valores Atípicos en Datos de Tipos Mixtos

Planteamiento del Problema
Los conjuntos de datos del mundo real contienen frecuentemente variables de tipo mixto, combinando mediciones continuas con categorías ordinales (por ejemplo, escalas de Likert, indicadores binarios). Si bien existen métodos estadísticos robustos para la detección de valores atípicos (outliers) para datos puramente continuos, las técnicas capaces de manejar datos mixtos continuo-ordinales manteniendo la robustez ante la contaminación son escasas. Las definiciones tradicionales de valores atípicos que dependen de distancias euclidianas o de Mahalanobis no son directamente aplicables a variables ordinales debido a la falta de distancias numéricas significativas entre categorías. Además, los estimadores robustos existentes, como el Determinante de la Covarianza Mínima (MCD), no se han extendido a este escenario de tipo mixto.

Metodología
Los autores proponen MCD-omix, un método de identificación de valores atípicos unificado que extiende el estimador del Determinante de la Covarianza Mínima (MCD) a datos mixtos continuo-ordinales. La metodología se basa en los siguientes componentes principales:

1. Marco Gaussiano Latente: El enfoque asume que las variables ordinales observadas son generadas mediante el umbral de variables aleatorias gaussianas continuas no observadas (latentes). Esto permite a los autores modelar todo el conjunto de datos (continuo y ordinal) como una única distribución gaussiana multivariante, donde las variables ordinales son tratadas como gaussianas latentes discretizadas.
2. Estimación Robusta (Adaptación de MCD): El método estima la localización (media) y la dispersión (covarianza) de la mayoría de los "no valores atípicos" utilizando un enfoque MCD robusto.
   • Estimación de Correlación: En lugar de las correlaciones de Pearson estándar, el algoritmo calcula correlaciones poliseriales (entre variables continuas y ordinales) y correlaciones policóricas (entre dos variables ordinales) basadas en el supuesto gaussiano latente.
   • Gestión de la Singularidad: Para abordar los problemas derivados de las variables categóricas (por ejemplo, categorías vacías en un subconjunto que conducen a matrices de covarianza singulares), los autores emplean una estrategia de regularización (Ledoit & Wolf, 2004) y fijan los umbrales basándose en el conjunto de datos completo en lugar de reestimarlos en los subconjuntos.
   • Algoritmo: Se utiliza una adaptación del algoritmo FastMCD (Rousseeuw & Driessen, 1999). Este selecciona iterativamente un subconjunto $h$ de puntos de datos que minimiza el determinante de la matriz de covarianza. El algoritmo se inicializa utilizando únicamente variables continuas para evitar problemas de estimación de correlación en muestras pequeñas, y luego incorpora los valores ordinales latentes.
3. Definición de Valor Atípico: Los valores atípicos se identifican mediante distancias de Mahalanobis robustas calculadas sobre las variables continuas estandarizadas y los valores latentes estimados de las variables ordinales. Los autores definen tres regiones potenciales de valores atípicos ($out_1, out_2, out_3$), pero finalmente utilizan $out_3$, la intersección de las regiones definidas por los valores latentes y las expectativas condicionales estimadas, para asegurar la robustez frente a la inobservabilidad de los verdaderos valores latentes.
4. Propiedades de Ruptura (Breakdown Properties): El artículo presenta un teorema de ruptura que demuestra que si un cierto número de observaciones ($g < n - h$) son reemplazadas arbitrariamente, los valores atípicos extremos en el conjunto de datos original seguirán siendo identificados, siempre que al menos una variable continua en el valor atípico tome un valor extremo.

Contribuciones Clave

• Extensión de MCD: La contribución principal es la generalización del estimador MCD a datos mixtos continuo-ordinales, un escenario que carecía de una solución robusta y unificada.
• Definición Unificada de Valor Atípico: Al utilizar el modelo gaussiano latente, el artículo proporciona una definición coherente de la naturaleza de "valor atípico" que se aplica simultáneamente a variables continuas y ordinales, superando las limitaciones geométricas de los datos ordinales.
• Implementación Algorítmica: Los autores proporcionan un algoritmo práctico (Algoritmo 1) que integra la estimación de correlación poliserial/policórica, la fijación de umbrales y la regularización de la covarianza para manejar los desafíos computacionales y estadísticos de los datos mixtos.
• Garantía Teórica: Se establece un teorema de ruptura para demostrar la resiliencia del método contra el reemplazo de datos, asegurando que los valores atípicos extremos no sean enmascarados.

Resultados
El rendimiento de MCD-omix fue evaluado mediante extensas simulaciones y una aplicación en el mundo real:

• Simulaciones: El método fue probado con datos sintéticos con $n=500$ observaciones y cuatro tipos de contaminación: contaminación por desplazamiento (shift), contaminación por múltiples desplazamientos, contaminación de cola pesada ($t_2$) y contaminación de correlación mixta.
  • Tasas de Detección: MCD-omix logró altas tasas de detección (a menudo >95% para contaminación por desplazamiento, ~90% para cola pesada) a través de diversas proporciones de contaminación ($\epsilon$) y tamaños de subconjunto ($h$).
  • Falsos Positivos: El método mantuvo tasas de falsos positivos muy bajas, permaneciendo el promedio de valores no atípicos detectados erróneamente cerca de cero incluso bajo alta contaminación.
  • Estimación de Parámetros: El Error Cuadrático Medio (MSE) entre las matrices de covarianza reales y estimadas se mantuvo bajo, lo que indica que el método recupera eficazmente la estructura de correlación subyacente incluso en presencia de valores atípicos.
• Aplicación (Datos de Airbnb): El método se aplicó a un conjunto de datos de 4,614 anuncios de Airbnb en Londres (2021), que contenía 7 variables continuas y 9 ordinales.
  • El algoritmo identificó 33 valores atípicos (0.7% de los datos).
  • El análisis de los valores atípicos reveló "trampas para turistas" (por ejemplo, una habitación privada en Southwark con un precio de €13,000 por dos noches con calificaciones de satisfacción bajas) y anuncios con combinaciones de características inconsistentes (por ejemplo, alta calificación de limpieza pero baja satisfacción general).
  • Los resultados resaltaron asociaciones no capturadas por modelos espaciales estándar, como las anomalías específicas de precios en ciertos distritos (boroughs).

Significancia y Reivindicaciones
El artículo afirma que MCD-omix ofrece una solución práctica y robusta para la identificación de valores atípicos en conjuntos de datos de tipo mixto, un escenario común en campos como la psicometría, el marketing y las ciencias sociales. Al unificar el tratamiento de variables continuas y ordinales bajo un marco gaussiano latente, el método evita la necesidad de transformaciones ad-hoc o el manejo separado de los tipos de variables.

Los autores señalan modestamente que el método depende del supuesto de gaussianidad latente para las variables ordinales. Aclaran que esto es una elección de modelado para definir los valores atípicos, más que un supuesto estricto de que las variables latentes "existan realmente" o que las distribuciones marginales sean gaussianas. El enfoque se presenta como un dispositivo de calibración: las observaciones se marcan como valores atípicos si se desvían significativamente de la estructura de correlación esperada bajo una referencia gaussiana multivariante. El artículo concluye que, si bien el método es efectivo, trabajos futuros podrían explorar extensiones a datos nominales y la derivación de distribuciones asintóticas.