funOCLUST: Clustering Functional Data with Outliers

Imagina que tienes una caja gigante de espaguetis. Pero estos no son fideos comunes; son líneas onduladas y sinuosas que representan cosas como cambios de temperatura a lo largo de un día, el flujo de tráfico o cómo crece una planta. En el mundo de la ciencia de datos, esto se llama datos funcionales. ¿El problema? Estas líneas son infinitodimensionales (tienen infinitos puntos) y son desordenadas. A veces, un fideo recibe un doblez extraño, o un lote entero se ve afectado por una tormenta repentina, creando "valores atípicos" (outliers) que arruinan la fiesta.

Presentamos funOCLUST, un nuevo método propuesto por Katharine M. Clark y Paul D. McNicholas. Piensa en funOCLUST como un chef superinteligente y ligeramente gruñón que quiere clasificar estos fideos de espagueti en pilas perfectas basadas en su forma, pero primero, tiene que expulsar las piezas raras, quemadas o rotas que no encajan.

La Gran Idea: Convertir Garabatos en Vectores

No puedes simplemente lanzar espaguetis infinitos en una máquina de clasificación estándar; es demasiado complejo. Los autores sugieren un truco ingenioso: aplanar las curvas.

Utilizan algo llamado base de B-splines cúbicos. Imagina tomar cada línea ondulada y describirla no por sus puntos infinitos, sino por una lista corta de números (coeficientes) que te dicen cómo construir esa línea usando un conjunto específico de bloques de construcción. Es como convertir una pintura compleja en una simple tarjeta de receta. Una vez que las curvas se convierten en estas listas cortas de números (vectores), el problema es mucho más fácil de manejar.

La Caza de los "Valores Atípicos": El Juego de la Verosimilitud del Logaritmo

Aquí es donde ocurre la magia. Los autores toman un método existente llamado OCLUST (que fue diseñado para datos regulares) y lo adaptan para estas nuevas "tarjetas de receta".

El algoritmo juega al juego de "¿Y si eliminamos este?".

1. Observa el grupo completo de curvas.
2. Pregunta: "Si expulso esta curva específica, ¿el grupo restante se parece más a un grupo perfecto y ordenado?".
3. Mide esto usando algo llamado verosimilitud de subconjunto de logaritmo (subset log-likelihood). Piensa en esto como una "puntuación de orden". Si eliminar una curva hace que la puntuación suba significamente, esa curva probablemente era la problemática.
4. El algoritmo comprueba si los "problemáticos" siguen un patrón matemático específico (una distribución beta desplazada y escalada). Si las curvas extrañas encajan con este patrón, son oficialmente expulsadas como valores atípicos.

Los autores demostraron (matemáticamente) que, si las curvas son generadas por un modelo de mezcla gaussiana estándar, la "puntuación de orden" cambia de una manera predecible cuando se elimina una curva normal. Si la puntuación cambia demasiado, la curva es un valor atípico.

Lo Que el Artículo Dice (y lo Que No Dice)

Los autores realizaron 100 conjuntos de datos simulados para probar las habilidades de este chef. Crearon 8 escenarios diferentes, mezclando variables:

• Clústeres: A veces había 2 grupos, otras veces 5.
• Complejidad: Algunas curvas eran simples (como una línea recta), otras eran salvajes (con bultos y ondulaciones).
• Dispersión (Sparsity): A veces los datos eran densos (muchos puntos), otras veces dispersos (muchos puntos faltantes).
• Valores Atípicos: Crearon dos tipos de problemáticos. Algunos eran de "desplazamiento-escala" (toda la curva se hizo más grande o se movió hacia arriba), y otros eran de "cola pesada" (errores aleatorios y salvajes).

Los Resultados:

• Errores de Cola Pesada: Cuando los datos tenían errores aleatorios y salvajes (colas pesadas), funOCLUST fue el claro ganador, superando a competidores como funHDDC, T-funHDDC y tkmeans.
• Errores de Desplazamiento-Escala: Cuando los valores atípicos eran simplemente versiones desplazadas o escaladas de las curvas normales, tkmeans (un método k-means recortado) en realidad hizo un trabajo ligeramente mejor, aunque funOCLUST se mantuvo firme.
• Prueba del Mundo Real 1 (Tráfico de Peatones): Lo probaron con el tráfico peatonal por horas en Melbourne. El algoritmo separó con éxito los días laborables de los fines de semana/festivos. Identificó correctamente 22 días "atípicos", incluyendo el Año Nuevo, la Navidad y el Año Nuevo Chino. Estos fueron días donde el patrón de tráfico no encajaba con el molde habitual de día laborable o fin de semana.
• Prueba del Mundo Real 2 (Datos de NOx): Lo probaron con datos de contaminación del aire (niveles de NOx) en Barcelona. El método logró una Tasa de Clasificación Correcta (CCR) entre 0.51 y 0.86, dependiendo de la configuración del modelo. La mejor configuración (estructura de covarianza EEE) alcanzó un 0.86, lo cual está a la par con otros métodos superiores.

Lo Que el Artículo Descarta

Los autores son cuidadosos al decir qué no es su método.

• Establecen explícitamente que, mientras algunos métodos intentan agrupar datos en "subespacios" (reduciendo dimensiones de una manera específica), funOCLUST mantiene intacto el dominio funcional completo. Argumentan que, a veces, necesitas la imagen completa, no solo una rebanada.
• Señalan que su método depende de la suposición de que las "tarjetas de receta" (coeficientes) provienen de una distribución normal multivariante. Si los datos son salvajemente sesgados o no encajan con esto, el método podría tener dificultades (aunque sugieren que es lo suficientemente robusto para muchos casos del mundo real).
• No afirman que este sea un "problema resuelto" para todos los datos funcionales. De hecho, en sus simulaciones, cuando había 5 clústeres con alta complejidad y datos dispersos, la tasa de falsos negativos (perder un valor atípico) saltó al 51%. Admiten que detectar valores atípicos en esas condiciones específicas y desordenadas es inherentemente difícil.

El Veredicto

El artículo sugiere que funOCLUST es una nueva herramienta robusta. No es una varita mágica que lo arregla todo instantáneamente, pero es un competidor muy fuerte, especialmente cuando los datos tienen ruido o errores de cola pesada.

Los autores concluyen que esta es la primera extensión de OCLUST a los datos funcionales. Lo ven como un peldaño. Sugieren que, en el futuro, esto podría extenderse para manejar datos sesgados o incluso para que la "receta" (la descomposición de la base) se estime dentro del propio algoritmo de agrupamiento, en lugar de ser solo un primer paso.

Así que, si tienes una caja de espaguetis desordenados y ondulados y necesitas clasificarlos mientras expulsas los que están quemados, funOCLUST es un chef al que vale la pena contratar—¡solo no esperes que funcione perfectamente si el espagueti es demasiado raro y la cocina está demasiado oscura!