Area-based epigraph and hypograph indices for functional outlier detection

Título: Índices de Epígrafo e Hipógrafo Basados en Área para la Detección de Valores Atípicos Funcionales

1. Planteamiento del Problema

La detección de valores atípicos (outliers) en el Análisis de Datos Funcionales (FDA) es un desafío significativo debido a la naturaleza multidimensional de las curvas. Los valores atípicos pueden manifestarse de diversas formas:

• Magnitud: Desviaciones en la escala o nivel de la curva.
• Forma: Cambios en la estructura o patrón de la curva.
• Fase: Desplazamientos temporales.
• Combinaciones: Mezclas de los anteriores.

Los métodos existentes, como los índices de epígrafo y hipógrafo modificados (MEI y MHI) propuestos por Franco-Pereira et al. (2011), se basan en la medida de Lebesgue para cuantificar la proporción del dominio donde una curva domina a otra. Aunque efectivos para detectar anomalías de forma, tienen una limitación crítica: son insensibles a la magnitud de la desviación vertical. Una curva puede estar muy por encima de las demás en un intervalo pequeño y ser detectada igual que una que esté ligeramente por encima, ya que solo cuentan el "tiempo" de dominancia, no la "distancia" acumulada. Esto limita su capacidad para identificar valores atípicos de magnitud o combinaciones complejas.

2. Metodología Propuesta

El artículo introduce una nueva metodología llamada EHyOut, que se basa en dos contribuciones fundamentales:

A. Nuevos Índices: ABEI y ABHI
Se proponen el Índice de Epígrafo Basado en Área (ABEI) y el Índice de Hipógrafo Basado en Área (ABHI). A diferencia de sus predecesores, estos índices no miden solo la proporción del dominio, sino el área acumulada entre las curvas.

• ABEI: Cuantifica el área total donde las curvas de la muestra están por encima de una curva dada $x$.
• ABHI: Cuantifica el área total donde las curvas de la muestra están por debajo de $x$.
• Ventaja: Al integrar la distancia vertical, estos índices son sensibles tanto a la magnitud como a la forma de las desviaciones. Además, a diferencia de MEI y MHI (que tienen una relación lineal), ABEI y ABHI no son linealmente dependientes, lo que permite usarlos conjuntamente para una caracterización más rica de la atipicidad.

B. El Procedimiento EHyOut
EHyOut transforma el problema de detección de valores atípicos funcionales en un problema multivariante mediante los siguientes pasos:

1. Preparación de Datos: Las curvas funcionales se representan mediante una base de splines cúbicos para obtener la función original y sus derivadas primera y segunda.
2. Cálculo de Índices: Se calculan los índices ABEI y ABHI para la curva original y sus dos derivadas. Esto genera un vector de características de dimensión 6 para cada observación (3 índices $\times$ 2 direcciones: epígrafo/hipógrafo).
3. Detección Multivariante: Se aplica un método robusto de detección de valores atípicos multivariante sobre estos vectores de características. El estudio identifica al Método del Comediante (Comedian Method - COM) como la opción más efectiva, utilizando la distancia de Mahalanobis robusta basada en la desviación absoluta mediana (MAD).

3. Contribuciones Clave

• Superación de limitaciones de magnitud: Los índices ABEI y ABHI corrigen la ceguera a la magnitud de los índices tradicionales, permitiendo detectar tanto desviaciones de forma como de escala.
• Robustez ante tipos desconocidos: EHyOut no requiere conocimiento previo sobre el tipo de valor atípico (magnitud, forma o ambos), ofreciendo un enfoque "todo en uno".
• Análisis de derivadas: La inclusión de las primeras y segundas derivadas en el cálculo de los índices mejora significativamente la detección de anomalías de forma, como se demostró en las simulaciones.
• Implementación práctica: Se proporciona un código disponible en el repositorio GitHub ehyout y se planea su integración en el paquete R ehymet.

4. Resultados

El rendimiento de EHyOut se evaluó mediante un estudio de simulación exhaustivo con 19 Procesos de Generación de Datos (DGPs) que cubren una amplia gama de tipos de valores atípicos, comparándolo con 7 métodos de referencia (como Outliergram, MSPLOT, TVD, MBD, etc.).

• Rendimiento en Simulación:

  • EHyOut fue el único método que mantuvo una mediana del Coeficiente de Correlación de Matthews (MCC) superior a 0.5 en todos los 19 DGPs.
  • Superó consistentemente a los métodos de referencia en escenarios complejos (combinaciones de magnitud y forma), donde otros métodos fallaban o mostraron alta variabilidad.
  • En términos de AUC (Área bajo la curva), EHyOut y MSPLOT obtuvieron valores cercanos a 1, indicando una excelente capacidad de clasificación.
  • Eficiencia Computacional: EHyOut es extremadamente rápido (tiempo medio de ejecución de ~0.008 segundos), siendo superado solo por MBD, pero con una precisión muy superior.

• Aplicaciones a Datos Reales:

  • Datos Meteorológicos de España: Identificó correctamente estaciones en las Islas Canarias como valores atípicos en temperatura y precipitación, coincidiendo con hallazgos previos de la literatura, además de detectar anomalías específicas en la península.
  • Datos de Población Mundial (ONU): Detectó países con patrones de crecimiento demográfico inusuales (ej. crecimiento explosivo en África y Medio Oriente, o comportamientos estables pero distintos en Europa del Este), proporcionando resultados coherentes y significativos.

5. Significado e Impacto

Este trabajo es significativo porque cierra una brecha teórica y práctica en la detección de valores atípicos funcionales.

• Teórico: Demuestra que incorporar la magnitud de la desviación (área) es crucial para una detección robusta, superando las limitaciones de las medidas basadas puramente en la dominancia del dominio.
• Práctico: Ofrece una herramienta (EHyOut) que es a la vez robusta, precisa y computacionalmente eficiente, ideal para aplicaciones en medicina, finanzas y ciencias ambientales donde el tipo de anomalía no se conoce de antemano.
• Futuro: Abre la puerta a la adaptación de estos índices a datos funcionales multivariantes y al desarrollo de estrategias de umbralización adaptativa basadas en la distribución de los propios índices.

En conclusión, EHyOut se establece como el método más fiable y equilibrado actualmente disponible para la detección general de valores atípicos en datos funcionales.