Robust measures of dispersion for circular data with an anomaly detection rule

Aquí presento un resumen técnico detallado del artículo "Robust measures of dispersion for circular data with an anomaly detection rule" (Medidas robustas de dispersión para datos circulares con una regla de detección de anomalías), escrito por Houyem Demni, Mia Hubert, Giovanni C. Porzio y Peter J. Rousseeuw.

1. Planteamiento del Problema

Los datos circulares (ángulos, direcciones, observaciones periódicas) son comunes en campos como la biología y las ciencias ambientales. El desafío principal abordado en este trabajo es la estimación robusta de la dispersión en estos datos.

• Limitaciones de los métodos clásicos: Las medidas estándar, como la desviación estándar circular (CSD), son extremadamente sensibles a valores atípicos (outliers). El artículo ilustra esto con un conjunto de datos de estrellas de mar sardas, donde la presencia de solo dos observaciones inusuales aumentó la CSD de 0.36 a 0.58, distorsionando la percepción de la variabilidad real.
• Vacío en la literatura: Aunque existen medidas robustas de ubicación (como la mediana circular) y medidas de dispersión lineales robustas (como la Desviación Absoluta Mediana o MAD), las versiones circulares de estas medidas de dispersión robustas han recibido poca atención. Específicamente, no se habían estudiado sus propiedades de robustez (función de influencia, valor de ruptura) ni se habían extendido métodos como el de Mínimos Medianos de Cuadrados (LMS) y Mínimos Cuadrados Recortados (LTS) al dominio circular.

2. Metodología

Los autores proponen y analizan tres nuevas medidas de dispersión circular robustas, extendiendo conceptos de datos lineales al círculo:

1. CMAD (Circular Median Absolute Deviation):

   • Definido como la mediana de las distancias de arco más cortas desde la mediana circular.
   • Es una extensión circular de la MAD lineal.
   • Limitación: No está definido si la mediana circular no es única.

2. CLMS (Circular Least Median Spread):

   • Extensión del método LMS (Least Median Squares).
   • Se define como la mínima mediana de las distancias de un punto arbitrario en el círculo a los datos. Equivale a la mitad de la longitud del arco más corto que contiene al menos el 50% de la probabilidad.
   • No depende de la unicidad de la mediana.

3. CLTS (Circular Least Trimmed Standard Deviation):

   • Extensión del método LTS (Least Trimmed Squares).
   • Se define como la mínima Desviación Estándar Circular (CSD) calculada sobre todos los arcos que contienen al menos el 50% de la masa de probabilidad.

Análisis Teórico:

• Funciones de Influencia (IF): Se derivaron las funciones de influencia para CMAD, CLMS y CLTS bajo distribuciones simétricas (como la de Von Mises y la Normal Envuelta). Esto permite cuantificar el efecto de una pequeña contaminación.
• Curvas de Sesgo Relativo: Se estudió el impacto de contaminaciones de diferentes magnitudes y tipos (desplazamiento de media y masa puntual) en las estimaciones.
• Valores de Ruptura (Breakdown Values): Se calcularon los valores de ruptura de implosión (cuando la estimación tiende a cero) y explosión (cuando tiende al infinito/máximo).
• Eficiencia Asintótica Relativa (ARE): Se comparó la eficiencia de los estimadores robustos derivados de estas medidas frente al Estimador de Máxima Verosimilitud (MLE) para distribuciones de Von Mises y Normal Envuelta.

Aplicación a Modelos Paramétricos:
Se construyeron estimadores robustos y consistentes para los parámetros de concentración ($\kappa$) de la distribución de Von Mises y de dispersión ($\sigma$) de la Normal Envuelta, utilizando las relaciones inversas entre estas medidas de dispersión y los parámetros del modelo.

3. Contribuciones Clave

1. Definición y Análisis de Nuevas Medidas: Formalización de CLMS y CLTS en el contexto circular, junto con el análisis exhaustivo de CMAD (incluyendo su función de influencia y valor de ruptura, algo no realizado previamente).
2. Estimadores Robustos de Parámetros: Desarrollo de procedimientos para estimar $\kappa$ y $\sigma$ que son resistentes a outliers, manteniendo consistencia estadística.
3. Regla de Detección de Anomalías: Propuesta de un nuevo criterio de detección de outliers basado en la distancia de un punto a la mediana circular robusta, comparado con un umbral calculado a partir del estimador robusto de dispersión (CLMS).
4. Herramienta Gráfica: El "Circular Violin Plot": Introducción de una visualización novedosa que adapta el gráfico de violín lineal al círculo.
   • Muestra la densidad estimada no paramétricamente alrededor del círculo.
   • Integra elementos del "circular boxplot" (rango intercuartílico, mediana).
   • Marca visualmente los puntos que exceden el umbral de detección de outliers.

4. Resultados Principales

• Rendimiento de Robustez:

  • Las tres medidas (CMAD, CLMS, CLTS) son mucho más robustas que la CSD clásica frente a la contaminación.
  • CLMS demostró ser el mejor desempeño global. Tiene un valor de ruptura de 0.5 (el máximo posible), lo que significa que puede resistir hasta un 50% de datos contaminados sin colapsar.
  • CMAD tiene un valor de ruptura ligeramente inferior a 0.5 (dependiendo de la concentración de los datos), lo que lo hace menos robusto que CLMS en ciertos escenarios extremos.
  • CLTS también tiene un valor de ruptura de 0.5, pero su eficiencia es ligeramente menor que la de CLMS.

• Eficiencia:

  • En distribuciones de Von Mises y Normal Envuelta, los estimadores basados en CLMS y CMAD mantienen una eficiencia relativa asintótica (ARE) superior al 70% para concentraciones bajas, cayendo a un 36.74% (límite de la MAD lineal) para concentraciones muy altas.
  • Los estimadores basados en CLTS tienen una eficiencia ligeramente menor (límite de ~30.67%).

• Simulaciones:

  • En estudios de simulación con datos limpios y contaminados (10% y 20%), el MLE clásico falló drásticamente, mientras que los estimadores robustos mantuvieron la precisión.
  • CLMS fue identificado como el estimador más robusto y preciso entre las opciones propuestas.

• Análisis de Datos Reales:

  • Estrellas de mar sardas: El método propuesto detectó correctamente dos outliers que métodos de eliminación secuencial o MLE no pudieron identificar simultáneamente debido al "efecto de enmascaramiento".
  • Ranas de cricket: Confirmó un outlier previamente identificado en la literatura.
  • Larvas de mosca de la fruta: El gráfico de violín circular reveló que los datos tenían colas más pesadas que las de una distribución de Von Mises, sugiriendo la necesidad de un modelo diferente (distribución Inversa de Batschelet).

5. Significado e Impacto

Este trabajo es fundamental para el análisis de datos direccionales porque:

1. Resuelve el problema del enmascaramiento: Proporciona una herramienta que detecta múltiples outliers simultáneamente sin que la presencia de uno oculte a otro, un problema común en métodos de eliminación secuencial.
2. Fundamenta teóricamente la robustez circular: Llena un vacío teórico al proporcionar funciones de influencia y valores de ruptura para medidas de dispersión circular, permitiendo a los investigadores elegir la medida adecuada según sus necesidades de robustez y eficiencia.
3. Herramienta práctica: Ofrece un software (código R disponible) y una visualización gráfica intuitiva (Circular Violin Plot) que facilita la exploración de datos y la detección de anomalías en aplicaciones reales.
4. Extensibilidad: Aunque se centra en el círculo, la metodología sienta las bases para extender estas técnicas a otras variedades (manifolds) como esferas o toros.

En conclusión, los autores establecen que CLMS es la medida de dispersión circular robusta preferida, equilibrando óptimamente la resistencia a outliers (valor de ruptura del 50%) con una alta eficiencia estadística, y proponen un marco completo para la detección de anomalías en datos circulares.