A Novel Evaluation Metric for Unsupervised Learning in AIS-Based Maritime Anomaly Detection: MADQI

Resumen Técnico: Una Nueva Métrica de Evaluación para el Aprendizaje No Supervisado en la Detección de Anomalías Marítimas Basada en AIS (MADQI)

Planteamiento del Problema
La detección de anomalías marítimas mediante datos del Sistema de Identificación Automática (AIS) es fundamental para la seguridad, la protección y la preservación del medio ambiente. Sin embargo, el campo se enfrenta a un desafío significativo: la falta de datos de verdad de terreno (ground truth) etiquetados sobre comportamientos anómalos de embarcaciones. En consecuencia, los investigadores recurren a algoritmos de aprendizaje no supervisado, como el Isolation Forest, para detectar irregularidades. Si bien estos métodos son eficaces para identificar valores atípicos, el artículo destaca una brecha crítica en la literatura: la ausencia de métricas de evaluación objetivas, cuantitativas y específicas del dominio. Las evaluaciones actuales suelen depender de la inspección visual subjetiva o del juicio de expertos, lo que dificulta la comparación de modelos, la validación sistemática de resultados o la creación de puntos de referencia (benchmarking).

Metodología
El estudio propone un marco integral centrado en el Índice de Calidad de la Detección de Anomalías Marítimas (MADQI), una métrica compuesta diseñada para evaluar la detección de anomalías no supervisada sin necesidad de datos etiquetados.

1. Datos e Ingeniería de Características:

   • El marco utiliza datos de AIS (específicamente datos de EE. UU. del 31 de marzo de 2022) que contienen trayectorias espacio-temporales.
   • Los datos brutos (latitud, longitud, Velocidad Sobre el Suelo [SOG], Rumbo Sobre el Suelo [COG] y marcas de tiempo) se procesan para extraer características derivadas utilizando la fórmula de Haversine para la distancia espacial.
   • Las características clave diseñadas incluyen:
     • Espaciales: Distancia entre puntos consecutivos.
     • Temporales: Brechas de tiempo entre mensajes.
     • Cinemáticas: Velocidad implícita (derivada de distancia/tiempo) y la diferencia entre la SOG reportada y la velocidad implícita.
     • Conductuales: Tasas de giro e indicadores compuestos.
   • Las anomalías se categorizan en cinco tipos: Anomalía de Velocidad, Anomalía de Salto de Posición, Anomalía de Brecha Temporal, Anomalía de Tasa de Giro y Anomalía de Comportamiento Compuesto.

2. Modelo de Detección de Anomalías:

   • Se emplea el algoritmo Isolation Forest como el modelo no supervisado central. Este aisla las anomalías construyendo árboles binarios basados en divisiones de características aleatorias; los puntos anómalos suelen requerir menos divisiones para ser aislados, lo que resulta en longitudes de ruta más cortas y puntuaciones de anomalía más altas.

3. El Marco MADQI:

   • Para evaluar la salida del modelo, los autores introducen el MADQI, que agrega cuatro componentes distintos:
     • Consistencia de la Tasa de Anomalías (ARC): Mide la alineación entre la proporción de anomalías observadas y el nivel de contaminación esperado.
     • Puntuación de Plausibilidad Física (PPS): Evalúa si las anomalías detectadas exhiben desviaciones físicas significativas (en velocidad, distancia y tiempo) en comparación con el comportamiento normal.
     • Separación de la Distribución de Puntuación (SDS): Cuantifica la separación estadística entre las puntuaciones de anomalía de las observaciones normales y las anómalas.
     • Evidencia de Casos Extremos (ECE): Evalúa la presencia de desviaciones de comportamiento extremas, particularmente en el desplazamiento espacial.
   • Estrategia de Normalización: Para asegurar la comparabilidad entre estas métricas heterogéneas, el marco emplea una estrategia de evaluación por múltiples fragmentos (particionando los datos en subconjuntos no superpuestos) y escalado adaptativo. Utiliza estadísticas de cuartiles inferiores para determinar los parámetros de escalado y aplica una función de normalización exponencial ($1 - e^{-x/\tau}$). Este enfoque evita el "sesgo de centralización" de la normalización suave tradicional, permitiendo que los componentes de alto rendimiento se aproximen a la unidad de forma natural.

Contribuciones Clave
El artículo describe cuatro contribuciones principales:

1. Enfoque Unificado No Supervisado: Un marco robusto que utiliza Isolation Forest y análisis espacial basado en Haversine para detectar anomalías marítimas de múltiples características sin etiquetas.
2. Taxonomía Estructurada de Anomalías: Un sistema de clasificación que define cinco tipos específicos de anomalías marítimas (velocidad, salto de posición, brecha de tiempo, tasa de giro y compuesto) para estructurar el proceso de detección.
3. Métrica MADQI: Un índice de calidad novedoso, específico del dominio y libre de etiquetas, que integra dimensiones espaciales, temporales y conductuales en una única puntuación interpretable.
4. Herramienta Operativa: Una implementación práctica que proyecta las anomalías detectadas en mapas geoespaciales interactivos (usando la biblioteca Folium), cerrando la brecha entre la detección no supervisada y la inteligencia accionable para las autoridades marítimas.

Resultados Experimentales
El marco fue probado en un conjunto de datos de más de 1 millón de observaciones de AIS, con un enfoque específico en un subconjunto de 500,000 observaciones para la evaluación.

• Desempeño de Detección: El modelo Isolation Forest identificó 498 anomalías (aprox. 0.1% de los datos) y 10 anomalías extremas basadas en reglas específicas del dominio.
• Puntuaciones MADQI: El marco alcanzó una puntuación MADQI total de 80.37%.
  • Evidencia de Casos Extremos (ECE): Obtuvo una puntuación de 1.000 (normalizada), lo que indica una excelente capacidad para detectar desviaciones espaciales extremas.
  • Consistencia de la Tasa de Anomalías (ARC): Obtuvo 0.907, mostrando una fuerte alineación entre las tasas de anomalías observadas y esperadas.
  • Plausibilidad Física (PPS): Obtuvo 0.672, reflejando una validez física razonable.
  • Separación de la Distribución de Puntuación (SDS): Obtuvo 0.636, indicando una clara separación estadística entre los casos normales y los anómalos.
• Visualización: Los resultados se visualizaron en mapas interactivos, permitiendo una validación cualitativa de la distribución espacial de las anomalías.

Significancia y Reivindicaciones
Los autores afirman que MADQI aborda un problema fundamental abierto en el campo: la falta de una métrica de evaluación estandarizada y objetiva para la detección de anomalías no supervisadas en contextos marítimos.

• Interpretabilidad: Al descomponer el desempeño en ARC, PPS, SDS y ECE, la métrica proporciona información diagnóstica sobre por qué un modelo funciona bien o mal, en lugar de ofrecer una única puntuación opaca.
• Robustez: La evaluación por múltiples fragmentos y el escalado adaptativo basado en datos reducen la sensibilidad a las fluctuaciones específicas del conjunto de datos y eliminan el ajuste arbitrario de parámetros.
• Escalabilidad y Aplicabilidad: El marco es computacionalmente eficiente y está diseñado para conjuntos de datos AIS a gran escala, ofreciendo una solución de "conectar y usar" (plug-and-play) para sistemas de vigilancia marítima en tiempo real.
• Agnóstico al Modelo: Aunque se demostró con Isolation Forest, los autores declaran que la métrica está diseñada para ser agnóstica al modelo, facilitando la comparación de diversas técnicas no supervisadas.

El artículo concluye que MADQI proporciona un enfoque fiable, significativo y escalable para evaluar la detección de anomalías en los datos de AIS marítimos, alejando al campo del análisis subjetivo hacia una evaluación cuantitativa y consciente del dominio.