A Novel Evaluation Metric for Unsupervised Learning in AIS-Based Maritime Anomaly Detection: MADQI

Résumé technique : Une nouvelle métrique d'évaluation pour l'apprentissage non supervisé dans la détection d'anomalies maritimes basée sur l'AIS (MADQI)

Énoncé du problème
La détection d'anomalies maritimes à l'aide des données du Système d'Identification Automatique (AIS) est cruciale pour la sécurité, la sûreté et la protection de l'environnement. Cependant, le domaine est confronté à un défi majeur : l'absence de données de vérité terrain étiquetées pour les comportements de navires anormaux. Par conséquent, les chercheurs s'appuient sur des algorithmes d'apprentissage non supervisé, tels que l'Isolation Forest, pour détecter les irrégularités. Bien que ces méthodes soient efficaces pour identifier les valeurs aberrantes, l'article souligne une lacune critique dans la littérature : l'absence de métriques d'évaluation objectives, quantitatives et spécifiques au domaine. Les évaluations actuelles reposent souvent sur une inspection visuelle subjective ou sur le jugement d'experts, ce qui rend difficile l'établissement de références de performance (benchmarking), la comparaison de différents algorithmes ou la validation systématique des résultats.

Méthodologie
L'étude propose un cadre complet centré sur le MADQI (Maritime Anomaly Detection Quality Index), une métrique composite conçue pour évaluer la détection d'anomalies non supervisée sans données étiquetées.

1. Données et ingénierie des caractéristiques :

   • Le cadre utilise des données AIS (spécifiquement des données américaines du 31 mars 2022) contenant des trajectoires spatio-temporelles.
   • Les données brutes (latitude, longitude, vitesse de surface [SOG], cap de surface [COG] et horodatage) sont traitées pour extraire des caractéristiques dérivées en utilisant la formule de Haversine pour la distance spatiale.
   • Les caractéristiques clés ainsi ingéniérées incluent :
     • Spatiales : Distance entre les points consécutifs.
     • Temporelles : Écarts de temps entre les messages.
     • Cinématiques : Vitesse implicite (dérivée de la distance/temps) et la différence entre la SOG rapportée et la vitesse implicite.
     • Comportementales : Taux de rotation et indicateurs composites.
   • Les anomalies sont classées en cinq types : anomalie de vitesse, anomalie de saut de position, anomalie d'écart temporel, anomalie de taux de rotation et anomalie comportementale composite.

2. Modèle de détection d'anomalies :

   • L'algorithme Isolation Forest est employé comme modèle non supervisé central. Il isole les anomalies en construisant des arbres binaires basés sur des divisions de caractéristiques aléatoires ; les points anormaux nécessitent généralement moins de divisions pour être isolés, ce qui entraîne des longueurs de chemin plus courtes et des scores d'anomalie plus élevés.

3. Le cadre MADQI :

   • Pour évaluer la sortie du modèle, les auteurs introduisent le MADQI, qui agrège quatre composantes distinctes :
     • Cohérence du taux d'anomalie (ARC - Anomaly Rate Consistency) : Mesure l'alignement entre le ratio d'anomalies observé et le niveau de contamination attendu.
     • Score de plausibilité physique (PPS - Physical Plausibility Score) : Évalue si les anomalies détectées présentent des déviations physiques significatives (en vitesse, distance et temps) par rapport au comportement normal.
     • Séparation de la distribution des scores (SDS - Score Distribution Separation) : Quantifie la séparation statistique entre les scores d'anomalie des observations normales et anormales.
     • Preuve de cas extrêmes (ECE - Extreme Case Evidence) : Évalue la présence de déviations comportementales extrêmes, particulièrement dans le déplacement spatial.
   • Stratégie de normalisation : Pour assurer la comparabilité de ces métriques hétérogènes, le cadre utilise une stratégie d'évaluation multi-blocs (partitionnement des données en sous-ensembles non chevauchants) et une mise à l'échelle adaptative. Il utilise des statistiques de quartile inférieur pour déterminer les paramètres de mise à l'échelle et applique une fonction de normalisation exponentielle ($1 - e^{-x/\tau}$). Cette approche évite le « biais de centralisation » de la normalisation douce traditionnelle, permettant aux composantes performantes de tendre naturellement vers l'unité.

Principales contributions
L'article présente quatre contributions principales :

1. Approche non supervisée unifiée : Un cadre robuste utilisant l'Isolation Forest et l'analyse spatiale basée sur Haversine pour détecter des anomalies maritimes multi-caractéristiques sans étiquettes.
2. Taxonomie structurée des anomalies : Un système de classification définissant cinq types spécifiques d'anomalies maritimes (vitesse, saut de position, écart temporel, taux de rotation et composite) pour structurer le processus de détection.
3. Métrique MADQI : Un nouvel indice de qualité spécifique au domaine et sans étiquette, qui intègre les dimensions spatiales, temporelles et comportementales en un score interprétable unique.
4. Outil opérationnel : Une implémentation pratique qui projette les anomalies détectées sur des cartes géospatiales interactives (en utilisant la bibliothèque Folium), comblant le fossé entre la détection non supervisée et l'intelligence exploitable pour les autorités maritimes.

Résultats expérimentaux
Le cadre a été testé sur un ensemble de données de plus d'un million d'observations AIS, avec un accent particulier sur un sous-ensemble de 500 000 observations pour l'évaluation.

• Performance de détection : Le modèle Isolation Forest a identifié 498 anomalies (environ 0,1 % des données) et 10 anomalies extrêmes basées sur des règles spécifiques au domaine.
• Scores MADQI : Le cadre a atteint un score MADQI total de 80,37 %.
  • Preuve de cas extrêmes (ECE) : A obtenu un score de 1,000 (normalisé), indiquant une excellente capacité à détecter les déviations spatiales extrêmes.
  • Cohérence du taux d'anomalie (ARC) : A obtenu un score de 0,907, montrant un fort alignement entre les taux d'anomalies observés et attendus.
  • Plausibilité physique (PPS) : A obtenu un score de 0,672, reflétant une validité physique raisonnable.
  • Séparation de la distribution des scores (SDS) : A obtenu un score de 0,636, indiquant une séparation statistique claire entre les cas normaux et anormaux.
• Visualisation : Les résultats ont été visualisés sur des cartes interactives, permettant une validation qualitative de la distribution spatiale des anomalies.

Signification et affirmations
Les auteurs affirment que le MADQI répond à un problème fondamental du domaine : l'absence d'une métrique d'évaluation objective et standardisée pour la détection d'anomalies non supervisée dans les contextes maritimes.

• Interprétabilité : En décomposant la performance en ARC, PPS, SDS et ECE, la métrique fournit des informations diagnostiques sur le pourquoi un modèle performe bien ou mal, plutôt que d'offrir un score unique et opaque.
• Robustesse : L'évaluation multi-blocs et la mise à l'échelle adaptative basée sur les données réduisent la sensibilité aux fluctuations spécifiques des ensembles de données et éliminent le réglage arbitraire des paramètres.
• Évolutivité et applicabilité : Le cadre est efficace sur le plan computationnel et conçu pour les ensembles de données AIS à grande échelle, offrant une solution « plug-and-play » pour les systèmes de surveillance maritime en temps réel.
• Indépendance vis-à-vis du modèle : Bien que démontré avec l'Isolation Forest, les auteurs précisent que la métrique est conçue pour être indépendante du modèle (model-agnostic), facilitant la comparaison de diverses techniques non supervisées.

L'article conclut que le MADQI fournit une approche fiable, significative et évolutive pour évaluer la détection d'anomalies dans les données AIS maritimes, faisant passer le domaine d'une analyse subjective vers une évaluation quantitative et consciente des spécificités du domaine.