A Novel Evaluation Metric for Unsupervised Learning in AIS-Based Maritime Anomaly Detection: MADQI

Sintesi Tecnica: Un Nuovo Metodo di Valutazione per l'Apprendimento Non Supervisionato nel Rilevamento di Anomalie Marittime Basato su AIS (MADQI)

Problematica
Il rilevamento di anomalie marittime utilizzando i dati AIS (Automatic Identification System) è fondamentale per la sicurezza, la protezione e la tutela ambientale. Tuttavia, il settore affronta una sfida significativa: la mancanza di dati etichettati (ground truth) relativi ai comportamenti anomali delle imbarcazioni. Di conseguenza, i ricercatori si affidano ad algoritmi di apprendimento non supervisionato, come l'Isolation Forest, per identificare le irregolarità. Sebbene questi metodi siano efficaci nell'identificare gli outlier, il documento evidenzia una lacuna critica nella letteratura: l'assenza di metriche di valutazione oggettive, quantitative e specifiche del dominio. Le attuali valutazioni si basano spesso sull'ispezione visiva soggettiva o sul giudizio esperto, rendendo difficile confrontare le prestazioni dei modelli, comparare diversi algoritoli o validare i risultati in modo sistematico.

Metodologia
Lo studio propone un framework completo centrato sul Maritime Anomaly Detection Quality Index (MADQI), una metrica composita progettata per valutare il rilevamento di anomalie non supervisionato in assenza di dati etichettati.

1. Dati e Ingegneria delle Caratteristiche (Feature Engineering):

   • Il framework utilizza dati AIS (nello specifico, dati statunitensi del 31 marzo 2022) contenenti traiettorie spazio-temporali.
   • I dati grezzi (latitudine, longitudine, velocità rispetto al suolo [SOG], corso rispetto al suolo [COG] e timestamp) vengono elaborati per estrarre caratteristiche derivate utilizzando la formula di Haversine per la distanza spaziale.
   • Le caratteristiche ingegnerizzate chiave includono:
     • Spaziali: Distanza tra punti consecutivi.
     • Temporali: Intervalli di tempo tra i messaggi.
     • Cinematiche: Velocità implicata (derivata da distanza/tempo) e la differenza tra la SOG riportata e la velocità implicata.
     • Comportamentali: Tassi di rotazione e indicatori composti.
   • Le anomalie sono categorizzate in cinque tipi: Anomalia di Velocità, Anomalia di Salto di Posizione, Anomalia di Intervallo Temporale, Anomalia di Tasso di Rotazione e Anomalia Comportamentale Composta.

2. Modello di Rilevamento Anomalie:

   • L'algoritmo Isolation Forest viene impiegato come modello non supervisionato centrale. Esso isola le anomalie costruendo alberi binari basati su divisioni casuali delle caratteristiche; i punti anomali richiedono tipicamente meno divisioni per essere isolati, risultando in percorsi più brevi e punteggi di anomalia più elevati.

3. Il Framework MADQI:

   • Per valutare l'output del modello, gli autori introducono il MADQI, che aggrega quattro componenti distinte:
     • Anomaly Rate Consistency (ARC): Misura l'allineamento tra il rapporto di anomalie osservato e il livello di contaminazione atteso.
     • Physical Plausibility Score (PPS): Valuta se le anomalie rilevate mostrano deviazioni fisiche significative (in termini di velocità, distanza e tempo) rispetto al comportamento normale.
     • Score Distribution Separation (SDS): Quantifica la separazione statistica tra i punteggi di anomalia delle osservazioni normali e di quelle anomale.
     • Extreme Case Evidence (ECE): Valuta la presenza di deviazioni comportamentali estreme, in particolare nello spostamento spaziale.
   • Strategia di Normalizzazione: Per garantire la comparabilità tra queste metriche eterogenee, il framework utilizza una strategia di valutazione multi-chunk (partizionamento dei dati in sottoinsiemi non sovrapposti) e scaling adattivo. Utilizza statistiche del quartile inferiore per determinare i parametri di scala e applica una funzione di normalizzazione esponenziale ($1 - e^{-x/\tau}$). Questo approccio evita il "bias di centralizzazione" della tradizionale normalizzazione soft, permettendo alle componenti ad alte prestazioni di avvicinarsi naturalmente all'unità.

Contributi Principali
Il documento delinea quattro contributi primari:

1. Approccio Unificato Non Supervisionato: Un framework robusto che utilizza l'Isolation Forest e l'analisi spaziale basata su Haversine per rilevare anomalie marittime multi-caratteristica senza etichette.
2. Tassonomia Strutturata delle Anomalie: Un sistema di classificazione che definisce cinque tipi specifici di anomalie marittime (velocità, salto di posizione, intervallo temporale, tasso di rotazione e composita) per strutturare il processo di rilevamento.
3. Metrica MADQI: Un indice di qualità innovativo, specifico del dominio e privo di etichette, che integra dimensioni spaziali, temporali e comportamentali in un unico punteggio interpretabile.
4. Strumento Operativo: Un'implementazione pratica che proietta le anomalie rilevate su mappe geospaziali interattive (utilizzando la libreria Folium), colmando il divario tra il rilevamento non supervisionato e l'intelligence azionabile per le autorità marittime.

Risultati Sperimentali
Il framework è stato testato su un dataset di oltre 1 milione di osservazioni AIS, con un focus specifico su un sottoinsieme di 500.000 osservazioni per la valutazione.

• Prestazioni di Rilevamento: Il modello Isolation Forest ha identificato 498 anomalie (circa lo 0,1% dei dati) e 10 anomalie estreme basate su regole specifiche del dominio.
• Punteggi MADQI: Il framework ha raggiunto un punteggio MADQI totale dell'80,37%.
  • Extreme Case Evidence (ECE): Ha ottenuto un punteggio di 1,000 (normalizzato), indicando un'eccellente capacità nel rilevare deviazioni spaziali estreme.
  • Anomaly Rate Consistency (ARC): Ha ottenuto 0,907, mostrando un forte allineamento tra i tassi di anomalia osservati e quelli attesi.
  • Physical Plausibility (PPS): Ha ottenuto 0,672, riflettendo una ragionevole validità fisica.
  • Score Distribution Separation (SDS): Ha ottenuto 0,636, indicando una chiara separazione statistica tra i casi normali e quelli anomali.
• Visualizzazione: I risultati sono stati visualizzati su mappe interattive, consentendo una validazione qualitativa della distribuzione spaziale delle anomalie.

Significato e Rivendicazioni
Gli autori affermano che il MADQI affronta un problema fondamentale nel campo: la mancanza di una metrica di valutazione standardizzata e oggettiva per il rilevamento di anomalie non supervisionato in contesti marittimi.

• Interpretabilità: Decomponendo le prestazioni in ARC, PPS, SDS ed ECE, la metrica fornisce approfondimenti diagnostici sul perché un modello funzioni bene o male, invece di offrire un singolo punteggio opaco.
• Robustezza: La valutazione multi-chunk e lo scaling adattivo basato sui dati riducono la sensibilità alle fluttuazioni specifiche del dataset ed eliminano la sintonizzazione arbitraria dei parametri.
• Scalabilità e Applicabilità: Il framework è computazionalmente efficiente ed è progettato per grandi dataset AIS, offrendo una soluzione "plug-and-play" per i sistemi di sorveglianza marittima in tempo reale.
• Agnosticismo del Modello: Sebbene dimostrato con Isolation Forest, gli autori dichiarano che la metrica è progettata per essere agnostica rispetto al modello, facilitando il benchmarking di varie tecniche non supervisionate.

Il documento conclude che il MADQI fornisce un approccio affidabile, significativo e scalabile per valutare il rilevamento di anomalie nei dati AIS marittimi, spostando il campo dall'analisi soggettiva verso una valutazione quantitativa e consapevole del dominio.