A Novel Evaluation Metric for Unsupervised Learning in AIS-Based Maritime Anomaly Detection: MADQI

Resumo Técnico: Uma Nova Métrica de Avaliação para Aprendizado Não Supervisionado na Detecção de Anomalias Marítimas Baseada em AIS (MADQI)

Declaração do Problema
A detecção de anomalias marítimas usando dados do Sistema de Identificação Automática (AIS) é crítica para a segurança, proteção e preservação ambiental. No entanto, o campo enfrenta um desafio significativo: a falta de dados de rotulagem (ground truth) para comportamentos anômalos de embarcações. Consequentemente, os pesquisadores dependem de algoritmos de aprendizado não supervisionado, como o Isolation Forest, para detectar irregularidades. Embora esses métodos sejam eficazes na identificação de outliers, o artigo destaca uma lacuna crítica na literatura: a ausência de métricas de avaliação objetivas, quantitativas e específicas do domínio. As avaliações atuais dependem frequentemente de inspeção visual subjetiva ou julgamento de especialistas, dificultando o estabelecimento de parâmetros (benchmarking) de desempenho de modelos, a comparação de diferentes algoritmos ou a validação sistemática de resultados.

Metodologia
O estudo propõe um framework abrangente centrado no Maritime Anomaly Detection Quality Index (MADQI), uma métrica composta projetada para avaliar a detecção de anomalias não supervisionada sem dados rotulados.

1. Dados e Engenharia de Atributos (Feature Engineering):

   • O framework utiliza dados de AIS (especificamente dados dos EUA de 31 de março de 2022) contendo trajetórias espaço-temporais.
   • Os dados brutos (latitude, longitude, Velocidade Sobre o Solo [SOG], Curso Sobre o Solo [COG] e carimbos de tempo) são processados para extrair atributos derivados usando a fórmula de Haversine para distância espacial.
   • Atributos engenheirados chave incluem:
     • Espaciais: Distância entre pontos consecutivos.
     • Temporais: Intervalos de tempo entre mensagens.
     • Cinemáticos: Velocidade implícita (derivada de distância/tempo) e a diferença entre o SOG reportado e a velocidade implícita.
     • Comportamentais: Taxas de curva e indicadores compostos.
   • As anomalias são categorizadas em cinco tipos: Anomalia de Velocidade, Anomalia de Salto de Posição, Anomalia de Intervalo Temporal, Anomalia de Taxa de Curva e Anomalia Comportamental Composta.

2. Modelo de Detecção de Anomalias:

   • O algoritmo Isolation Forest é empregado como o modelo não supervisionado central. Ele isola anomalias construindo árvores binárias baseadas em divisões (splits) aleatórias de atributos; pontos anômalos tipicamente requerem menos divisões para serem isolados, resultando em comprimentos de caminho mais curtos e pontuações de anomalia mais altas.

3. O Framework MADQI:

   • Para avaliar a saída do modelo, os autores introduzem o MADQI, que agrega quatro componentes distintos:
     • Anomaly Rate Consistency (ARC): Mede o alinhamento entre a razão de anomalias observada e o nível de contaminação esperado.
     • Physical Plausibility Score (PPS): Avalia se as anomalias detectadas exibem desvios físicos significativos (em velocidade, distância e tempo) em comparação com o comportamento normal.
     • Score Distribution Separation (SDS): Quantifica a separação estatística entre as pontuações de anomalia das observações normais e anômalas.
     • Extreme Case Evidence (ECE): Avalia a presença de desvios comportamentais extremos, particularmente em deslocamento espacial.
   • Estratégia de Normalização: Para garantir a comparabilidade entre estas métricas heterogêneas, o framework utiliza uma estratégia de avaliação de múltiplos blocos (multi-chunk evaluation — particionando os dados em subconjuntos não sobrepostos) e escalonamento adaptativo. Utiliza estatísticas de quartil inferior para determinar os parâmetros de escalonamento e aplica uma função de normalização exponencial ($1 - e^{-x/\tau}$). Esta abordagem evita o "viés de centralização" da normalização suave tradicional, permitindo que componentes de alto desempenho se aproximem da unidade naturalmente.

Principais Contribuições
O artigo delineia quatro contribuições primárias:

1. Abordagem Não Supervisionada Unificada: Um framework robusto usando Isolation Forest e análise espacial baseada em Haversine para detectar anomalias marítimas de múltiplos atributos sem rótulos.
2. Taxonomia Estruturada de Anomalias: Um sistema de classificação definindo cinco tipos específicos de anomalias marítimas (velocidade, salto de posição, intervalo de tempo, taxa de curva e composta) para estruturar o processo de detecção.
3. Métrica MADQI: Um novo índice de qualidade específico do domínio e livre de rótulos, que integra dimensões espaciais, temporais e comportamentais em uma única pontuação interpretável.
4. Ferramenta Operacional: Uma implementação prática que projeta as anomalias detectadas em mapas geoespaciais interativos (usando a biblioteca Folium), preenchendo a lacuna entre a detecção não supervisionada e a inteligência acionável para autoridades marítimas.

Resultados Experimentais
O framework foi testado em um conjunto de dados de mais de 1 milhão de observações de AIS, com foco específico em um subconjunto de 500.000 observações para avaliação.

• Desempenho de Detecção: O modelo Isolation Forest identificou 498 anomalias (aprox. 0,1% dos dados) e 10 anomalias extremas baseadas em regras específicas do domínio.
• Pontuações MADQI: O framework alcançou uma pontuação MADQI total de 80,37%.
  • Extreme Case Evidence (ECE): Pontuou 1,000 (normalizado), indicando excelente capacidade em detectar desvios espaciais extremos.
  • Anomaly Rate Consistency (ARC): Pontuou 0,907, mostrando forte alinhamento entre as taxas de anomalia observadas e esperadas.
  • Physical Plausibility (PPS): Pontuou 0,672, refletindo validade física razoável.
  • Score Distribution Separation (SDS): Pontuou 0,636, indicando separação estatística clara entre casos normais e anômalos.
• Visualização: Os resultados foram visualizados em mapas interativos, permitindo a validação qualitativa da distribuição espacial das anomalias.

Significância e Alegações
Os autores afirmam que o MADQI aborda um problema fundamental na área: a falta de uma métrica de avaliação padronizada e objetiva para detecção de anomalias não supervisionada em contextos marítimos.

• Interpretabilidade: Ao decompor o desempenho em ARC, PPS, SDS e ECE, a métrica fornece insights diagnósticos sobre o porquê de um modelo performar bem ou mal, em vez de oferecer apenas uma pontuação opaca.
• Robustez: A avaliação de múltiplos blocos e o escalonamento adaptativo baseado em dados reduzem a sensibilidade às flutuações específicas do conjunto de dados e eliminam o ajuste arbitrário de parâmetros.
• Escalabilidade e Aplicabilidade: O framework é computacionalmente eficiente e projetado para grandes conjuntos de dados de AIS, oferecendo uma solução "plug-and-play" para sistemas de vigilância marítima em tempo real.
• Agnóstico ao Modelo: Embora demonstrado com Isolation Forest, os autores afirmam que a métrica é agnóstica ao modelo, facilitando o benchmarking de várias técnicas não supervisionadas.

O artigo conclui que o MADQI fornece uma abordagem confiável, significativa e escalável para avaliar a detecção de anomalias em dados de AIS marítimos, movendo o campo da análise subjetiva para a avaliação quantitativa e consciente do domínio.