DarkVesselNet: Multi-Modal Remote Sensing and Trajectory Reasoning for Dark Vessel Detection

Resumen Técnico: DarkVesselNet

Definición del Problema
La detección de embarcaciones oscuras aborda el desafío de identificar buques marítimos que dejan de transmitir señales del Sistema de Identificación Automática (AIS), falsean sus ubicaciones o que operan en regiones con datos autoinformados poco fiables. La dificultad central reside en el "problema del desacuerdo": un sistema debe reconciliar los informes cooperativos (AIS) con las observaciones físicas (Radar de Apertura Sintética [SAR] e imágenes ópticas) y el contexto temporal (historial de trayectoria). Cada modalidad tiene limitaciones distintas: el SAR proporciona observación en cualquier condición climática pero sufre de speckle (ruido de moteado) y perturbaciones costeras; la imaginería óptica ofrece un contexto visual interpretable pero no está disponible de noche o bajo nubes; y el AIS es semánticamente rico pero incompleto y cooperativo. El artículo plantea la tarea no como un problema de clasificación de imágenes único, sino como un problema de fusión de evidencia bajo condiciones de ausencia, donde el objetivo es producir una alerta lista para el triaje con una ruta de razonamiento trazable, en lugar de una probabilidad de "actividad ilegal" de caja negra.

Metodología y Arquitectura
DarkVesselNet es un stack de teledetección multimodal y modular diseñado para ingerir, codificar y fusionar flujos de evidencia heterogéneos. El pipeline consta de cuatro etapas primarias:

1. Preprocesamiento de Sensores:

   • SAR: Implementa el filtrado de Lee para la reducción de speckle y la estimación de estadísticas locales.
   • Óptico: Aplica máscaras de nubes y calcula relaciones de bandas interpretables (NDVI, NDWI) para distinguir entre agua, tierra y estructuras similares a embarcaciones.
   • Coregistración: Gestiona el desalineamiento entre las rejillas de SAR y ópticas causado por ángulos de incidencia y terreno, utilizando rutas de identidad o de coregistración implementadas.

2. Adaptador de Backbone de Fundación Geoespacial:

   • El sistema introduce un adaptador GeoBackbone que estandariza las salidas de varios modelos fundacionales de observación terrestre (incluyendo Prithvi-2, Clay, SatMAE++, DOFA, SatlasNet y codificadores de estilo RemoteCLIP).
   • Este adaptador convierte las diversas salidas de los modelos en una interfaz de tokens común $(B, N, D)$, permitiendo que la cabeza de fusión descendente sea independiente del codificador específico utilizado. Soporta proyecciones de caída ligera (fallback) para realizar pruebas sin necesidad de descargar los pesos completos del modelo.

3. Razonamiento de Trayectoria:

   • Procesamiento de AIS: Los rastros de AIS se representan como secuencias de tiempo, posición, velocidad y rumbo.
   • Detección de Brechas (Gap Detection): Un componente de estilo TGARD identifica brechas largas o físicamente imposibles en la transmisión de AIS mediante el cálculo de distancias geodésicas (Haversine) y la verificación de las velocidades de movimiento requeridas.
   • Puntuación de Anomalías: Una cabeza de anomalía inspirada en Pi-DPM toma los tokens de la escena y los segmentos de AIS. Agrupa las características de la escena y procesa los puntos de AIS a través de un MLP para predecir tanto un score de logit como un segmento de AIS reconstruido. Esta cabeza ligera está diseñada para ser extensible a muestreadores de difusión completos.

4. Fusión y Decodificación de Alertas:

   • La arquitectura de fusión preserva la incertidumbre específica de cada modalidad utilizando máscaras de disponibilidad ($m_s, m_o, m_a$) para evitar que el modelo confunda la falta de datos (por ejemplo, imágenes ópticas nubladas) con escenas vacías.
   • El decodificador produce una probabilidad de alerta calibrada y, crucialmente, un rastro de evidencia. Este rastro expone explícitamente la disponibilidad de sensores, el estado de coincidencia de AIS, la evidencia de anomalía y la incertidumbre, permitiendo a los analistas humanos auditar la decisión.

Contribuciones Clave
El artículo describe cuatro contribuciones primarias:

1. Arquitectura Unificada: Una arquitectura de referencia que abarca SAR, óptico, AIS y tokens de modelos fundacionales geoespaciales, tratando la detección de embarcaciones oscuras como un problema de fusión de evidencia multimodal.
2. Adaptador de Backbone Común: Una interfaz GeoBackbone que permite intercambiar modelos fundacionales (Prithvi, Clay, etc.) sin tener que reescribir la lógica de fusión descendente.
3. Ruta de Razonamiento de Trayectoria: Una combinación de detección de brechas tipo TGARD y una cabeza de reconstrucción inspirada en Pi-DPM para puntuar anomalías temporales y plausibilidad física.
4. Implementación Reproducible: Un paquete de Python probado y un Espacio de Hugging Face público que valida los operadores principales (filtrado de speckle SAR, relaciones de bandas ópticas, distancia Haversine, formas de tensores y la pasada hacia atrás de la cabeza de anomalía) y demuestra un flujo de trabajo seguro para CPU.

Resultos y Validación
El artículo establece explícitamente que los resultados actuales están basados en software en lugar de estar impulsados por benchmarks.

• Validación de la Implementación: El repositorio incluye una suite de pruebas donde pasan 15 tests. Estos verifican la corrección del filtrado de speckle de SAR, utilidades de relación de bandas ópticas, cálculos de distancia Haversine, lógica de emisión de brechas, coregistración de sensores, formas de tokens de backbone y la pasada hacia atrás de la cabeza de anomalía.
• Estado de Benchmark: El artículo no pretende un rendimiento en el leaderboard de xView3 ni la ingestión de datos en vivo. En su lugar, propone un protocolo de evaluación riguroso (estudios de ablación, pruebas de estrés, gráficos de calibración) como el camino a seguir.
• Patrones Esperados: Las tablas de ablación teóricas sugieren que, si bien la detección solo con SAR puede generar una alta recuperación (recall), la adición de la coincidencia de AIS y la evidencia de trayectoria se espera que mejore significativamente la precisión de las alertas y reduzca los falsos positivos (particularmente cerca de la costa), en lugar de solo aumentar la recuperación bruta de objetos.

Significancia y Reivindicaciones
El artículo posiciona a DarkVesselNet como un sistema de apoyo para el triaje y el analista, no como una herramienta de ejecución autónoma.

• Evidencia vs. Intención: El sistema está diseñado para detectar "evidencia no emparejada" (por ejemplo, un objeto SAR sin un rastro de AIS plausible) en lugar de inferir el estatus legal o la intención; distingue entre un "objeto SAR", una "embarcación no emparejada con AIS" y una "actividad ilegal confirmada", asegurando que el modelo no haga afirmaciones excesivas.
• Trazabilidad: Una reivindicación central es que el valor del sistema reside en su rastro de evidencia. Al descomponer el score de la alerta en contribuciones de SAR, AIS, trayectoria y contexto, el sistema permite a los analistas comprender por qué se generó una alerta (por ejemplo, impulsada por una detección de SAR sin coincidencia de AIS frente a un patrón de encuentro sospechoso).
• Modestia: Los autores enfatizan que el artefacto actual es una "implementación a escala de portafolio" con operadores probados. El artículo evita reclamar la atribución automática de pesca ilegal, en su lugar, enmarca el resultado como una cola de revisión priorizada con incertidumbre calibrada y manejo explícito de la ausencia de datos.

En resumen, DarkVesselNet proporciona un marco estructurado y auditable para la fusión de datos de teledetección y AIS, priorizando la interpretabilidad y la cuantificación de la incertidumbre sobre los scores de detección brutos, con un enfoque actual en la validación de la infraestructura de software necesaria para tal sistema.