Adaptive Entropy-Driven Sensor Selection in a Camera-LiDAR Particle Filter for Single-Vessel Tracking

Este artículo presenta un sistema de seguimiento de embarcaciones que fusiona datos de cámaras y LiDAR mediante un filtro de partículas con una política de selección de sensores adaptativa basada en la entropía, demostrando en un puerto real de Chipre que esta estrategia optimiza el equilibrio entre precisión y continuidad al activar dinámicamente el sensor más informativo según las condiciones ambientales.

Lo esencial

Imagina que eres el capitán de un faro en la costa de Chipre, y tu trabajo es vigilar un pequeño bote que se mueve por el mar. Tu misión es saber exactamente dónde está ese bote en todo momento, sin importar si es de día, de noche, si hay niebla o si las olas están agitadas.

El problema es que tienes dos "ojos" muy diferentes para ver el bote, y ninguno es perfecto por sí solo:

1. La Cámara (El Ojo Humano): Es como tener una cámara de video normal. Ve muy bien los detalles y los colores cuando hay sol. Pero si es de noche, si hay niebla o si el sol se refleja en el agua, se queda "ciega" o confunde las olas con el bote.
2. El LiDAR (El Ojo de Sonar Láser): Es como un radar láser que dispara millones de puntos de luz para medir distancias. Funciona perfecto de noche y no le importa si hay niebla ligera. Pero tiene un "límite de alcance": si el bote se aleja mucho, el láser se debilita y deja de verlo. Además, no sabe "qué" es el objeto, solo sabe que hay algo ahí.

El Problema: ¿Cómo vigilar todo el tiempo?

Si usas solo la cámara, pierdes al bote cuando se aleja o hace mal tiempo. Si usas solo el LiDAR, pierdes al bote cuando se aleja demasiado. Y si intentas usar los dos al mismo tiempo todo el tiempo, gastas mucha energía y potencia de cálculo, como si tuvieras dos guardias trabajando a tiempo completo aunque solo uno sea necesario.

La Solución: El "Detective Inteligente" (Filtro de Partículas)

Los autores de este paper crearon un sistema llamado Filtro de Partículas. Imagina que este sistema es un detective que tiene mil hipótesis (partículas) sobre dónde podría estar el bote. Cada vez que recibe una nueva información, descarta las hipótesis incorrectas y se queda con las más probables.

Pero aquí viene la parte genial: la selección de sensores basada en la "Entropía".

La Analogía de la "Búsqueda de la Agujas"

Imagina que estás buscando una aguja en un pajar (el mar).

• A veces, tienes una linterna potente (LiDAR) que ilumina todo el pajar cerca de ti.
• Otras veces, tienes unos prismáticos (Cámara) que te permiten ver lejos, pero solo si hay luz.

El sistema de los autores no usa los dos instrumentos a la vez de forma tonta. En su lugar, actúa como un detective muy eficiente que se hace una pregunta mágica antes de mirar:

"Si uso la linterna ahora, ¿cuánto más cerca estaré de encontrar la aguja? ¿Y si uso los prismáticos?"

El sistema calcula matemáticamente (usando algo llamado reducción de entropía, que es una forma elegante de decir "reducción de la confusión") qué herramienta le dará la mayor información en ese preciso segundo.

• Si el bote está cerca: El sistema piensa: "¡La linterna (LiDAR) me dará una imagen súper clara! Usaré solo la linterna y guardaré los prismáticos para ahorrar energía."
• Si el bote se aleja: El sistema piensa: "La linterna ya no llega. Los prismáticos (Cámara) son mi única opción. ¡Cambio a los prismáticos!"

¿Qué pasó en el experimento real?

Los investigadores probaron esto en un puerto real en Ayia Napa, Chipre, siguiendo un bote inflable con un GPS de verdad (para saber quién tenía razón).

1. Zona Cerca (El Puerto): El LiDAR fue el rey. Fue extremadamente preciso. El sistema inteligente eligió usar solo el LiDAR aquí.
2. Zona Lejos (Mar Abierto): El LiDAR se quedó corto. El sistema inteligente cambió automáticamente a la Cámara, manteniendo el rastro aunque con un poco menos de precisión que el LiDAR en la zona cercana.
3. El Ganador (El Sistema Adaptativo): La configuración que combinaba ambos sensores "a la vez" (todo el tiempo) no fue la mejor. La configuración Adaptativa (que cambiaba de uno a otro según la necesidad) logró el mejor equilibrio:
   • Fue muy precisa cuando podía.
   • No perdió al bote cuando uno de los sensores fallaba.
   • Ahorró recursos al no procesar datos innecesarios.

En Resumen

Este paper nos enseña que, para vigilar el mar, no necesitas usar todos tus sentidos todo el tiempo. Necesitas un cerebro que sepa cuándo usar la vista y cuándo usar el radar, basándose en cuál te dará la respuesta más clara en ese momento.

Es como tener un copiloto que te dice: "Ahora usa el GPS, es mejor", y luego, "Ahora mira por la ventana, el GPS se ha perdido". Esto hace que el sistema sea más inteligente, más eficiente y capaz de vigilar el mar durante más tiempo sin cansarse.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Selección de Sensores Adaptativa Basada en Entropía en un Filtro de Partículas Cámara-LiDAR para el Seguimiento de una Única Embarcación

1. Problema Abordado

El seguimiento robusto de embarcaciones desde plataformas costeras fijas se ve obstaculizado por las limitaciones inherentes de cada modalidad de sensor individual:

• Cámaras Ópticas: Ofrecen datos visuales ricos pero son vulnerables a la iluminación, el clima adverso (lluvia, niebla) y la obstrucción visual, volviéndose poco fiables de noche o en condiciones de baja visibilidad.
• LiDAR: Proporciona geometría 3D precisa e invariante a la luz, pero su rendimiento decae con la distancia, la niebla y la lluvia, y ofrece información limitada para la identificación basada en apariencia.

El desafío principal es mantener la continuidad y precisión del seguimiento en un entorno marino variable y hostil cuando una modalidad se vuelve temporalmente no fiable o indisponible. La fusión de sensores tradicional a menudo procesa todos los flujos de datos continuamente, lo que puede ser ineficiente en términos de recursos computacionales y de ancho de banda.

2. Metodología

Los autores proponen un marco de trabajo que integra un filtro de partículas multi-modal con una política de selección de sensores adaptativa basada en la ganancia de información (reducción de entropía).

• Configuración Experimental:

  • Sensores: Una cámara AXIS Q8752-E fija elevada y un LiDAR 3D Ouster OS2 montado en tierra en el Smart Marina Testbed de Ayia Napa (Chipre).
  • Objetivo: Una embarcación inflable rígida (RIB) equipada con GNSS para obtener datos de verdad terreno.
  • Preprocesamiento:
    • Calibración Espacial: Se utiliza homografía para mapear las coordenadas de píxeles de la cámara al plano del mundo y transformaciones planas 2D para el LiDAR.
    • Calibración Temporal: Se alinean los relojes de los sensores (cámara, LiDAR, GNSS) mediante eventos de anclaje y una deformación afín por tramos.
    • Detección:
      • Cámara: Resto de fondo (MOG2) restringido a la región del mar, seguido de un clasificador SVM basado en HOG para eliminar falsos positivos (olas, espuma).
      • LiDAR: Resto de fondo en la imagen de reflectividad destilada y cambio de rango, generando cajas delimitadoras y estadísticas polares (rango y acimut).

• Filtro de Partículas Multi-Modal:

  • Estado: Posición 2D ($p_x, p_y$) y velocidad ($v_x, v_y$).
  • Predicción: Modelo de velocidad constante (CV) con ruido de aceleración blanca.
  • Actualización: Se calculan las probabilidades de los pesos de las partículas utilizando modelos de verosimilitud que consideran tanto la hipótesis de detección del objetivo como la de ruido/clutter.

• Estrategia de Selección Adaptativa (Contribución Central):
  En lugar de fusionar siempre todos los sensores disponibles, el sistema selecciona dinámicamente la configuración de sensor más informativa en cada intervalo de tiempo (bin) fusionado.

  1. Se calcula la entropía de Shannon de la distribución de pesos predicha (antes de la actualización).
  2. Se simula una actualización hipotética ("medición virtual") para cada sensor disponible (Cámara, LiDAR) por separado.
  3. Se calcula la Ganancia de Información (IG) como la reducción de entropía resultante de cada actualización hipotética.
  4. Se selecciona el sensor ($s^*$) que maximiza la IG para realizar la actualización real. Esto permite cambiar entre LiDAR (cuando es preciso y cercano) y Cámara (cuando el LiDAR está fuera de rango o degradado) de manera óptima.

3. Contribuciones Clave

1. Marco de Fusión Heterogénea: Diseño de un filtro de partículas unificado que integra detecciones y características de flujos de datos de cámara y LiDAR en una estimación de estado probabilística única.
2. Política de Sensado Adaptativo: Implementación de una estrategia basada en la teoría de la información (reducción de entropía) para seleccionar dinámicamente el sensor más útil en tiempo real, evitando el procesamiento continuo de múltiples flujos de datos.
3. Validación en Escenario Real: Evaluación experimental en un entorno marino real con datos de verdad terreno (GNSS), superando la dependencia de simulaciones comunes en la literatura previa.
4. Eficiencia de Recursos: Demostración de que la selección adaptativa no solo mantiene la precisión, sino que reduce la carga computacional y de comunicación al activar solo la modalidad necesaria.

4. Resultados

El estudio comparó cuatro configuraciones: Solo LiDAR, Solo Cámara, Todos los sensores (fusión centralizada) y Adaptativo. Las pruebas se dividieron en tres zonas de distancia desde el muelle:

• Zona 1 (Cercana, <325m): El LiDAR ofreció la mayor precisión (RMSE más bajo). La configuración Adaptativa igualó este rendimiento al seleccionar predominantemente el LiDAR cuando estaba disponible y era informativo.
• Zona 2 (Media, 325-650m): El LiDAR se volvió intermitente. La configuración Solo LiDAR sufrió una alta tasa de pérdida de seguimiento (~80% de bins perdidos). La configuración Adaptativa y Solo Cámara mantuvieron la continuidad, mostrando un RMSE similar, ya que el sistema cambió automáticamente a la cámara.
• Zona 3 (Lejana, >650m): El LiDAR fue inútil (100% de pérdida). La configuración Adaptativa operó exclusivamente con la cámara, manteniendo un seguimiento continuo comparable a la configuración Solo Cámara, pero con la ventaja de no procesar datos de LiDAR innecesarios.
• Compensación Precisión-Continuidad: La configuración Adaptativa logró el mejor equilibrio general, ofreciendo la precisión del LiDAR en el campo cercano y la cobertura continua de la cámara en el campo lejano, superando a la fusión de "Todos los sensores" en términos de eficiencia y robustez ante la degradación de sensores individuales.

5. Significado e Impacto

Este trabajo demuestra que las estrategias de gestión de sensores basadas en la información son viables y efectivas en entornos marinos reales.

• Resiliencia Operativa: El sistema puede mantener el seguimiento incluso cuando un sensor falla o se degrada, adaptándose automáticamente a las condiciones ambientales.
• Optimización de Recursos: Al no procesar continuamente todos los flujos de datos, el enfoque adaptativo permite reasignar recursos computacionales o de ancho de banda a otras tareas (como rastrear múltiples objetivos o realizar clasificación de alta tasa), lo cual es crucial para sistemas de vigilancia costera escalables.
• Base para Futuras Investigaciones: El marco modular propuesto sienta las bases para integrar sensores más complejos (acústicos, radar, térmicos) y extender el seguimiento a múltiples objetivos, mejorando la seguridad marítima y la gestión del tráfico en puertos.