Resumen Técnico: Fusión Distribuida con Restricción de Inclinación en el Dominio de la Imagen para el Seguimiento de UAVs en Maniobra

1. Planteamiento del Problema

La predicción de corto horizonte es crítica para el seguimiento electro-óptico (EO) de Vehículos Aéreos No Tripulados (UAV) pequeños y maniobrables, particularmente cuando las observaciones son intermitentes o el objetivo es pequeño. Si bien las mediciones estándar (centro de la imagen, línea de visión y rango) proporcionan restricciones directas sobre la posición del objetivo, ofrecen únicamente restricciones débiles sobre la aceleración. En consecuencia, durante maniobras agresivas o breves periodos de pérdida de datos, los estimadores de estado suelen presentar un retraso en la estimación de la aceleración, lo que amplifica los errores de predicción.

Además, el monitoreo de baja altitud depende cada vez más de sistemas de cámaras múltiples distribuidas (combinando nodos móviles y fijos) para reducir los puntos ciegos. Sin embargo, estos sistemas introducen desafíos tales como el muestreo asíncrono, la heterogeneidad en la calidad de la observación, los retrasos en la comunicación y las inconsistencias en la calibración entre cámaras. Los métodos existentes suelen centrarse en mejorar la robustez de la detección o la estimación de estado de forma separada, sin aprovechar plenamente las pistas físicas inherentes a la dinámica de los helicópteros para restringir las estimaciones de aceleración.

2. Metodología

El marco propuesto integra un flujo de trabajo de auto-etiquetado de prior débil para la generación de datos con un estimador de fusión distribuida con restricción de inclinación.

A. Auto-etiquetado de Prior Débil y Detección

Para evitar el proceso laborioso de la anotación manual de Cajas Delimitadoras Orientadas (OBB), los autores construyeron un flujo de trabajo para generar datos de entrenamiento:

• Fuentes de Datos: Video sincronizado, IMU del gimbal y datos de la IMU del UAV.
• Proceso:
  1. Extracción de Movimiento: Se extraen candidatos de primer plano utilizando un modelo de mezcla gaussiana de fondo.
  2. Asociación de Trayectorias: Los candidatos se asocian con trayectorias de objetivos mediante una correspondencia restringida por radio e interpolación para breves periodos de pérdida de datos.
  3. Etiquetado de Inclinación Débil: Utilizando la geometría relativa entre la IMU del gimbal y la IMU del UAV, el sistema calcula el vector normal equivalente del UAV en el marco de la cámara. Esto genera etiquetas "débiles" de roll (alabeo) y pitch (cabeceo) en el dominio de la imagen sin requerir una verdad de campo 3D precisa.
  4. Generación Adaptativa de OBB: Las dimensiones y los ángulos de rotación de las OBB se derivan del área del objetivo y de las etiquetas de inclinación débil calculadas.
• Detector: Se entrena un detector YOLO-OBB con este conjunto de datos para proporcionar mediciones en línea de la posición del objetivo y la inclinación en el dominio de la imagen (roll/pitch).

B. Fusión Distribuida con Restricción de Inclinación

El método de estimación central es un filtro de fusión distribuida utilizando un Filtro de Kalman Sinuscado (UKF) con un vector de estado aumentado.

• Modelado de Estado: El estado del objetivo incluye posición, velocidad y aceleración ($x, y, z$). El filtro también aumenta el estado con estados de error de actitud de la cámara (roll, pitch, yaw) para cada una de las tres cámaras (un gimbal móvil y dos cámaras fijas) para absorber la deriva extrínseca y la inconsistencia sistemática.
• La Inclinación como Pseudo-observación:
  • El método modela la relación entre la aceleración horizontal y la inclinación en el dominio de la imagen: $\eta_{pitch} \approx \arctan(a_x/g)$ y $\eta_{roll} \approx \arctan(a_y/g)$.
  • En lugar de invertir esta relación (lo que amplifica el ruido), el filtro predice la inclinación esperada basada en la estimación actual del estado de aceleración y la compara con la inclinación observada del detector.
  • Esto trata el roll/pitch en el dominio de la imagen como pseudo-observaciones relacionadas con la aceleración, restringiendo directamente el componente de aceleración del estado.
• Mecanismo de Actualización Robusta:
  • Fusión Asíncrona: Las observaciones de las tres cámaras se fusionan de forma asíncrona dentro de un modelo de espacio de estados unificado.
  • Puerta de Mahalanobis (Mahalanobis Gating): Un mecanismo de puerta por cámara rechaza detecciones falsas. Emplea una estrategia de ensanchamiento de covarianza basada en el tiempo transcurrido desde la última validación: si una detección es sospechosa (residuos entre umbrales blandos y duros), se infla la covarianza en lugar de rechazar inmediatamente la observación. Esto permite que el filtro gestione las pérdidas de datos y los valores atípicos de manera fluida.

3. Contribuciones Clave

El artículo identifica cinco contribuciones principales:

1. Etiquetado de Inclinación de Prior Débil: Un flujo de trabajo de auto-etiquetado de video-IMU que genera OBBs de UAV y etiquetas de roll/pitch en el dominio de la imagen sin necesidad de anotación manual fotograma a fotograma.
2. Predicción Restringida por Aceleración: Modelado de la inclinación en el dominio de la imagen como pseudo-observaciones relacionadas con la aceleración del objetivo, mejorando la observabilidad durante maniobras e intervalos de ausencia de datos.
3. Fusión Distribuida Asíncrona: Un modelo de espacio de estados unificado que fusiona una cámara de gimbal móvil y dos cámaras terrestres fijas, aumentado con estados de error de actitud de cámara para asegurar la consistencia entre cámaras.
4. Estrategia de Actualización Robusta: Un esquema de puerta de Mahalanobis con ensanchamiento de covarianza para manejar detecciones falsas y caídas de datos sin desestabilizar el filtro.
5. Implementación Pública: Publicación del flujo de trabajo en Python para la extracción de movimiento, generación de etiquetas débiles y entrenamiento de YOLO-OBB.

4. Resultados Experimentales

Simulación

En una simulación de MATLAB con una trayectoria 3D no lineal y simulaciones de caídas/detecciones falsas:

• La adición de observaciones de roll/pitch redujo el RMSE de Predicción de 1.991 m a 0.821 m (una reducción del 58.73%).
• El Error de Predicción Acumulado disminuyó en un 60.75% (de 6611.580 m·s a 2594.837 m·s).
• Los resultados confirmaron que las observaciones de inclinación restringen directamente el estado de aceleración, reduciendo el retraso de predicción durante maniobras agresivas.

Experimento Distribuido en el Mundo Real

Se realizó un experimento físico utilizando una cámara de gimbal móvil en un robot cuadrúpedo y dos cámaras terrestres fijas.

• Debido a la falta de una verdad de campo 3D de alta precisión, se utilizó una métrica de auto-consistencia (comparando las observaciones predichas en el tiempo $t$ contra las observaciones reales).
• Habilitar las observaciones de roll/pitch redujo el error de auto-consistencia acumulado en un 18.10% (de 203.4518 a 166.6241).
• Los autores señalan que la mejora en el mundo real fue menor que en la simulación debido al jitter del detector, errores extrínsecos residuales, desajustes temporales y la variabilidad en la calidad de la observación. Sin embargo, los resultados demuestran que la inclinación en el dominio de la imagen sigue siendo útil bajo condiciones asíncronas prácticas.

5. Significancia y Reivindicaciones

El artículo sostiene que la inclinación en el dominio de la imagen sirve como una valiosa pista de maniobra de bajo nivel para los UAV de tipo rotorcraft. Al acoplar el reconocimiento de la inclinación con un estimador de estado distribuido, el método proporciona restricciones de aceleración útiles que las mediciones de solo posición no pueden ofrecer.

La significancia radica en la capacidad de mejorar la robustez de la predicción de corto horizonte sin requerir hardware adicional (como radar o LiDAR) o etiquetado manual complejo. Los autores enfatizan que, aunque las ganancias en el mundo real son modestas comparadas con las simulaciones idealizadas, el enfoque aborda con éxito los desafíos específicos de los objetivos maniobrables en sistemas de seguimiento EO multicámara distribuidos y asíncronos. Se sugiere como trabajo futuro centrarse en mejorar la estabilidad del reconocimiento de la inclinación, la estimación explícita de los desfases temporales y la adaptación conjunta de la confianza del detector con la consistencia de la fusión.