EKF-Based Depth Camera and Deep Learning Fusion for UAV-Person Distance Estimation and Following in SAR Operations

Resumen Técnico: Fusión de Cámara de Profundidad y Aprendizaje Profundo para la Estimación de Distancia y Seguimiento de UAVs en Operaciones SAR

1. Planteamiento del Problema

Las operaciones de búsqueda y rescate (SAR) requieren respuestas rápidas y precisas para salvar vidas. Los Vehículos Aéreos No Tripulados (UAV) equipados con sistemas de visión son herramientas valiosas para estas misiones, pero enfrentan desafíos críticos al seguir a una persona:

• Estimación de distancia robusta: Mantener una distancia segura y constante entre el dron y el objetivo es vital para la seguridad.
• Limitaciones de los sensores individuales:
  • Las cámaras de profundidad (ej. Intel RealSense) son precisas en rangos cortos (0.4m - 4m), pero sufren de ruido, errores exponenciales fuera de su rango óptimo, y son sensibles a reflejos, mala iluminación y movimientos bruscos.
  • La estimación monocular (una sola cámara) basada en aprendizaje profundo es robusta a la orientación del cuerpo y a largas distancias, pero puede tener errores de aproximación si no se calibra perfectamente con la altura del sujeto.
• Necesidad de fusión: Se requiere un sistema que combine lo mejor de ambos enfoques para operar en condiciones reales y no estructuradas (interiores y exteriores).

2. Metodología Propuesta

El artículo presenta un marco de trabajo innovador que fusiona datos de una cámara de profundidad y una cámara monoculares utilizando un Filtro de Kalman Extendido (EKF). El sistema se ejecuta en tiempo real en una computadora a bordo (NVIDIA Jetson Xavier NX).

• Detección y Rastreo:
  • Se utiliza YOLOv11 para la detección de personas y el reconocimiento facial (mediante Dlib).
  • Se emplea YOLOv11-pose para la detección de puntos clave del cuerpo (keypoints) y el rastreo con re-identificación (Re-ID).
• Estimación de Distancia (Dos vías):
  1. Aproximación Monocular: Se calcula la distancia entre el punto medio de los hombros y el de las caderas (línea S-H). Dado que esta dimensión antropométrica es estable independientemente de la orientación del cuerpo, se utiliza una función logarítmica no lineal (Ecuación 1) para estimar la distancia basada en el tamaño en píxeles de la línea S-H.
  2. Medición de Profundidad: Se extraen mediciones de profundidad directamente de la cámara de profundidad a lo largo de la misma línea S-H en la imagen alineada.
• Fusión con EKF:
  • Paso de Predicción: Utiliza la estimación basada en keypoints (modelo monocular) para predecir la distancia y su velocidad.
  • Paso de Corrección: Utiliza la medición directa de la cámara de profundidad.
  • Filtrado de Valores Atípicos (Outliers): Se implementa un algoritmo que detecta si la derivada de la distancia medida cambia drásticamente (más del 25% respecto a la media de las últimas muestras). Si se detecta un valor atípico (común en bordes de imagen o reflejos), el EKF ignora la medición de profundidad y confía únicamente en la predicción del modelo monocular hasta que la señal se estabilice.

3. Contribuciones Clave

• Marco de Fusión Multi-modal: Desarrollo de un sistema que combina la precisión a corto plazo de la cámara de profundidad con la estabilidad y el rango extendido de la estimación monocular basada en keypoints.
• Robustez ante Condiciones Adversas: El sistema filtra eficazmente errores causados por reflejos, mala visibilidad y movimientos rápidos del dron o del sujeto, manteniendo la estimación de distancia incluso cuando la cámara de profundidad falla.
• Extensión del Rango de Detección: Gracias a la fusión, el rango de estimación fiable se extiende de los 4m óptimos de la cámara de profundidad hasta 7 metros en pruebas experimentales.
• Validación en Tiempo Real: Implementación exitosa en hardware de borde (Jetson Xavier NX) logrando 15 FPS, lo que permite su uso en UAVs autónomos.

4. Resultados

El sistema fue validado en interiores contra un sistema de captura de movimiento (OptiTrack) y en exteriores en un entorno no estructurado.

• Escenarios de Prueba:
  1. Movimiento discreto (adelante/atrás).
  2. Movimiento continuo (adelante/atrás).
  3. Movimiento lateral (izquierda/derecha).
• Métricas de Rendimiento:
  • En el escenario de movimiento lateral, el error promedio de la distancia fusionada fue de 0.61 cm, superando significativamente a la cámara de profundidad sola (7.22 cm) y a la aproximación monocular sola (4.09 cm).
  • En general, el método fusionado redujo el error medio, la Raíz del Error Cuadrático Medio (RMSE) y la desviación estándar hasta un 15.3% en comparación con los métodos individuales.
  • El sistema demostró ser capaz de mantener una distancia segura de 5 metros durante pruebas de seguimiento en exteriores, operando en un rango de 3m a 10m.

5. Significado e Impacto

Este trabajo demuestra que la fusión de sensores guiada por aprendizaje profundo es una solución viable y superior para las operaciones SAR con UAVs.

• Seguridad: Permite a los drones seguir a personas en entornos complejos sin riesgo de colisión por errores de medición de distancia.
• Versatilidad: Funciona en condiciones de iluminación variable, con sujetos en movimiento rápido y en diferentes orientaciones corporales.
• Aplicabilidad: El sistema está listo para su integración en misiones de búsqueda y rescate reales, mejorando la autonomía de los UAVs y reduciendo la carga de trabajo de los especialistas humanos.

En conclusión, la propuesta supera las limitaciones físicas de los sensores de profundidad individuales mediante una arquitectura de software inteligente, ofreciendo una estimación de distancia precisa, robusta y en tiempo real esencial para la interacción humano-robot en misiones críticas.