Moving Like a Human: Ego-Motion-Normalized Temporal Signatures for Real-Time Aerial Person Tracking on Milliwatt-Class Hardware

Resumen Técnico: EMTS-Det para el Seguimiento de Personas en Tiempo Real desde Vistas Aéreas

Planteamiento del Problema
El artículo aborda el desafío del seguimiento de personas tipo "follow-me" (sígueme) en drones de consumo e industriales, centrándose específicamente en hardware con presupuestos de cómputo de la clase de los milivatios (por ejemplo, Raspberry Pi Zero 2W). El problema se define por tres restricciones simultáneas:

1. Tamaño de Objetivo Pequeño: A distancias típicas de seguimiento, una persona ocupa solo entre 10 y 60 píxeles en un cuadro de 640×512, lo que hace que las características de apariencia de un solo fotograma sean ambiguas e indistinguibles del ruido de fondo.
2. Ego-movimiento Agresivo: Las estructuras de drones de menos de 250 g experimentan movimientos violentos debido a ráfagas de viento que superan la velocidad de los gimbals de consumo, provocando cambios rápidos en la actitud de la cámara.
3. Límites de Cómputo Severos: Las computadoras de compañía en esta clase ofrecen solo 2–4 GFLOP/s efectivos de int8. Los detectores estándar como YOLOv8n (aprox. 8.7 GFLOPs) funcionan a ~2 FPS, mientras que los modelos más rápidos y pequeños (por ejemplo, MobileNet-SSD) fallan al detectar objetos pequeños con precisión.

Los autores argumentan que la evidencia faltante para la detección no es la apariencia, sino la firma de movimiento temporal, la cual debe extraerse analíticamente en lugar de aprenderse, ya que el presupuesto de FLOP disponible no puede soportar el aprendizaje simultáneo de la invarianza al ego-movimiento y la apariencia de objetos pequeños.

Metodología: Pipeline EMTS-Det
El sistema propuesto, EMTS-Det (Detección de Firma Temporal Normalizada por Ego-Movimiento), es un pipeline de cinco etapas diseñado para ajustarse a un presupuesto de ~100 MFLOPs/fotograma.

• Etapa A: Estimación de Ego-Movimiento: Estima el movimiento de la cámara entre fotogramas como una transformación de similitud de 4-DoF (traslación, rotación, escala) utilizando rastreos dispersos de Lucas-Kanade con RANSAC. En caso de fallos, recurre a la correlación de fase para escenas con poca textura.
• Etapa B: Representación de Entrada: El fotograma anterior se deforma mediante la transformación estimada para crear tres canales de entrada:
  1. Luminancia ($L_t$): El fotograma en escala de grises actual.
  2. Magnitud de Movimiento Residual ($R_t$): La magnitud de la diferencia entre el fotograma actual y el fotograma anterior deformado (suavizado gaussiano).
  3. Diferencia Temporal con Signo ($D_t$): La diferencia bruta entre el fotograma actual y el anterior deformado.
     Crucialmente, esta representación elimina analíticamente el ego-movimiento, asegurando que los píxeles brillantes en los canales de movimiento correspondan únicamente a objetos que se mueven de forma independiente.
• Etapa C: Micro-Detector: Un detector sin estado (stateless), libre de anclas (anchor-free), con 21,941 parámetros (7.6 MFLOPs/fotograma). Utiliza un backbone de convolución separable en profundidad para producir un mapa de calor central, geometría de caja y un embedding de re-identificación de 8 dimensiones. La red es deliberadamente sin estado; la evidencia temporal se proporciona enteramente mediante los canales de entrada, no mediante capas temporales aprendidas.
• Etapa D: Seguimiento con Objetivo Bloqueado: Un filtro de Kalman de velocidad constante opera en coordenadas estabilizadas (transformadas por el ego-movimiento acumulado). Esto asegura que el temblor de la cámara perturbe la transformación de coordenadas en lugar del modelo de movimiento del objetivo. La asociación utiliza una compuerta de dos llaves: distancia de Mahalanobis y similitud de embedding.
• Etapa E: Verificación de Firma Temporal: Una CNN de 1-D con 8,289 parámetros verifica los rastros cada 8 fotogramas. Analiza una secuencia de 16 fotogramas de descriptores de flujo óptico (ROI flow) para confirmar que el objeto se mueve con articulación humana (por ejemplo, la oscilación de la frecuencia de la marcha en las piernas frente a la traslación de todo el cuerpo).

Estrategia de Entrenamiento
Debido a la falta de conjuntos de datos públicos con etiquetas densas en el punto operativo específico (objetos de 10–60 px con ego-movimiento agresivo), los autores emplean un currículo de movimiento sintético:

• Nivel 1: Actores humanos articulados renderizados en Blender y compuestos sobre metraje real de drones para asegurar un ego-movimiento realista.
• Nivel 2: Imágenes aéreas estáticas (VisDrone) convertidas a pseudo-video con movimiento de dron simulado y proxies de marcha.
• Negativos Difíciles: Clips sin personas de entornos de despliegue reales (vegetación oscilante, sombras) para entrenar al sistema para rechazar falsos positivos.
• Restricción Clave: Cada clip sintético pasa por el código de las Etapas A/B desplegado para generar los canales de movimiento, eliminando la brecha de distribución entre el entrenamiento y el despliegue.

Contribuciones Clave y Hallazgos

1. Representación de Entrada sobre Maquinaria Temporal Aprendida: El artículo demuestra que cuando los canales de entrada portan evidencia de movimiento normalizada por el ego, añadir módulos temporales aprendidos (como los Módulos de Desplazamiento Temporal) reduce la precisión. El detector desplegado es sin estado porque los canales de movimiento analíticos ya proporcionan la evidencia temporal de corto horizonte necesaria.
2. Fallos de Calibración de Cuantización: Los autores documentan y reparan dos fallos de calibración silenciosos en el despliegue int8:
   • Estimación de Rango de Media Móvil: La calibración estándar de media móvil diluye activaciones raras y grandes en las cabezas de regresión (tamaño de la caja), reduciendo la precisión a la mitad. Se requiere una calibración de min-max.
   • Calibración de Grafo con Estado: Para redes de flujo continuo con cachés de estado, calibrar con cachés inicializados en cero recorta la información temporal en estado estacionario. Se deben usar estados de caché propagados durante la calibración.
3. Generalización vs. Sobreajuste: En un conjunto de prueba VisDrone-DET (imágenes reales nunca vistas en el entrenamiento), el EMTS-Det desplegado logra 0.444 AP25, mientras que un YOLOv8n ajustado con la misma mezcla exacta de entrenamiento cae a 0.103 AP25. Esto indica que los modelos basados en apariencia sufren de sobreajuste al dominio de entrenamiento sintético, mientras que la representación basada en movimiento se generaliza a condiciones del mundo real.
4. Rendimiento en Hardware de Milivatios:
   • En una Raspberry Pi Zero 2W, el pipeline completo se ejecuta a 31.85 FPS (31.4 ms/fotograma) con 0.462 AP25 y 0.714 de recall.
   • En contraste, YOLOv8n en el mismo hardware funciona a 1.95 FPS con 0.172 AP25.
   • El sistema logra un 97.9% de recall de bloqueo en una secuencia de campo de 57 segundos con cero re-bloqueos falsos tras oclusiones.

Significancia y Reivindicaciones
El artículo afirma que es posible lograr un seguimiento aéreo de alta precisión en hardware de la clase de los milivatios no mediante el encogimiento de detectores modernos, sino redefiniendo el problema: eliminando el ego-movimiento analíticamente y presentando a la red evidencia de movimiento pre-calculada. Esto reduce la carga de trabajo aprendida a un detector diminuto y sin estado y a un verificador ligero.

Los autores enfatizan que la evidencia temporal pertenece a la representación de entrada, calculada analíticamente de forma gratuita, en lugar de a la maquinaria temporal aprendida. Este enfoque permite que el sistema se transfiera efectivamente a datos del mundo real donde los modelos basados en apariencia fallan, incluso cuando se entrenan con los mismos conjuntos de datos. El trabajo también proporciona una guía crítica para el despliegue de redes con estado y de regresión pesada en int8, abordando modos de fallo silenciosos que los pipelines de calibración estándar pasan por alto.

Limitaciones Reconocidas
Los autores señen que el perfilado por etapa en el dispositivo para el comportamiento térmico está pendiente, que el banco de pruebas sintético comparte un proceso generativo con el entrenamiento (mitigado por los datos reales retenidos para prueba) y que el sistema se degrada si un objetivo permanece estacionario durante periodos prolongados (agotando los canales de movimiento). Además, el modelo del verificador está entrenado en ciclos de marcha y no ha sido probado en marchas de gateo o con cargas pesadas.