Trajectory-Aware Adaptive Inference in Object Detection Models

Resumen Técnico: Inferencia Adaptativa Consciente de la Trayectoria en Modelos de Detección de Objetos

Enunciado del Problema
La integración de sensores en la navegación marítima autónoma ha generado conjuntos de datos multimodales a gran escala, creando una demanda de percepción en tiempo real eficiente. Si bien la detección de objetos y la percepción de trayectorias están estrechamente acopladas en entornos dinámicos como la navegación marítima, la eficiencia de inferencia de los modelos de detección de objetos a menudo se pasa por alto. Los detectores estándar, como la familia YOLO, aplican un esfuerzo computacional uniforme a todas las entradas independientemente de la dificultad de la escena. Este enfoque estático es subóptimo para entornos con recursos limitados (por ejemplo, Vehículos Superficiales Autónomos o ASV) donde la latencia y la eficiencia energética son críticas. Los métodos de inferencia adaptativa existentes, como las redes neuronales con múltiples salidas, suelen depender de señales de confianza internas del modelo (por ejemplo, entropía o probabilidad softmax) en lugar de datos contextuales externos. En consecuencia, existe la necesidad de una estrategia de inferencia que aproveche datos de trayectoria externos para ajustar dinámicamente la carga computacional basándose en la complejidad de la escena.

Metodología
Los autores proponen un Marco de Inferencia Adaptativa Consciente de la Trayectoria que integra datos de trayectoria GPS en el proceso de inferencia de un detector basado en YOLOv8. La metodología consta de tres etapas principales:

1. Adaptación del Detector y Ajuste Fino Consciente de la Escala:

   • El modelo base YOLOv8 se ajusta fino en un conjunto de datos marítimo.
   • Reconociendo que YOLOv8 posee una estructura implícita de múltiples salidas a través de sus tres cabezas de detección (P3, P4, P5) que operan a diferentes escalas, los autores tratan estas cabezas como puntos de salida potenciales.
   • Se emplea una estrategia de tasa de aprendizaje consciente de la escala. Las cajas delimitadoras en los datos de entrenamiento se categorizan por tamaño (pequeño, mediano, grande). Las tasas de aprendizaje se asignan a cada cabeza de detección basándose en la frecuencia y dificultad de los tamaños de objetos correspondientes en el conjunto de datos. Las cabezas asociadas con tamaños de objetos sobrerrepresentados o desafiantes reciben tasas de aprendizaje más altas para asegurar una especialización adecuada.

2. Estimación de Dificultad Basada en Trayectoria:

   • En lugar de depender de la confianza interna, el sistema utiliza señales de movimiento externas derivadas de datos GPS sincronizados.
   • Se calculan dos métricas clave para cada cuadro (o ventana de un segundo):
     • Distancia interbuque ($d_t$): Calculada utilizando la fórmula de Haversine.
     • Tasa de cierre ($v_t$): La tasa a la que disminuye la distancia entre objetos en movimiento a lo largo del tiempo.
   • Estas métricas sirven como proxies para la "dificultad de la escena". Los escenarios con buques muy cercanos y altas tasas de convergencia se consideran complejos, mientras que los escenarios bien separados y de movimiento lento se consideran simples.

3. Control de Inferencia Adaptativa (Política de Salida Anticipada):

   • Una política condicional determina qué cabezas de detección activar:
     • Baja Complejidad: Si $d_t > \tau_1$ (por ejemplo, 30 m) Y $v_t < \tau_2$ (por ejemplo, 0.5 m/s), solo se activa la cabeza P3 de alta resolución.
     • Alta Complejidad: De lo contrario, se ejecuta el modelo completo (cabezas P3, P4 y P5).
   • Este enfoque permite que el sistema eluda partes computacionalmente costosas de la red cuando los datos de trayectoria indican un entorno de bajo riesgo y baja complejidad.

Contribuciones Clave

• Inferencia Adaptativa Multimodal: La integración de datos de movilidad (trayectorias GPS) con visión por computadora para guiar la asignación de recursos computacionales, avanzando más allá de la salida anticipada basada en confianza.
• Ajuste Fino Consciente de la Escala: Una metodología para modular las tasas de aprendizaje por cabeza de detección basándose en la distribución geométrica de los tamaños de objetos en el dominio objetivo, optimizando las cabezas para su operación independiente.
• Validación Empírica: Una evaluación exhaustiva del modelo YOLOv8 propuesto, proporcionando información sobre los compromisos entre latencia y precisión por cabeza y demostrando la eficacia del control de inferencia impulsado por trayectorias.

Resultados Experimentales
El marco se evaluó utilizando un conjunto de datos que comprende video sincronizado desde cámaras a bordo de ASV y datos de trayectoria GPS de las mismas plataformas (250 registros GPS, 3.686 cuadros de video).

• Rendimiento de las Cabezas: La evaluación independiente de las cabezas de detección reveló que la cabeza P4 (escala media) domina los conteos de detección y logra el mejor rendimiento independiente (mAP@50) en todas las variantes del modelo (Nano, Pequeño, Mediano). La cabeza P3 mostró una mayor sensibilidad a objetos pequeños en modelos más grandes.
• Eficiencia Computacional: La activación de cabezas individuales produjo ahorros significativos de FLOPs (ranging desde ~18% hasta ~33% dependiendo de la cabeza y el tamaño del modelo) y aceleraciones (hasta 1.61x para P3 en el modelo Nano).
• Rendimiento de la Estrategia Adaptativa: En un escenario marítimo realista con umbrales establecidos a 30 m de distancia y 0.5 m/s de tasa de cierre:
  • 3.027 de los 3.686 cuadros (aprox. 82%) se procesaron utilizando solo la cabeza P3.
  • La latencia de inferencia mediana disminuyó de 10.097 ms/cuadro (modelo completo) a 6.686 ms/cuadro (solo P3).
  • El tiempo total de procesamiento para la secuencia de video disminuyó de un proyectado 37.22 segundos a 26.89 segundos.
  • La estrategia mantuvo un rendimiento de seguimiento efectivo, equilibrando exitosamente la latencia reducida con una precisión de detección aceptable.

Significado y Afirmaciones
El artículo afirma que el marco propuesto ofrece un compromiso flexible entre precisión y eficiencia, haciéndolo particularmente adecuado para aplicaciones en tiempo real con recursos limitados como la navegación marítima autónoma. Al aprovechar señales de trayectoria externas, el sistema logra computación adaptativa a la entrada sin requerir modelado complejo de confianza interna. Los autores señalan que, si bien el enfoque reduce significativamente la sobrecarga de procesamiento y la latencia, preserva el rendimiento predictivo en entornos dinámicos.

Trabajo Futuro
Los autores sugieren direcciones futuras que incluyen:

• Generalizar el método a arquitecturas alternativas (por ejemplo, DETR).
• Probar la robustez bajo condiciones desafiantes (clima adverso, ruido de sensores, baja visibilidad).
• Incorporar mapeos explícitos entre coordenadas GPS y coordenadas de imagen para mejorar aún más la fusión de información de trayectoria y visual.