Resumen Técnico: GenTrack2 – Un Enfoque Híbrido Mejorado para el Seguimiento de Múltiples Objetos

Planteamiento del Problema

El seguimiento visual de múltiples objetos (MOT, por sus siglas en inglés) sigue siendo un desafío significativo en tareas robóticas como la manipulación de objetos y la navegación autónoma. Los sistemas actuales luchan contra tres factores primordiales: la alta similitud entre objetos que conduce a la confusión de identidad, las oclusiones parciales o completas que causan la pérdida temporal del objetivo, y el movimiento irregular o impredecible que complica la asociación entre fotogramas.

Los enfoques existentes enfrentan limitaciones específicas:

• Seguimiento por Detección (Tracking-by-Detection): Aunque son prevalentes (por ejemplo, SORT, DeepSORT, ByteTrack), estos métodos suelen depender de filtros de Kalman que asumen un movimiento lineal y ruido gaussiano, lo cual no logra capturar la dinámica no lineal y el ruido no gaussiano del mundo real.
• Métodos Basados en Filtros de Partículas: Estos manejan bien las no linealidades, pero enfrentan desafíos en espacios de estados de alta dimensión a medida que aumenta el número de objetos. Los filtros independientes fallan durante las interacciones entre objetos, mientras que los filtros de múltiples objetos suelen asumir un número fijo de objetivos. Los métodos existentes que gestionan conteos variables de objetivos suelen sufrir de ineficiencia computacional, duplicación de pistas o reducción de la fiabilidad bajo cambios frecuentes de objetivos.

Metodología

El artículo propone GenTrack2, un marco de seguimiento visual de múltiples objetos híbrido que integra mecanismos estocásticos y deterministas para mantener la consistencia del identificador para números de objetivos desconocidos y variables en el tiempo bajo dinámicas no lineales. El sistema opera sobre un estado definido por identificadores de objetivo ($K_t$) y sus estados ($X_t$), que incluyen posición, tamaño, velocidad, penalizaciones de pista y edad.

El marco consta de tres etapas primarias:

1. Muestreo de Partículas Estocásticas con Guía de PSO

En lugar de un muestreo de la distribución posterior completo, el método genera partículas óptimas por objetivo para converger hacia los modos de la distribución de estado.

• Modelo de Movimiento: Se utiliza un modelo de movimiento aleatorio para manejar el movimiento natural impredecible, generando partículas basadas en estados previos o estados óptimos anteriores con perturbaciones añadidas.
• Optimización de Enjambre de Partículas (PSO): Para guiar las partículas y mitigar la divergencia, un algoritmo PSO refina las posiciones de las partículas utilizando una función de aptitud (fitness) novedosa ($f_{PSO}$) que comprende tres componentes:
  • Aptitud de Historial ($f^h_{PSO}$): Mide la similitud entre la partícula actual y el estado óptimo anterior del objetivo.
  • Aptitud de Exploración ($f^p_{PSO}$): Mide la similitud entre la partícula actual y la actualización previa de PSO.
  • Aptitud Social ($f^i_{PSO}$): Considera las interacciones entre objetivos vecinos. Utiliza una búsqueda de vecinos más cercanos para definir un contexto social, fomentando que las partículas diverjan de estados cercanos para reducir los cambios de ID durante las oclusiones.
• Métrica de Aptitud: La función de similitud central combina la similitud de coseno de las características de apariencia de HoG (Histograma de Gradientes Orientados) y los costos de distancia basados en el movimiento.

2. Asociación de Datos Determinista

Los conjuntos de partículas optimizados se asocian con las detecciones actuales utilizando el algoritmo húngaro con una matriz de costo orientada al objetivo ($C_{mat}$) propuesta.

• Componentes de Costo: La asociación de costos integra:
  • Costo de Movimiento: Una combinación de Intersección sobre Unión (IoU) y costos de distancia derivados del conjunto de partículas.
  • Confianza de Detección: Penaliza las detecciones de baja confianza.
  • Penalizaciones de Pista: Incorpora penalizaciones históricas de la pista para priorizar pistas estables.
• Gestión de Pistas:
  • Pistas Fuertes: Las pistas asociadas exitosamente se actualizan directamente.
  • Pistas Débiles: Las pistas sin detecciones asociadas se gestionan cuidadosamente para evitar cambios de ID. Estas utilizan los mejores valores globales de PSO e información de vecinos (si está disponible) para la estimación del estado.
  • Nuevas Pistas: Se inician cuando la confianza de detección supera un umbral.
  • Pistas Expiradas: Se eliminan basadas en límites de edad máxima.

3. Actualización de Estado y Regresión de Velocidad

• Gestión de Pistas Débiles: El manejo de pistas débiles que carecen de detecciones desacopla la posición y el tamaño para evitar un crecimiento o encogimiento irreal durante oclusiones prolongadas. Las actualizaciones de posición dependen del consenso de los vecinos (si es confiable) o un mecanismo de fuerza de repulsión para evitar colisiones con los vecinos.
• Regresión de Velocidad: Para abordar el desafío de predecir la velocidad para el siguiente fotograma (especialmente para pistas débiles), el sistema realiza una regresión de velocidad sobre una secuencia de $H$ estados pasados. Calcula una "velocidad de semilla de tendencia" analizando una lista incrementada y ordenada de pendientes de estados pasados. Esto proporciona una estimación de velocidad robusta para la generación de partículas sin requerir fotogramas futuros, permitiendo la operación en transmisiones en vivo.

Contribuciones Clave

El artículo describe tres contribuciones principales:

1. Marco Híbrido: Un marco novedoso que integra filtros de partículas estocásticos (para dinámicas no lineales) con asociación determinista (para la consistencia de identidad) que maneja números de objetivos desconocidos y variables en el tiempo. Introduce una matriz de costo generalizada y un esquema de actualización de objetivos que incorpora interacciones sociales y optimización PSO.
2. Regresión de Velocidad: Un mecanismo que aprovecha los estados históricos para mejorar el muestreo de partículas y las actualizaciones de estado, diseñado específicamente para funcionar eficazmente bajo oclusiones y con detectores ruidosos tanto en videos pregrabados como en transmisiones en vivo.
3. Implementación de Código Abierto: Provisión de implementaciones de referencia de código fuente tanto para el método propuesto como para los rastreadores comparados para facilitar la reimplementación y una evaluación comparativa justa.

Resultados Experimentales

El método fue evaluado en la secuencia MOT17-04 (1050 fotogramas, 30 fps, resolución de 1920×1080) centrándose en el seguimiento de humanos con detecciones débiles y ruidosas. Las comparaciones se realizaron contra rastreadores de vanguardia (SORT, DeepSORT, ByteTrack, BoT-SORT, OC-SORT, SMILEtrack, ConfTrack) utilizando las mismas detecciones y la verdad de terreno (ground truth).

Métricas de Rendimiento:

• Precisión Promedio de Seguimiento (ATA): 66.903 (Propuesto) vs. 56.174 (SORT) y 52.241 (ConfTrack).
• IDF1: 93.878 (Propuesto) vs. 90.302 (ConfTrack).
• HOTA: 70.044 (Propuesto) vs. 68.345 (ConfTrack).
• MOTA: 85.717 (Propuesto) vs. 82.778 (ConfTrack).
• Cambios de ID (IDSW): 3 (Propuesto) vs. 58 (ConfTrack) y 103 (SORT).

Los resultados indican que GenTrack2 supera a los métodos existentes en múltiples métricas, con mejoras particularmente significativas en la precisión de seguimiento (ATA) y la consistencia de identidad (bajo IDSW). El sistema logró estos resultados utilizando solo 8 partículas por objetivo, lo que permite la aplicación en tiempo real en hardware basado únicamente en CPU.

Significancia

El artículo afirma que GenTrack2 ofrece una solución robusta para aplicaciones de MOT en el mundo real al manejar eficazmente dinámicas no lineales, ruido no gaussiano y conteos de objetivos variables sin la carga computacional de los filtros de partículas de múltiples objetos tradicionales. Al mantener con éxito las identidades de los objetivos durante oclusiones e interacciones prolongadas, y al operar con flexibilidad tanto en videos pregrabados como en transmisiones en vivo, el método aborda brechas críticas en los paradigmas de seguimiento actuales. Los autores señalan que el método es en gran medida insensible a la configuración de parámetros y logra un alto rendimiento con recursos computacionales mínimos.