Resumen Técnico: Propagación de Máscaras Selectiva para el Seguimiento de Múltiples Objetos

1. Planteamiento del Problema

El seguimiento de múltiples objetos (MOT) depende de mantener identidades consistentes a través de los fotogramas de un vídeo. Los métodos modernos de seguimiento por detección suelen construir una matriz de coste utilizando pistas espaciales, de movimiento o de apariencia, y resuelven el problema de asignación mediante el algoritmo húngaro. Aunque esto es efectivo cuando una asignación es claramente superior, estos métodos fallan cuando las alternativas son "casi iguales" (near-tied), algo que ocurre con frecuencia cuando los objetos están cerca en el espacio de características utilizado por el rastreador. En tales casos, el rastreador se compromete con una identidad basada en una diferencia de coste insignificante, lo que provoca cambios de identidad que se propagan hacia adelante en el tiempo.

Las soluciones existentes presentan limitaciones:

• Los rastreadores de extremo a extremo (end-to-end) requieren una gran cantidad de datos de entrenamiento y carecen de transferibilidad de dominio.
• Las extensiones de la familia SORT mejoran las matrices de coste, pero no pueden resolver los casos en los que todas las pistas son simultáneamente ambiguas.
• Los rastreadores basados en máscaras integran la segmentación de objetos de vídeo (VOS), pero propagan las máscaras en cada fotograma, lo que conlleva altos costes computacionales incluso cuando el rastreador base está funcionando correctamente.
• Los modelos VOS (por ejemplo, la familia SAM, Cutie) sobresalen en la preservación de la identidad durante las oclusiones, pero son computacionalmente costosos y propensos al deriva (drift) o al colapso si se aplican uniformemente a cada fotograma.

El desafío central es aprovechar la capacidad de preservación de identidad de los modelos VOS sin incurrir en todo su coste computacional en los fotogramas donde un rastreador base ligero ya es suficiente.

2. Metodología

El artículo propone la Propagación de Máscaras Selectiva, un algoritmo libre de entrenamiento que trata tanto al rastreador base como al modelo VOS como cajas negras. El sistema opera bajo el principio de que la mayoría de los fotogramas son "fáciles" para un rastreador ligero, mientras que una pequeña fracción son "difíciles" y propensas a cambios de identidad.

2.1. Mecanismo de Despacho (Creación de Ventanas)

El sistema monitoriza la confianza de asignación del rastreador base para determinar cuándo invocar el modelo VOS.

• Señal Primaria (Margen de Asignación): El algoritmo calcula el margen en la matriz de coste húngara para las detecciones emparejadas, definido como la diferencia entre la segunda mejor y la mejor asignación de coste ($m_{j^*} = \min_{i \neq i^*} C_{i,j^*} - C_{i^*,j^*}$).
  • Un margen grande indica una asignación con confianza.
  • Un margen pequeño (por debajo de un umbral $\tau_{entry}$) indica ambigüedad, lo que activa la apertura de una "ventana".
• Señales Adicionales:
  • Señal de Brecha (Gap Signal): Se activa si un rastro desaparece durante $G$ fotogramas y reaparece, indicando una posible re-vinculación errónea con otro objeto.
  • Ventanas de Testigos (Witness Windows): Si se abre una ventana primaria, también se siembran pistas cercanas que se solapan para resolver posibles intercambios de identidad.
• Siembra (Seeding): Para cada ventana, el sistema retrocede desde el fotograma de entrada para encontrar un "fotograma semilla" donde la identidad del objetivo sea inequívoca (margen alto) y esté espacialmente aislada. El modelo VOS se inicializa aquí.

2.2. Propagación de Máscaras y Condiciones de Salida

Una vez abierta y sembrada una ventana, el modelo VOS propaga las máscaras a través de la región ambigua. El sistema emplea una regla de decisión asimétrica: la salida del rastreador base se modifica solo si el modelo VOS realiza una predicción con confianza que contradiga la identidad del rastreador base.

• Condiciones de Salida: Una ventana se cierra cuando cuatro condiciones se mantienen durante $N_{exit}$ fotogramas consecutivos:
  1. La máscara está contenida dentro de un solo rastro (alto IoMA).
  2. El margen de asignación del rastro se ha recuperado por encima de un umbral ($\tau_{exit}$).
  3. El rastro está espacialmente aislado.
  4. La máscara está aislada de otras máscaras activas.
• Resultados:
  • SWAP (Intercambio): Si la máscara se establece en un rastro diferente al de la semilla, el sistema realiza un intercambio de identidad con confianza.
  • CLEAN (Limpieza): Si la máscara regresa al rastro original, no se realiza ningún cambio.
  • Descartado (STALE, DEGRADED, EDGE, END): Si la máscara no converge, se degrada o sale del fotograma, se preserva la salida del rastreador base sin cambios. Esto asegura que el modelo VOS no pueda dañar el rendimiento del seguimiento a menos que tenga una alta confianza en una corrección.

2.3. Asociación Global de Rastros (Específico para Deportes)

Para la analítica deportiva, el método se aumenta con la Asociación Global de Rastros (GTA) para gestionar la re-identificación fuera de pantalla. Este módulo vincula fragmentos de rastro (tracklets) separados por salidas de los límites de la pantalla utilizando números de camiseta (vía OCR), clasificación de equipos y embebimientos de apariencia. Esto aborda el modo de fallo complementario de jugadores que salen y reingresan a la escena, mientras que la propagación de máscara selectiva gestiona las oclusiones en pantalla.

3. Contribuciones Clave

1. Algoritmo Libre de Entrenamiento: Un método que despacha selectivamente desde un rastreador base ligero hacia un modelo VOS basado en la incertidumbre de la asignación, preservando la salida base a menos que el modelo VOS la contradiga con confianza.
2. Diseño Modular: El enfoque trata al rastreador base y al modelo VOS como cajas negras, lo que permite la sustitución del componente VOS por modelos más capaces (por ejemplo, actualizar de SAM 2 a SAM 3) sin necesidad de reentrenar el rastreador base.
3. Rendimiento de Vanguardia (State-of-the-Art):
   • DanceTrack: Mejoras significativas en tres rastreadores base diferentes (SORT, ByteTrack, Deep-EIoU) utilizando el mismo mecanismo de despacho.
   • SportsMOT: Alcanza un nuevo estado del arte de 87.2 HOTA usando SAM 3-Deep-EIoU con asociación global de rastros.

4. Resultados

• Generalización: En el conjunto de validación de DanceTrack, la propagación de máscara selectiva mejoró consistentemente las puntuaciones HOTA y AssA para SORT, ByteTrack y Deep-EIoU. Las mejoras fueron estadísticamente significativas, observándose las mayores ganancias en AssA (precisión de asociación), lo que refleja directamente la corrección de los cambios de identidad.
• Actualizaciones de Modelo: Actualizar el componente VOS de SAM 2 a SAM 3 produjo nuevas mejoras sin necesidad de reentrenar la lógica de despacho, validando la naturaleza modular del enfoque.
• Benchmark SportsMOT: El sistema propuesto (SAM 3-Deep-EIoU + GTA) superó a todos los métodos publicados en el conjunto de prueba de SportsMOT en HOTA, AssA, IDF1 y MOTA.
  • El margen sobre la línea base de solo GTA (81.0 HOTA) se atribuye al componente de propagación de máscara selectiva.
  • Los estudios de ablación confirmaron que la propagación de máscara selectiva y la GTA abordan modos de error distintos (oclusión en pantalla frente a re-identificación fuera de pantalla), y que su mejora combinada es aproximadamente la suma de sus contribuciones individuales.
• Análisis de Eficiencia: El análisis de los resultados de las ventanas muestra que la mayoría de las ventanas abiertas (74.5% en DanceTrack, 94.7% en SportsMOT) resultan en que la salida del rastreador base permanezca sin cambios. Esto confirma que la señal de despacho filtra eficazmente los fotogramas fáciles, aunque una señal más precisa podría reducir aún más los costes computacionales.

5. Significado y Reivindicaciones

El artículo afirma que la propagación de máscara selectiva ofrece una solución práctica al compromiso entre la precisión del seguimiento y el coste computacional. Al identificar fotogramas "intrínsecamente difíciles" mediante el margen de asignación, el método permite que los rastreadores ligeros manejen el caso común mientras reserva la computación costosa de VOS para ventanas ambiguas donde la preservación de la identidad es crítica.

Los autores enfatizan que el método es libre de entrenamiento y robusto, ya que solo modifica la salida del rastreador base cuando el modelo VOS tiene confianza, limitando así sus modos de fallo a falsos positivos de intercambio de identidad y preservando la salida base en todos los demás escenarios. El enfoque logra cerrar la brecha entre el seguimiento eficiente por detección y la segmentación de objetos de vídeo de alta fidelidad, alcanzando resultados de vanguardia en entornos de seguimiento deportivo desafiantes.