Resumen Técnico: Percepción 3D en Línea con Múltiples Cámaras mediante Seguimiento 2D Robusto y Agregación Tardía Basada en Profundidad

Declaración del Problema

El Seguimiento de Múltiples Objetivos con Múltiples Cámaras (MTMC) es una tarea crítica de visión por computadora para automatizar la vigilancia a gran escala. Aunque el MTMC en 2D ha logrado un rendimiento notable, extender estas capacidades al espacio 3D sigue siendo un desafío. Los enfoques existentes de MTMC en 3D a menudo requieren fusionar datos de múltiples vistas o detecciones en un espacio 3D unificado antes del seguimiento (por ejemplo, EarlyBird, BEV-SUSHI). Este enfoque de "fusión temprana" típicamente exige reemplazar todos los componentes de seguimiento 2D desde cero, lo cual suele ser poco práctico para los sistemas de vigilancia a gran escala existentes debido a la complejidad y el costo de tales reformas. Además, el seguimiento 3D debe manejar eficazmente la fusión de información de múltiples vistas, las oclusiones parciales y la representación escalable de la geometría 3D a nivel de objeto.

Metodología

Los autores proponen un marco novedoso que extiende cualquier sistema existente de seguimiento de múltiples cámaras en 2D en línea hacia el espacio 3D mediante Agregación Tardía de Cajas delimitadoras 3D. La tubería opera en dos fases principales:

1. Seguimiento Mejorado de Múltiples Cámaras en 2D en Línea

La primera fase se centra en obtener cajas delimitadoras 2D consistentes e identidades globales a través de las vistas.

• Detección y Extracción de Características: El sistema utiliza un detector Co-DETR basado en Transformer. Para la extracción de características, emplea CLIP-ReID para incrustaciones de apariencia y RTMPose para la estimación de la pose (14 puntos clave) para identificar los puntos de los pies.
• Asociación de Datos Espaciales: En cada paso de tiempo, los objetivos 2D detectados se agrupan en clústeres basándose en características de apariencia ReID (distancia coseno) y ubicación superior (distancia euclidiana mediante homografía). El agrupamiento aglomerativo agrupa los objetivos en entidades únicas.
• Asociación de Datos Temporal (Consistencia de ID de MOT): Para asignar IDs globales, los autores introducen un mecanismo de Consistencia de ID de MOT. Este enfoque aprovecha la consistencia de los IDs locales de MOT a través de cuadros consecutivos.
  • Coincidencia de Consistencia: Un clúster se empareja con una pista existente si su grupo de IDs locales se superpone significativamente con los IDs locales de la pista anterior.
  • División de Pistas: Si un clúster contiene IDs locales "inesperados" (IDs no vistos en la pista anterior) que son más similares a la pista esperada que al ID local antiguo, el sistema divide la pista. Esto evita el cambio de ID causado por oclusiones o características ruidosas.
  • Gestión de Estado: Las pistas se gestionan en tres estados: Tentativa, Confirmada y Perdida, con reglas específicas para la reactivación y la creación de nuevas pistas.

2. Agregación Tardía de Cajas delimitadoras 3D

Una vez establecido el seguimiento 2D y las IDs globales, el sistema reconstruye representaciones 3D sin modificar el rastreador 2D.

• Profundidad a Nube de Puntos: Para cada objeto rastreado, el sistema segmenta el objeto dentro de su caja delimitadora 2D utilizando SAM2. Extrae valores de profundidad de los mapas de profundidad proporcionados para los píxeles dentro de la máscara. Estos píxeles 2D se proyectan en coordenadas de cámara 3D y luego se transforman en un sistema de coordenadas mundial global utilizando parámetros de calibración extrínseca.
• Nube de Puntos a Caja delimitadora 3D: Las nubes de puntos resultantes a menudo contienen ruido y fragmentación debido a oclusiones o errores de proyección.
  • Agrupamiento: Se aplica DBSCAN para eliminar el ruido y aislar la nube de puntos del objeto.
  • Estimación de Caja: Las dimensiones se estiman utilizando percentiles de las coordenadas de los puntos. Para manejar casos donde la nube de puntos es demasiado dispersa o ruidosa, el sistema valida el volumen predicho contra el volumen medio de la clase en el conjunto de entrenamiento, limitando las dimensiones si caen fuera de un rango definido ($\alpha_{inferior}$ a $\alpha_{superior}$).
• Fusión de Cajas delimitadoras 3D: Debido a posibles errores en la asociación espacial 2D, un solo objeto puede recibir múltiples cajas 3D con diferentes IDs. El sistema realiza una fusión ponderada de cajas superpuestas (utilizando IoA 3D) para combinarlas en una única caja delimitadora 3D precisa.
• Refinamiento de Yaw: Para mejorar la precisión de la orientación, el ángulo de yaw se refina basándose en la trayectoria de movimiento del objetivo. El ángulo se calcula a partir del vector de desplazamiento entre los cuadros $t-10$ y $t$, actualizando solo si el movimiento supera un umbral específico.

Contribuciones Clave

1. Marco Flexible: Un método para extender sistemas tradicionales de MTMC en 2D en línea para producir resultados de seguimiento 3D mediante agregación tardía, evitando la necesidad de reconstruir componentes 2D.
2. Mecanismo de Asociación Mejorado: Una estrategia de asociación en línea que utiliza Consistencia de ID de MOT para propagar IDs globales a través de cuadros aprovechando la consistencia de IDs locales, mejorando el rendimiento del seguimiento entre cámaras.
3. Mecanismo de Reconstrucción 3D: Una tubería que extiende cajas delimitadoras 2D asignadas con IDs hacia el espacio 3D utilizando segmentación, extracción de mapas de profundidad, agrupamiento de nubes de puntos y refinamiento geométrico para crear cajas delimitadoras 3D.
4. Validación: El método fue validado en el conjunto de datos 3D MTMC del Desafío AI City 2025, obteniendo el tercer lugar en la tabla de clasificación pública.

Resultados

El sistema propuesto fue evaluado en el conjunto de datos AIC25 MTMC (23 escenas sintéticas, hasta 50 cámaras).

• Rendimiento 2D: En el conjunto de validación, la coincidencia de Consistencia de ID de MOT mejoró la puntuación HOTA en un 20.46% (de 48.63 a 69.09), impulsada principalmente por un aumento del 29.03% en la Precisión de Asociación (AssA).
• Rendimiento 3D: En el conjunto de pruebas público, la tubería completa logró una puntuación HOTA del 28.75%.
  • El módulo de Consistencia de ID de MOT contribuyó a un aumento de ~5% en la Precisión de Detección (DetA) y un aumento del 7% en AssA.
  • El módulo de Agregación Tardía 3D proporcionó el impulso más significativo, aumentando DetA en un 13% y HOTA en un 10%.
  • El Refinamiento de Yaw mejoró aún más la Precisión de Localización (LocA), llevando el HOTA final a 28.75%.
• Posición en la Tabla de Clasificación: El sistema obtuvo el tercer lugar en la Pista 1 del Desafío AI City 2025, superando a otros equipos como UTE AI Lab (25.39 HOTA) y SKKU-AutoLab (63.13 HOTA en un contexto diferente, aunque el artículo lista a TeamQDT con 28.75 HOTA para la pista 3D específica).

Significado y Afirmaciones

El artículo afirma que su principal significado radica en ofrecer una solución práctica y rentable para actualizar la infraestructura de vigilancia existente. Al utilizar "agregación tardía", los autores demuestran que se puede lograr una percepción 3D de alta calidad sin el costo prohibitivo y la complejidad de reemplazar los componentes de seguimiento 2D establecidos. El marco conecta eficazmente la brecha entre el seguimiento 2D y la localización 3D, aprovechando la información de profundidad y la consistencia robusta de IDs para manejar oclusiones y desafíos de múltiples vistas, como lo demuestra su rendimiento competitivo en una prueba rigurosa.