Resumen Técnico: MVDGC – Detección de Peatones Multivista 3D y 2D mediante Restricciones Geométricas Duales

1. Definición del Problema

El desafío central en la Detección de Peatones Multivista (MVPD) es la agregación efectiva de características visuales desde diferentes puntos de vista para razonar sobre las oclusiones en escenas concurridas. Los enfoques existentes generalmente se dividen en dos categorías, ambas con limitaciones significativas:

• Métodos basados en anclas (Anchor-based): Realizan la detección 2D de forma independiente en cada vista y luego asocian las detecciones basándose en la proximidad geométrica y la apariencia. Aunque son eficientes, son vulnerables a la oclusión, a las detecciones perdidas y a una asociación entre vistas débil debido a la falta de un alineamiento temprano de características.
• Métodos centralizados (Centralized-based): Proyectan las características de la imagen sobre un mapa de Vista de Ojo de Pájaro (BEV) compartido para realizar una detección de ocupación densa. Sin embargo, la transformación de perspectiva requerida para esta proyección induce una distorsión geométrica severa, estirando las características de manera no uniforme. Esto provoca rupturas en la estructura espacial, características borrosas y errores de cuantización derivados de los mapas de calor BEV discretizados, lo que degrada la precisión de la localización, particularmente en multitudes densas.

Además, los métodos actuales suelen no aprovechar la fuerte relación mutua entre los puntos del suelo en BEV y las cajas delimitadoras (bounding boxes) 2D en la imagen, tratando las detecciones 2D simplemente como señales auxiliares en lugar de optimizarlas conjuntamente con la tarea principal de localización en BEV.

2. Metodología: MVDGC

Los autores proponen MVDGC, un marco unificado de extremo a extremo basado en consultas (query-based) que estima conjuntamente las ubicaciones de los peatones en el plano BEV y las cajas delimitadoras 2D en las vistas de imagen sin depender de mapas de características BEV densos. El marco se construye sobre una representación de consulta cilíndrica 3D y consta de los siguientes componentes clave:

2.1 Formulación de Consulta Cilíndrica 3D

En lugar de regredir cajas delimitadoras 3D completas (que requieren anotaciones 3D completas no disponibles) o solo puntos 2D, MVDGC representa a cada peatón como un cilindro vertical 3D aprendible.

• Representación: Una consulta $Q_{3D}$ se define por un componente de posición $P_{3D} = \{x, y, h, r\}$ (coordenadas del plano del suelo, altura y radio) y un componente de característica $F_{3D}$.
• Puente Geométrico: El centro del cilindro se encuentra en el plano BEV, y su proyección en las vistas de imagen forma naturalmente una caja delimitadora rectangular. Esto unifica la localización en BEV y la detección en ImV (vista de imagen) en una sola tarea: refinar la posición y la forma del cilindro.
• Ventaja: A diferencia de los cuboides 3D que se proyectan como polígonos complejos, los cilindros se proyectan como cajas rectangulares limpias, lo que soporta directamente la localización en BEV y la supervisión débil de los parámetros de la forma 3D.

2.2 Arquitectura de la Red

La etapa de decodificación procesa estas consultas a través de tres módulos especializados:

1. Muestreo de Características Multivista: Las consultas cilíndricas 3D se proyectan en puntos de referencia 2D a través de todas las vistas de cámara utilizando matrices de proyección de cámara. En lugar de deformar (warp) mapas de características completos hacia BEV, el modelo utiliza atención cruzada deformable para muestrear características locales directamente desde los dominios de imagen originales. Esto elimina la distorsión inducida por la proyección y la pérdida de resolución.
2. Interacción de Consultas Intra e Inter-vista: Este módulo facilita el intercambio de información en dos pasos:
   • Intra-vista: Permite la comunicación entre consultas dentro de la misma vista de cámara para establecer coherencia espacial.
   • Inter-vista: Refuerza la homogeneidad de las características de apariencia para el mismo objeto a través de diferentes vistas.
3. Fusión Adaptativa Multivista: Para manejar oclusiones y visibilidades variables, el modelo aprende pesos de atención específicos para cada instancia de cada consulta de objeto en cada vista de cámara. Esto permite que la red priorice las vistas más informativas para cada peatón individual, en lugar de aplicar pesos de vista uniformes.

2.3 Objetivos de Entrenamiento

MVDGC emplea restricciones geométricas duales para supervisar el refinamiento de los cilindros 3D:

• Supervisión BEV: Regresión directa de las coordenadas del plano del suelo $(x, y)$ del cilindro utilizando una pérdida de regresión basada en KL para modelar la incertidumbre y una pérdida de clasificación de estilo focal.
• Supervisión ImV: El cilindro proyectado se restringe para alinearse con las cajas delimitadoras 2D en las vistas de imagen utilizando pérdidas Smooth L1 y GIoU (Generalized IoU).
• Optimización Conjunta: La forma del cilindro ($r, h$) es débilmente supervisada por las restricciones de la caja delimitadora de ImV, asegurando la consistencia geométrica entre dominios.
• Estrategia de Emparejamiento: Se utiliza una estrategia de Emparejamiento de Hungría Adaptativa (Adaptive Hungarian Matching), que permite una asignación de uno a muchos (hasta $K=3$) para mejorar la recuperación (recall) en escenas concurridas.

3. Contribuciones Clave

1. Marco Novedoso (MVDGC): Un marco basado en consultas que regresa directamente las coordenadas BEV y las cajas delimitadoras 2D, evitando los errores de cuantización y las distorsiones de proyección inherentes a los mapas de características BEV densos.
2. Representación Cilíndrica 3D: Una representación geométrica unificada que une los puntos del suelo BEV y las cajas delimitadoras ImV. Esto establece una identidad global compartida a través de los dominios espaciales, permitiendo la detección conjunta y un seguimiento robusto incluso bajo oclusión severa.
3. Consistencia de Doble Espacio: La aplicación de restricciones geométricas tanto en las vistas de imagen como en BEV conduce a una precisión de localización de vanguardia (SOTA).
4. Generalización: La validación extensiva en conjuntos de datos del mundo real (WildTrack) y sintéticos (MultiViewX, GMVD) demuestra robustez ante configuraciones de escena y disposiciones de cámaras no vistas.

4. Resultados Experimentales

Los autores evaluaron MVDGC en WildTrack, MultiViewX y el conjunto de datos generalizado GMVD.

• Rendimiento de MVPD: MVDGC alcanzó un rendimiento de vanguardia (SOTA) en múltiples métricas. En WildTrack, logró un MODP de 83.8 y un MODA de 94.2. En MultiViewX, logró un MODP de 93.0 y un MODA de 95.7. Superó a los métodos centralizados (ej. MVDeTr, 3DROM, EarlyBird) y a los métodos que utilizan información adicional (ej. pistas temporales, envolventes visuales).
• Rendimiento de Seguimiento: Al transferir las IDs globales del dominio BEV a las vistas de imagen, MVDGC superó significativamente a los modelos base de seguimiento de vista única.
  • En WildTrack, logró un HOTA de seguimiento ImV de 65.4 y un MOTA de 72.9, superando por amplios márgenes a rastreadores fuertes basados en CNN y Transformers (ej. MeMOTR, StrongSORT).
  • En MultiViewX, logró un HOTA de seguimiento ImV de 48.4 y un MOTA de 40.0.
• Estudios de Ablación:
  • Módulos: La combinación de la interacción Intra-Inter y la Fusión Adaptativa produjo las mayores ganancias.
  • Pérdidas: La supervisión conjunta BEV-ImV superó significativamente a la supervisión solo de BEV. La pérdida KL para la regresión de puntos resultó superior para manejar la ambigüedad de la anotación.
  • Tipo de Consulta: La consulta cilíndrica 3D superó significativamente a los simples puntos de referencia 3D, validando la importancia de las restricciones geométricas.
  • Generalización: En el conjunto de datos GMVD (escenas de entrenamiento/prueba distintas), MVDGC mantuvo un alto rendimiento, demostrando una fuerte generalización entre escenas.

5. Significado y Reclamaciones

El artículo afirma que MVDGC aborda las limitaciones fundamentales de los métodos de MVPD existentes al evitar la necesidad de la proyección de perspectiva en una rejilla BEV densa. Al tratar a los peatones como cilindros 3D y aplicar restricciones duales, el método:

• Elimina la Distorsión: Muestrea directamente las características de las imágenes originales, preservando las relaciones espaciales y evitando la distorsión geométrica causada por el deformado (warping) de perspectiva.
• Permite un Seguimiento Robusto: La representación 3D unificada proporciona una identidad global consistente que puede propagarse a través de las vistas y el tiempo, resolviendo la desconexión entre la localización BEV y el seguimiento 2D.
• Maneja la Oclusión: El diseño centrado en el objeto permite al modelo razonar sobre los peatones ocluidos aprovechando las características de las partes visibles del cuerpo (torso, cabeza) en lugar de depender únicamente de los puntos de los pies potencialmente ocluidos.

Los autores señalan una limitación en la recuperación (recall) para multitudes extremadamente densas donde la oclusión severa persiste incluso con múltiples vistas, sugiriendo que el trabajo futuro podría incorporar modelos de generación de profundidad para sintetizar representaciones similares a nubes de puntos. Sin embargo, el presente trabajo establece un nuevo referente para la detección de peatones multivista al unificar el razonamiento 2D y 3D a través de restricciones geométricas.