Phys-3D: Physics-Constrained Real-Time Crowd Tracking and Counting on Railway Platforms

El artículo presenta Phys-3D, un marco de seguimiento en tiempo real que integra detección, apariencia y razonamiento de movimiento 3D basado en principios físicos para lograr un conteo preciso de multitudes en plataformas de trenes a pesar de la oclusión y el movimiento de la cámara.

Lo esencial

Imagina que estás en un tren que se acerca lentamente a una estación. Desde tu ventana, ves a cientos de personas esperando en el andén. Ahora, imagina que quieres contar exactamente cuántas personas hay, pero tienes tres problemas gigantes:

1. El tren se mueve: La cámara está dentro del tren, así que todo parece "correr" hacia ti, incluso si las personas están quietas.
2. Hay mucha gente: Las personas se superponen, se taponean y a veces solo ves una cabeza entre mil.
3. El efecto "zoom": A medida que el tren se acerca, las cabezas lejanas se hacen gigantes de repente, como si un mago las estuviera estirando.

Los sistemas de conteo antiguos fallaban aquí porque pensaban que la cámara estaba quieta (como una cámara de seguridad fija en la pared) o que las personas se movían a velocidad constante. Pero en un tren, nada es constante.

Aquí es donde entra "Phys-3D": El Contador con Sentido Físico.

Los autores de este paper (del Humboldt University de Berlín) crearon un sistema inteligente que no solo "mira" y cuenta, sino que entiende la física de lo que está pasando.

1. El Detective de Cabezas (YOLOv11m)

En lugar de intentar ver a la persona completa (lo cual es difícil cuando hay mucha gente y solo ves la parte superior), el sistema se especializa en detectar cabezas.

• La analogía: Imagina que en una multitud densa, es más fácil ver las copas de los árboles que los troncos. El sistema se enfoca solo en las "copas" (las cabezas), que son más estables y visibles. Además, ha sido entrenado con miles de fotos de estaciones de tren para reconocer cabezas incluso si están borrosas por el movimiento.

2. El Contador con "Sentido de la Realidad" (Phys-3D)

Esta es la parte mágica. Los sistemas normales usan un modelo matemático simple que dice: "Si el objeto se movió aquí, se moverá un poco más allá". Pero en un tren, eso es un error porque el tren mismo se está moviendo.

El sistema Phys-3D hace algo diferente:

• La analogía: Imagina que eres un pasajero en el tren. Sabes que el tren se está frenando suavemente. Si ves a alguien en el andén, tu cerebro sabe que si esa persona no se mueve, su imagen en tu ventana se hará más grande porque tú te estás acercando, no porque ella corra hacia ti.
• Cómo funciona: El sistema incorpora las leyes de la física (geometría de agujero de alfiler y cinemática). En lugar de rastrear la posición en la pantalla 2D (que cambia locamente), rastrea la posición en el mundo 3D real.
  • Calcula: "El tren se está frenando a X velocidad, por lo que esa cabeza debe estar a Y metros de distancia".
  • Esto evita que el sistema se confunda y piense que una persona se movió cuando en realidad fue el tren el que se movió. Mantiene la identidad de la persona estable, sin saltos ni confusiones.

3. La "Zona de Conteo Virtual" (El Filtro de Paciencia)

A veces, una persona se tapa detrás de otra por un segundo, o la cámara tiembla un poco. Un sistema tonto diría: "¡Se fue! ¡Vuelve! ¡Contar de nuevo!". Eso arruina el conteo.

• La analogía: Imagina una cinta de seguridad en el suelo del andén. Para que el sistema cuente a alguien, esa persona no solo debe cruzar la línea, sino que debe quedarse dentro de una zona segura durante varios segundos (persistencia).
• Si la persona desaparece un instante por una sombra o una persona que pasa, el sistema dice: "Espera, la tengo en mi memoria, no ha desaparecido, sigue ahí". Solo la cuenta cuando está segura de que es una persona real y estable.

¿Por qué es importante?

Este sistema logra contar personas con un error de menos del 3%, incluso en condiciones caóticas.

• Para la seguridad: Si el andén está lleno, el tren puede esperar o enviar un tren extra.
• Para la eficiencia: Las estaciones pueden saber cuándo enviar más personal de limpieza o seguridad.
• Para el futuro: Demuestra que mezclar la "inteligencia artificial" (ver la imagen) con la "física básica" (saber cómo se mueve el tren) es mucho más potente que solo usar algoritmos complejos sin sentido común.

En resumen:
Han creado un "ojo digital" para los trenes que no solo ve, sino que entiende que el tren se mueve, que la gente se apila y que las distancias cambian. Es como tener un conductor experto que, además de manejar, puede contar a todos los pasajeros en la plataforma con una precisión casi perfecta, ayudando a que el transporte sea más seguro y eficiente.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "Phys-3D: Physics-Constrained Real-Time Crowd Tracking and Counting on Railway Platforms", presentado en español:

1. Planteamiento del Problema

El conteo y seguimiento preciso de multitudes en plataformas de trenes es crucial para la gestión de la seguridad y la capacidad operativa. Sin embargo, los enfoques tradicionales presentan desafíos significativos cuando se despliegan desde un tren en movimiento:

• Cámara en movimiento (Ego-motion): La cámara no es estática; se mueve y frena al acercarse a la plataforma, lo que genera distorsiones de perspectiva severas y movimiento aparente que no corresponde al movimiento real de los peatones.
• Oclusiones densas: En multitudes, los cuerpos se superponen, haciendo que los detectores de cuerpo completo fallen.
• Inconsistencia física: Los modelos de seguimiento (tracking) estándar (como los filtros de Kalman de velocidad constante) asumen una cámara estática o un movimiento constante en el plano 2D de la imagen. Esto provoca trayectorias físicamente inconsistentes, cambios de identidad (ID switches) y errores de conteo cuando la cámara se acelera o desacelera.
• Fragilidad en el conteo: Los métodos simples de "cruce de línea" fallan ante oclusiones breves o jitter (temblor) de detección, generando conteos duplicados o perdidos.

2. Metodología Propuesta

Los autores proponen un pipeline integral de detección-seguimiento-conteo en tiempo real, denominado Phys-3D, diseñado específicamente para la percepción a bordo de trenes.

A. Detección de Cabezas (Head Detection)

• Estrategia: En lugar de detectar cuerpos completos, el sistema se centra en la detección de cabezas, que son más estables y visibles en escenas densamente ocluidas.
• Modelo: Se utiliza un detector YOLOv11m pre-entrenado en el dataset CrowdHuman y luego fine-tuneado con un conjunto de datos específico del dominio (RailwayPlatformCrowdHead).
• Codificación de Apariencia: Se emplea EfficientNet-B0 para extraer características de re-identificación (Re-ID) de 128 dimensiones, permitiendo mantener la identidad de los peatones tras oclusiones temporales.

B. Seguimiento con Restricciones Físicas (Phys-3D)

Esta es la innovación central del trabajo. A diferencia de los modelos 2D estándar, Phys-3D utiliza un Filtro de Kalman restringido por física en espacio 3D:

• Geometría de Pinhole: El modelo asume una cámara de agujero de alfiler y relaciona las coordenadas 2D de la imagen $(x, y)$ con la posición 3D real $(X, Y, Z)$ del peatón.
• Estado del Sistema: El vector de estado del filtro de Kalman se define en 3D: $[X, Y, H, Z, \dot{Z}, \ddot{Z}]^T$, donde:
  • $X, Y$: Posición lateral en la plataforma (casi constante).
  • $H$: Altura de la cabeza (constante, ~0.3m).
  • $Z$: Distancia al tren (variable debido al movimiento del tren).
• Modelo de Movimiento: En lugar de modelar la velocidad en píxeles, el modelo predice la evolución de la distancia $Z$ basándose en la desaceleración del tren. Esto permite separar el movimiento real del peatón del movimiento aparente causado por el tren, eliminando la deriva de la trayectoria.

C. Banda de Conteo Virtual (Virtual Counting Band)

Para evitar errores en el conteo debido a oclusiones breves o inestabilidad de la detección:

• Se definen regiones virtuales ancladas geográficamente en la plataforma (no solo líneas en la imagen).
• Se implementa un criterio de persistencia temporal: un peatón solo se cuenta si permanece dentro de la banda virtual durante un número mínimo de cuadros consecutivos ($N$).
• Esto suaviza las interrupciones breves y evita el doble conteo por cambios de identidad.

3. Contribuciones Clave

1. Pipeline End-to-End en Tiempo Real: Un sistema completo diseñado para la percepción de plataformas desde un tren en movimiento, capaz de operar en hardware de borde.
2. Modelo Phys-3D: Un filtro de Kalman novedoso que incorpora restricciones de geometría de cámara y priors de movimiento del ego (tren) para lograr un seguimiento de identidad estable bajo fuerte distorsión de perspectiva.
3. Nuevo Dataset (MOT-RPCH): Creación y liberación del dataset RailwayPlatformCrowdHead, que incluye anotaciones de cabezas y trayectorias continuas desde la perspectiva de un tren, llenando un vacío en los benchmarks públicos.
4. Validación de Priors Físicos: Demostración de que incorporar principios físicos (geometría y cinemática) es más efectivo para la robustez que simplemente aumentar la complejidad de los modelos cinemáticos estándar.

4. Resultados Experimentales

El sistema se evaluó en el dataset MOT-RailwayPlatformCrowdHead (27 secuencias, ~89k cuadros, 885 identidades únicas).

• Rendimiento de Conteo:
  • Error Absoluto Medio (MAE): 0.9
  • Error Cuadrático Medio (RMSE): 1.36
  • Error Porcentual Absoluto Medio (MAPE): 2.97%
  • Comparado con modelos base (CV-8D y CA-12D), Phys-3D reduce drásticamente el error, eliminando el sesgo de sobreconteo (ME negativo indica un sesgo conservador preferible para la seguridad).
• Rendimiento de Seguimiento (Tracking):
  • MOTA (Precisión de seguimiento): 67.19%
  • IDF1 (Consistencia de identidad): 76.32%
  • Cambios de Identidad (IDSW): Promedio de solo 24.5 en las secuencias de prueba.
• Análisis de Componentes:
  • El fine-tuning del detector aumentó el mAP50 de 79.4% a 98.0%.
  • La resolución óptima para Re-ID fue 128x128, ofreciendo el mejor equilibrio entre precisión y eficiencia (69.5 FPS en GPU T4).
  • La banda de conteo virtual superó ampliamente a los métodos de "cruce de línea" (MAPE de 2.97% vs 93.43%).

5. Significado e Impacto

El trabajo de Phys-3D representa un avance significativo en la visión por computadora aplicada al transporte:

• Seguridad Operativa: Permite una gestión proactiva de la seguridad en plataformas, anticipando la densidad de pasajeros antes de la llegada del tren.
• Eficiencia: Facilita la programación dinámica de trenes y la planificación de infraestructura basada en datos reales y precisos.
• Robustez: Demuestra que los enfoques basados en "primeros principios" (geometría y física) son esenciales para resolver problemas de visión en entornos dinámicos y no estacionarios, superando las limitaciones de los métodos puramente basados en aprendizaje profundo sin restricciones físicas.

En resumen, Phys-3D ofrece una solución robusta, precisa y eficiente para el conteo de multitudes en escenarios críticos de transporte, superando los desafíos únicos de la perspectiva móvil y las oclusiones densas.