Multiple Object Detection and Tracking in Panoramic Videos for Cycling Safety Analysis

Esta investigación propone un marco innovador de tres pasos para mejorar la detección y el seguimiento de objetos en videos panorámicos de ciclistas, superando las limitaciones de distorsión y continuidad de bordes para analizar factores de riesgo y detectar adelantamientos en entornos urbanos reales.

Lo esencial

¡Hola! Imagina que eres un ciclista en Londres. Tienes una cámara especial en tu casco, como un ojo mágico que puede ver 360 grados a tu alrededor: adelante, atrás, a la izquierda y a la derecha, todo al mismo tiempo. Es como si tu cabeza girara 360 grados sin moverse, capturando todo el mundo en una sola imagen gigante y curvada.

El problema es que esta cámara "todo lo ve" tiene un defecto: la imagen se ve muy extraña y distorsionada, como si estuvieras mirando a través de un ojo de pez gigante. Además, los coches que te adelantan pueden aparecer en el borde de la imagen, desaparecer y reaparecer por el otro lado, confundiendo a las computadoras que intentan vigilarlos.

Los investigadores de este estudio (de la Universidad College London) querían usar estas cámaras para entender por qué los ciclistas tienen accidentes y cómo evitarlos. Pero las "inteligencias artificiales" actuales son como niños que solo han aprendido a ver fotos normales (rectangulares); cuando ven estas fotos panorámicas curvas, se marean y pierden a los coches.

Aquí te explico cómo lo solucionaron, usando una analogía sencilla:

1. El Problema: La Pizza Deformada

Imagina que tienes una pizza gigante (la imagen de 360 grados). Si intentas cortar un trozo de la pizza para mirarlo de cerca, la parte del borde se estira y se deforma. Las computadoras tradicionales no saben cómo reconocer un coche si la imagen está tan estirada o si el coche está cortado por la mitad en el borde de la foto.

2. La Solución: El "Corte y Pega" Inteligente

Los investigadores crearon un sistema de tres pasos, como un equipo de chefs muy organizado:

• Paso 1: Cortar la pizza en rebanadas perfectas.
  En lugar de mirar la imagen gigante y curva de una sola vez, el sistema la divide en cuatro "ventanas" o rebanadas rectangulares. Cada ventana muestra una parte del mundo con una perspectiva normal, sin tanta distorsión. Es como si tomaras la foto panorámica y la proyectaras en cuatro pantallas normales para que la computadora pueda ver claramente a los coches, peatones y bicicletas.
• Paso 2: Identificar a los invitados.
  Una vez que la imagen está en esas ventanas normales, usan un "detective experto" (una inteligencia artificial llamada YOLO) para encontrar a todos los coches y personas. Como la imagen ya no está tan deformada, el detective es mucho más preciso.
• Paso 3: Pegar las piezas y seguir la pista.
  Aquí viene la magia. A veces, un coche largo cruza el borde de una ventana y aparece en la siguiente. El sistema une esas piezas rotas para formar un solo coche completo. Además, les enseñó a la computadora a no confundirse: si un coche entra por la izquierda y sale por la derecha, la computadora sabe que es el mismo coche y no le cambia el nombre (algo que las computadoras normales suelen hacer, llamándolo "cambio de identidad").

3. El Objetivo: Detectar los "Casi Accidentes"

El propósito final de todo este trabajo es detectar cuando un coche pasa demasiado cerca de un ciclista (un "adelantamiento" peligroso).

Imagina que el sistema es un guardaespaldas invisible que siempre está mirando hacia atrás y hacia los lados.

• Si un coche se acerca desde atrás, cruza el lado derecho del ciclista y se aleja hacia adelante, el sistema dice: "¡Alerta! Este coche te pasó muy cerca".
• El sistema puede decir exactamente cuándo empezó el adelantamiento y cuándo terminó, y guardar esa información para que los urbanistas sepan dónde son peligrosas las calles.

¿Por qué es importante?

Antes, para saber dónde eran peligrosas las calles, los gobiernos tenían que esperar a que ocurriera un accidente grave y contar los informes de policía. Pero los accidentes son raros y los datos son pocos.

Con este nuevo sistema, pueden analizar miles de horas de videos de ciclistas normales y encontrar miles de "casi accidentes" (situaciones donde casi chocan pero no lo hacen). Es como tener una cámara de seguridad que te avisa: "Oye, en esta calle, los coches suelen pasar muy cerca de los ciclistas a las 5 de la tarde".

Los Resultados

El sistema funcionó muy bien:

• Encontró a los coches con mucha más precisión que los métodos anteriores.
• Redujo los errores donde la computadora confundía un coche con otro.
• Logró detectar el 82% de los adelantamientos peligrosos en pruebas reales.

En resumen: Crearon un "super-visor" para ciclistas que transforma las fotos raras y curvas de 360 grados en una visión clara, permitiéndonos entender mejor los peligros en la calle y hacer que el ciclismo sea más seguro para todos. ¡Es como darle a los ciclistas unos ojos de águila que nunca parpadean!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Resumen Técnico: Detección y Seguimiento de Múltiples Objetos en Videos Panorámicos para el Análisis de Seguridad Ciclista

1. El Problema

Los ciclistas enfrentan un riesgo desproporcionado de lesiones, pero los registros de accidentes tradicionales son demasiado escasos para identificar factores de riesgo a escalas espaciales y temporales finas. Aunque los estudios naturalistas utilizan datos de video, el uso de cámaras panorámicas (360°) para capturar el entorno completo del ciclista presenta desafíos técnicos significativos para los modelos de visión por computadora existentes:

• Distorsión: Las proyecciones equirectangulares deforman severamente los objetos cercanos y hacen que los lejanos sean muy pequeños.
• Continuidad de Bordes: Los objetos que cruzan los límites izquierdo-derecho de la imagen (debido a la naturaleza 360°) se cortan, lo que confunde a los algoritmos de seguimiento.
• Falta de Datos: Existe una escasez de conjuntos de datos anotados específicos para videos panorámicos, lo que limita el entrenamiento de modelos desde cero.
• Limitaciones de Modelos Actuales: Los modelos pre-entrenados en imágenes estándar (como YOLO o DeepSORT) no manejan bien estas distorsiones ni la continuidad de los objetos a través de los bordes de la imagen.

2. Metodología

Los autores proponen un marco de trabajo innovador de tres pasos para adaptar los modelos de visión por computadora a videos panorámicos:

Paso 1: Mejora de la Detección de Objetos

• Proyección y Subdivisiones: En lugar de procesar la imagen equirectangular completa, se proyecta en cuatro sub-imágenes de proyección perspectival (con campos de visión de 120° y superposiciones de 30°). Esto reduce la distorsión y permite que los objetos pequeños sean detectados con mayor precisión.
• Detección: Se utiliza un modelo pre-entrenado (YOLO12n en este estudio) sobre cada sub-imagen.
• Reproyección y Fusión: Las cajas delimitadoras (bounding boxes) detectadas se reproyectan a la imagen original. Se implementa un algoritmo para fusionar las cajas de objetos largos que se dividen entre las sub-imágenes o que cruzan los bordes de la imagen panorámica, asegurando que se mantengan como un solo objeto.

Paso 2: Mejora del Seguimiento de Múltiples Objetos (MOT)
Se utiliza StrongSORT como modelo base, pero con modificaciones críticas:

• Soporte para Información de Categoría: Se introduce una filtración basada en categorías (ej. coches, bicicletas, peatones) durante la asociación de datos. Esto evita que objetos de categorías diferentes se emparejen incorrectamente si sus características visuales son similares.
• Soporte para Continuidad de Bordes: Se modifica el cálculo de distancia (Mahalanobis e IOU) para manejar objetos que cruzan los límites de la imagen. El método duplica virtualmente las detecciones en los bordes opuestos para calcular la distancia más corta, evitando que el ID del objeto se pierda o cambie al cruzar de un lado a otro.

Paso 3: Aplicación de Detección de Adelantamientos
Se desarrolla una aplicación downstream que utiliza los resultados del seguimiento para detectar automáticamente maniobras de adelantamiento de vehículos:

• Clasifica los vehículos como "hacia adelante" o "hacia atrás" basándose en su movimiento relativo a través de 5 frames.
• Define un adelantamiento como un vehículo que cruza completamente una línea de longitud específica (ej. -90° o 90°) en la imagen panorámica.
• Distingue entre adelantamientos confirmados (completados) y no confirmados (en curso).

3. Contribuciones Clave

• Marco de Proyección Multi-Vista: Un método eficaz para convertir imágenes equirectangulares en proyecciones perspectivas para mejorar la detección de objetos pequeños y medianos sin necesidad de reentrenar modelos desde cero.
• Algoritmo de Fusión de Bordes: Una técnica novedosa para fusionar cajas delimitadoras divididas por los bordes de la imagen panorámica, manteniendo la integridad de los objetos largos.
• Mejora de StrongSORT para 360°: La integración de filtros de categoría y lógica de continuidad de bordes en un tracker de estado del arte, adaptándolo específicamente para videos equirectangulares.
• Validación en Escenarios Reales: Creación y anotación de un conjunto de datos específico para seguridad ciclista en Londres, incluyendo condiciones diversas (día, noche, lluvia, deslumbramiento).

4. Resultados

Los experimentos se realizaron en videos de ciclistas en Londres, comparando el enfoque propuesto con modelos base:

• Detección de Objetos: El método propuesto mejoró la Precisión Media (mAP) en comparación con los modelos originales, especialmente para objetos pequeños y medianos. En resoluciones de entrada de 1280 y 1920, superó el rendimiento de los modelos base, acercándose a la precisión de modelos entrenados con resoluciones mucho más altas pero con menos recursos computacionales.
• Seguimiento (MOT):
  • La introducción de soporte para continuidad de bordes redujo los falsos positivos en un 25,6%.
  • La combinación de soporte de categoría y continuidad de bordes logró un IDF1 del 50,0% (comparable al modelo original con YOLO estándar) y redujo los cambios de ID (ID switches) en un 10,9% (de 101 a 90).
  • Se observó una mejora del 2,7% en la precisión de identificación.
• Detección de Adelantamientos: El sistema logró un F-score de 0,82 (Precisión: 0,83, Recall: 0,80) en la detección de adelantamientos.
  • Limitaciones detectadas: Los falsos positivos se debieron principalmente a que el ciclista giraba la cabeza (cambiando la orientación de la cámara) y los falsos negativos ocurrieron en vehículos negros de noche o autobuses con cajas delimitadoras inestables.

5. Significado e Impacto

Este trabajo es fundamental para la seguridad vial y la planificación urbana por varias razones:

• Datos de "Casi-Accidentes" (Near-misses): Permite la extracción automatizada y a gran escala de datos de casi-accidentes a partir de videos de cámaras de acción, llenando la brecha de datos que tienen los registros de accidentes oficiales.
• Evidencia para Políticas Públicas: Proporciona evidencia cuantitativa sobre el cumplimiento de distancias de paso mínimas y ayuda a identificar contextos de alto riesgo (ej. adelantamientos nocturnos, interacciones con autobuses).
• Aplicaciones en Tiempo Real: El marco es lo suficientemente eficiente para ser desplegado en dispositivos de borde, lo que podría habilitar sistemas de alerta en tiempo real para ciclistas (advertencias de vehículos que se aproximan o entran en zonas de puerta).
• Mejora de Infraestructura: Los datos detallados sobre dónde y cómo ocurren los adelantamientos pueden informar el diseño de carriles, anchos de vía y semáforos.

En conclusión, el estudio demuestra que es posible adaptar modelos de visión por computadora estándar a entornos panorámicos complejos mediante un procesamiento inteligente de la proyección y la lógica de seguimiento, ofreciendo una herramienta poderosa para analizar y mejorar la seguridad de los ciclistas.