Multiple Object Detection and Tracking in Panoramic Videos for Cycling Safety Analysis

Questa ricerca propone un innovativo framework a tre fasi per migliorare il rilevamento e il tracciamento di oggetti in video panoramici, superando le limitazioni delle distorsioni e della continuità dei bordi per analizzare in modo efficace la sicurezza dei ciclisti, come dimostrato dalla rilevazione dei sorpassi su strade londinesi.

L'essenziale

Immagina di andare in bicicletta per Londra. Se guardi solo davanti a te, vedi il traffico che arriva. Ma se guardi solo dietro, perdi di vista i pericoli che ti stanno affiancando. Il problema è che la maggior parte delle telecamere sono come gli occhi umani: vedono solo una piccola parte del mondo alla volta.

Gli autori di questo studio hanno avuto un'idea geniale: usare una telecamera "a 360 gradi" (panoramica) montata sull'elmetto del ciclista. È come se il ciclista avesse degli occhi magici che vedono tutto intorno: davanti, dietro e ai lati, tutto in una volta sola.

Tuttavia, c'è un grosso "ma".

Il Problema: La Mappa Storta

Quando trasformi un mondo sferico (il 360 gradi) in un rettangolo piatto (lo schermo del computer), succede qualcosa di strano, proprio come quando provi a stendere una buccia d'arancia su un tavolo: si deforma.

• Le cose vicine alla telecamera sembrano enormi e allungate.
• Le cose lontane diventano minuscole.
• E la cosa più strana: il bordo sinistro e il bordo destro dell'immagine sono in realtà collegati! Se un'auto esce dallo schermo a destra, riappare subito a sinistra.

I computer, abituati a vedere foto normali, vanno in confusione con queste immagini "storte" e "collegate". Non riescono a contare bene le auto o a capire se un'auto sta sorpassando il ciclista.

La Soluzione: Il Metodo dei "Quattro Angoli"

Gli scienziati hanno creato un sistema in tre passaggi per insegnare al computer a capire questo mondo distorto. Ecco come funziona, usando delle analogie:

1. Tagliare la Pizza (Rilevamento degli Oggetti)

Invece di cercare di capire l'intera immagine panoramica distorta in un colpo solo, il sistema la taglia in quattro fette (come una pizza).

• Ogni fetta viene "raddrizzata" per sembrare una foto normale.
• Il computer analizza ogni fetta separatamente, dove le distorsioni sono minime e le auto sono facili da riconoscere.
• Infine, ricompone le fette. Se un'auto è tagliata in due (una parte nella fetta sinistra, una nella destra), il sistema le incolla di nuovo insieme. È come se avessi un puzzle e dovessi assicurarti che i pezzi si uniscano perfettamente.

2. Dare un Nome e un Indirizzo (Inseguimento degli Oggetti)

Una volta che il computer ha visto le auto, deve seguirle mentre si muovono. Immagina di dover seguire un amico in una folla:

• Il problema dei nomi: A volte il computer confonde un'auto con un camion o un autobus. Gli scienziati hanno insegnato al sistema a non mischiare i nomi: se è un'auto, non la confonderà mai con un autobus.
• Il problema del teletrasporto: Quando un'auto attraversa il bordo dell'immagine (esce a destra e rientra a sinistra), il computer potrebbe pensare che sia un'auto nuova. Gli scienziati hanno insegnato al sistema a capire che è la stessa auto, anche se fa un "teletrasporto" attraverso i bordi.

3. Il Detective del Sorpasso (Rilevamento del Pericolo)

L'obiettivo finale è capire quando un'auto sta sorpassando il ciclista in modo pericoloso.
Il sistema diventa un detective:

• Guarda da dove viene l'auto (dietro).
• Guarda dove va (davanti).
• Se l'auto passa completamente dal lato del ciclista, il sistema registra: "Attenzione! Sorpasso rilevato!".

I Risultati: Perché è Importante?

Hanno testato questo sistema su video reali di ciclisti a Londra. I risultati sono stati ottimi:

• Il sistema ha fatto meno errori nel contare le auto rispetto ai metodi precedenti.
• Ha confuso meno spesso le identità delle auto (non pensava che un'auto fosse un'altra).
• È riuscito a rilevare i sorpassi con un'accuratezza molto alta (circa l'82%), anche se ha ancora qualche difficoltà di notte con le auto nere (che si mimetizzano) o con gli autobus molto grandi.

In Conclusione

Questo studio è come dare al ciclista un superpotere: la capacità di vedere tutto intorno e di avere un assistente digitale che grida "Attenzione!" ogni volta che un'auto si avvicina troppo o lo sorpassa pericolosamente.

Non serve solo per salvare la vita dei ciclisti, ma per creare città più sicure. Se sappiamo esattamente dove e quando avvengono i quasi-incidenti, possiamo disegnare meglio le strade, mettere più protezioni e rendere la città un posto dove tutti possono pedalare senza paura.

Sommario tecnico

Titolo: Rilevamento e Tracciamento Multi-Oggetto in Video Panoramici per l'Analisi della Sicurezza Ciclistica

1. Il Problema

I ciclisti affrontano un rischio di infortunio sproporzionato, ma i dati sugli incidenti stradali tradizionali sono troppo scarsi per identificare fattori di rischio a scale spaziali e temporali fini. Gli studi naturalistici che utilizzano dati video offrono una soluzione promettente, in particolare l'uso di video panoramici (360°) che catturano l'ambiente completo attorno al ciclista. Tuttavia, l'applicazione di modelli di visione artificiale (Computer Vision - CV) esistenti a questi video presenta sfide critiche:

• Distorsione: La proiezione equirettangolare dei video 360° distorce gravemente gli oggetti vicini alla telecamera e riduce le dimensioni di quelli lontani.
• Continuità dei bordi: I contenuti ai bordi sinistro e destro dell'immagine sono continui (un oggetto può attraversare il confine), cosa che i modelli standard non gestiscono correttamente.
• Mancanza di dati annotati: Esistono pochi dataset panoramici annotati rispetto a quelli per immagini tradizionali.
• Limiti dei modelli esistenti: I modelli pre-addestrati su immagini standard (FOV limitato) perdono accuratezza se applicati direttamente a video panoramici, portando a errori nel rilevamento e nel tracciamento (es. switching di ID).

2. Metodologia

Il paper propone un framework innovativo in tre fasi per adattare i modelli di deep learning pre-addestrati ai video panoramici:

Fase 1: Miglioramento del Rilevamento di Oggetti (Object Detection)
Per mitigare le distorsioni della proiezione equirettangolare, il metodo divide l'immagine 360° originale in 4 sottorettangoli con proiezione prospettica (sovrapponendoli di 30° per garantire la copertura completa).

• Proiezione: Le immagini equirettangolari vengono proiettate in 4 viste prospettiche.
• Rilevamento: Un modello YOLO12 (pre-addestrato su COCO) viene eseguito su ciascuna sottorettangolo.
• Re-proiezione e Fusione: I riquadri di delimitazione (bounding boxes) rilevati vengono re-proiettati sull'immagine originale. Un algoritmo specifico fonde i riquadri di oggetti lunghi che attraversano i confini delle sottorettangoli, calcolando un punteggio medio ponderato per l'area.

Fase 2: Miglioramento del Tracciamento Multi-Oggetto (MOT)
Il framework utilizza StrongSORT come modello di tracciamento, introducendo due modifiche chiave per gestire le specificità panoramiche:

• Supporto per la Continuità dei Bordi: Per evitare che gli oggetti che attraversano i bordi dell'immagine (es. da destra a sinistra) perdano l'ID o vengano tracciati come due entità separate, il sistema duplica virtualmente le rilevazioni ai bordi opposti e calcola le distanze (Mahalanobis e IoU) su tutte le possibili posizioni, selezionando la distanza minima.
• Integrazione delle Informazioni di Categoria: A differenza dei tracker standard che trattano tutte le categorie allo stesso modo, questo metodo filtra le associazioni basandosi sulla categoria dell'oggetto (es. auto, bici, pedone). Vengono assegnati pesi infiniti alle associazioni tra categorie non compatibili o non adiacenti, riducendo gli errori di matching.

Fase 3: Rilevamento Automatico del Sorpasso
Un'applicazione a valle utilizza i risultati del tracciamento per rilevare i sorpassi dei veicoli.

• Riconoscimento della direzione: Analizza il movimento relativo degli oggetti rispetto al centro dell'immagine (avanti/indietro) su una finestra temporale di 5 frame.
• Logica di Sorpasso: Definisce un sorpasso come il passaggio completo di un veicolo motorizzato (che si muove in avanti) attraverso una linea di longitudine specifica (-90° o 90°) rispetto al ciclista. Il sistema distingue tra sorpassi "confermati" (completati) e "non confermati" (in corso).

3. Contributi Chiave

• Framework di Adattamento: Sviluppo di una pipeline end-to-end che permette di utilizzare modelli pre-addestrati su dataset standard (COCO) per video panoramici 360° senza necessità di ri-addestramento massiccio da zero.
• Gestione della Continuità: Introduzione di un metodo efficace per gestire la continuità dei bordi e gli oggetti lunghi che attraversano i confini, mantenendo la coerenza degli ID (ID consistency) e rispettando gli standard di annotazione MOT.
• Filtraggio per Categoria: Integrazione delle informazioni di categoria nel processo di associazione dei dati (data association) per ridurre drasticamente i falsi positivi nel tracciamento.
• Validazione Reale: Applicazione e validazione del metodo su dati reali raccolti a Londra, dimostrando l'efficacia nel rilevamento automatico dei sorpassi, un indicatore critico di rischio per i ciclisti.

4. Risultati Sperimentali

I test sono stati condotti su video raccolti a Londra con telecamere GoPro Max, utilizzando un dataset annotato e un set di validazione di 100 clip (50 con sorpasso, 50 senza).

• Rilevamento Oggetti: Il metodo proposto ha mostrato un miglioramento dell'accuratezza media (mAP) rispetto ai modelli originali, specialmente per oggetti di piccole e medie dimensioni. L'uso della fusione dei riquadri ha mitigato la perdita di precisione per gli oggetti medi.
• Tracciamento (MOT):
  • L'introduzione del supporto per la continuità dei bordi e delle categorie ha ridotto i falsi positivi del 33,5% (da 818 a 544).
  • Gli switch di ID (ID switches) sono diminuiti del 10,9% (da 101 a 90).
  • Il punteggio IDF1 è migliorato fino al 50,0%, raggiungendo prestazioni comparabili ai modelli originali su video tradizionali.
• Rilevamento Sorpasso: Il sistema ha raggiunto un F-score di 0,82 (Precisione: 83,3%, Recall: 80,0%).
  • Errori: I falsi positivi sono principalmente dovuti al ciclista che guarda indietro (cambiamento di orientamento della telecamera) o a veicoli scuri di notte. I falsi negativi sono spesso legati a veicoli neri di notte o autobus con riquadri di delimitazione instabili.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo per la sicurezza ciclistica basata sui dati:

• Scalabilità: Permette di analizzare grandi quantità di dati video "naturalistici" (raccolti da ciclisti comuni) per identificare eventi di quasi-incidente (near-miss) che non vengono registrati nelle statistiche ufficiali.
• Politiche e Infrastrutture: Fornisce evidenze granulari su dove e quando avvengono i sorpassi pericolosi, supportando la progettazione di infrastrutture più sicure (es. corsie, buffer) e l'implementazione di politiche come il "Close Pass".
• Applicazioni in Tempo Reale: La metodologia, sebbene attualmente validata offline, ha il potenziale per essere implementata su dispositivi edge per fornire avvisi in tempo reale ai ciclisti (es. allerta di un veicolo in avvicinamento) o feedback post-passeggiata.
• Superamento dei Limiti: Dimostra come combinare tecniche di proiezione geometrica e logica di tracciamento avanzata possa superare le limitazioni fisiche delle telecamere panoramiche, aprendo la strada a un monitoraggio più completo dell'ambiente stradale.