🤖 machine learning

A Modular Zero-Shot Pipeline for Accident Detection, Localization, and Classification in Traffic Surveillance Video

Il paper descrive una pipeline zero-shot modulare per la rilevazione, localizzazione e classificazione degli incidenti stradali in video di sorveglianza, che combina il rilevamento di picchi nelle differenze di frame, il calcolo del baricentro del flusso ottico denso e la classificazione tramite similarità coseno con CLIP, senza richiedere dati di addestramento etichettati.

Autori originali: Amey Thakur, Sarvesh Talele

Pubblicato 2026-04-14

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Amey Thakur, Sarvesh Talele

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una telecamera di sicurezza che registra il traffico 24 ore su 24. Il tuo compito è guardare ore e ore di filmati e dire: "Ehi, guarda! Proprio ora, in quel punto esatto, è successo un incidente! E guarda che tipo di incidente è: due auto che si scontrano di fronte, una che ne colpisce un'altra da dietro, o un'auto che sbatte contro un muro?".

Il problema è che non hai mai visto un incidente vero e proprio in vita tua (non hai "studiato" su video reali), e non puoi nemmeno fermare la telecamera per guardare ogni singolo secondo. È come cercare un ago in un pagliaio, ma l'ago si muove e il pagliaio è enorme.

Gli autori di questo articolo (Amey e Sarvesh) hanno creato un sistema automatico "zero-shot". "Zero-shot" significa che il sistema non ha bisogno di imparare guardando migliaia di video di incidenti reali. È come un detective che arriva in un luogo sconosciuto e, basandosi solo sulla sua logica e su ciò che sa del mondo, riesce a capire cosa sta succedendo senza aver mai visto quel posto prima.

Hanno diviso il lavoro in tre detective separati, ognuno specializzato in un compito diverso:

1. Il Detective del Tempo (Quando?)

Immagina di guardare un video e di notare che, di solito, le cose si muovono in modo fluido. Poi, all'improvviso, c'è un "salto" o un "scatto" violento.

Come funziona: Questo modulo guarda le differenze tra un fotogramma e l'altro. Se due immagini sono quasi uguali, è tutto tranquillo. Se c'è un cambiamento improvviso e violento (come un impatto), il sistema lo rileva come un "picco" statistico.
L'analogia: È come ascoltare una canzone in sottofondo. Finché la musica è regolare, tutto bene. Ma se all'improvviso senti un vetro andare in frantumi, il tuo orecchio (o il computer) si ferma e dice: "Ehi! È successo qualcosa proprio in quel secondo!". Il sistema usa un trucco matematico (lo "z-score") per distinguere il rumore di fondo (come le nuvole che passano) dal vero "botto".

2. Il Detective dello Spazio (Dove?)

Una volta capito quando è successo, dobbiamo capire dove.

Come funziona: Il sistema guarda il movimento delle cose in quel preciso momento. Quando due auto si scontrano, c'è un caos di movimento concentrato in un punto piccolo. Il sistema calcola la "media" di tutto quel movimento caotico per trovare il centro esatto dell'impatto.
L'analogia: Immagina di essere in una stanza piena di gente che cammina. Se tutti si muovono lentamente, è difficile dire dove sta succedendo qualcosa di importante. Ma se due persone si scontrano, c'è un piccolo gruppo di persone che si agita violentemente in un punto preciso. Questo modulo è come un laser che punta proprio nel mezzo di quel gruppo agitato, ignorando chi sta camminando tranquillamente altrove.

3. Il Detective del Tipo (Che cosa è successo?)

Ora sappiamo quando e dove, ma dobbiamo capire il tipo di incidente: è un tamponamento? Uno scontro frontale?

Come funziona: Qui usano un'intelligenza artificiale molto famosa chiamata CLIP. CLIP è come un bambino prodigio che ha letto milioni di libri e ha visto milioni di foto su internet. Sa collegare le immagini alle parole.
L'analogia: Il sistema prende un fotogramma dell'incidente e chiede a CLIP: "Guarda questa foto. Assomiglia più a 'due auto che si scontrano di fronte' o a 'un'auto che sbatte contro un muro'?". CLIP confronta l'immagine con delle descrizioni testuali che gli autori hanno scritto (come "un'auto che colpisce la parte posteriore di un'altra"). Sceglie la descrizione che "suona" più simile all'immagine. Non ha bisogno di essere stato addestrato specificamente per questo; usa la sua conoscenza generale del mondo.

Il Risultato e i Problemi

Il sistema funziona abbastanza bene per trovare il momento e il luogo dell'incidente, ma ha un punto debole: la classificazione.

Il problema: CLIP è stato addestrato su foto prese da internet (spesso a livello degli occhi delle persone). Le telecamere di sicurezza, però, sono spesso in alto, dall'alto (come un drone). È come se CLIP avesse sempre visto gli incidenti guardandoli da un bar, e ora deve guardarli da un palazzo. Si confonde un po' e a volte dice che è un tamponamento quando in realtà è uno scontro laterale.
Il punteggio: Il sistema ha ottenuto un punteggio di circa 0.25 su una scala complessa. Non è perfetto, ma è impressionante perché non ha mai visto un video reale di un incidente prima di questo test. Ha imparato tutto da zero, usando solo la logica e la conoscenza generale.

In sintesi

Hanno creato una macchina intelligente che:

Ascolta il video per sentire il "botto" (Tempo).
Guarda dove c'è il caos di movimento (Spazio).
Chiede a un esperto virtuale (CLIP) cosa sta succedendo basandosi su foto che ha visto su internet (Tipo).

È un approccio modulare: se un giorno si trova un modo migliore per fare il primo passo, si può cambiare solo quel pezzo senza dover ricostruire tutto il sistema. È un ottimo esempio di come l'intelligenza artificiale possa essere usata per salvare vite umane, anche senza avere dati perfetti a disposizione.

Titolo

Una Pipeline Zero-Shot Modulare per il Rilevamento, la Localizzazione e la Classificazione di Incidenti nel Video di Sorveglianza del Traffico

1. Problema e Contesto

Il paper affronta la sfida di analizzare automaticamente i video di sorveglianza del traffico per identificare incidenti stradali, determinando quando (tempo), dove (posizione) e che tipo di incidente si verifica.

Vincolo Critico: La sfida richiede un approccio zero-shot, ovvero senza l'uso di dati reali etichettati per l'addestramento. I partecipanti possono utilizzare solo video sintetici generati dal simulatore CARLA per lo sviluppo, mentre il set di test è composto da reali registrazioni CCTV.
Obiettivo: Prevedere tre valori per ogni video:
1. Il tempo dell'incidente in secondi ( $t^*$ ).
2. Le coordinate spaziali normalizzate del punto d'impatto ( $c^*_x, c^*_y$ ).
3. Il tipo di collisione tra cinque categorie: frontale, tamponamento, sfioramento laterale, veicolo singolo, e impatto laterale (T-bone).
Metrica di Valutazione: Il punteggio finale è la media armonica di tre componenti (temporale, spaziale e di classificazione). Un errore in una sola componente azzererebbe il punteggio totale, rendendo cruciale la precisione in tutte e tre le dimensioni.

2. Metodologia

La soluzione proposta è una pipeline modulare composta da tre fasi indipendenti, che non richiedono alcun fine-tuning su dati reali e utilizzano esclusivamente pesi di modelli pre-addestrati.

A. Rilevamento Temporale (Temporal Peak Detection)

Concetto: Gli incidenti producono cambiamenti improvvisi di intensità tra i fotogrammi consecutivi.
Algoritmo:
1. Si calcola la differenza assoluta media tra fotogrammi adiacenti ( $d_t$ ).
2. Viene applicata una media mobile centrata (finestra $w=5$ ) per ridurre il rumore.
3. I valori vengono normalizzati in z-score ( $z_t$ ) utilizzando la media e la deviazione standard dell'intera serie.
4. Si identifica un picco se lo z-score supera una soglia ( $\tau = 1.5$ ). Se nessun picco supera la soglia, si seleziona il massimo globale.
5. Il tempo dell'incidente è derivato dall'indice del fotogramma con il punteggio di anomalia più alto.

B. Localizzazione Spaziale (Spatial Impact Localization)

Concetto: L'impatto concentra un'alta magnitudine di movimento in una piccola regione dell'immagine.
Algoritmo:
1. Si definisce una finestra temporale di 30 fotogrammi centrata sul tempo rilevato ( $t^*$ ).
2. Si calcola il flusso ottico denso (dense optical flow) utilizzando l'algoritmo Farneback tra i fotogrammi consecutivi.
3. Si accumula la magnitudine del flusso ottico ( $M(u,v)$ ) su tutta la finestra.
4. Si applica una soglia al 90° percentile della magnitudine per sopprimere il movimento di fondo diffuso e mantenere solo i cluster ad alta intensità.
5. La posizione dell'impatto è calcolata come il baricentro pesato (weighted centroid) della mappa di magnitudine filtrata, normalizzato nelle coordinate $[0, 1]$ .

C. Classificazione del Tipo di Collisione

Concetto: Utilizzo di un modello visione-linguaggio pre-addestrato per riconoscere il tipo di incidente senza dati etichettati specifici.
Algoritmo:
1. Si utilizza il modello CLIP (Contrastive Language-Image Pre-training), specificamente la variante ViT-B/32.
2. Prompt Engineering: Per ogni classe di collisione, vengono creati 5 prompt testuali naturali (es. "due auto che si scontrano frontalmente"). Le embedding testuali di questi prompt vengono mediate per creare un vettore rappresentativo per classe.
3. Si estraggono 8 fotogrammi centrati sul tempo di picco rilevato e si generano le loro embedding visive tramite CLIP.
4. La classificazione avviene calcolando la similarità del coseno tra l'embedding media dell'immagine e le embedding testuali delle classi. La classe con la similarità più alta viene selezionata.

3. Risultati Sperimentali

Dataset: 2.211 video sintetici (CARLA) per lo sviluppo e 2.027 video reali CCTV per il test.
Punteggio: La pipeline ha ottenuto un punteggio di 0.2523 sulla leaderboard pubblica (testata su ~25% dei dati reali).
Analisi delle Componenti:
- Temporale: Buona accuratezza (punteggio medio 0.438 su un subset di calibrazione), capace di individuare il momento esatto dell'evento.
- Spaziale: Accuratezza moderata (0.168), influenzata dal movimento di fondo e dalla presenza di più veicoli.
- Classificazione: Punteggio nullo (0.0) sul subset di calibrazione. CLIP ha fallito nel distinguere le categorie reali, prediligendo erroneamente "sfioramento laterale" e "veicolo singolo" invece del "tamponamento" (che era la classe dominante nei dati sintetici).
Errori Principali:
1. Falsi positivi temporali causati da movimenti di fondo su larga scala (es. vegetazione che si muove).
2. Deriva del baricentro spaziale quando più veicoli si muovono simultaneamente.
3. Fallimento di CLIP dovuto al domain gap: CLIP è stato addestrato su foto prese a livello degli occhi, mentre le telecamere CCTV sono spesso in angolazione dall'alto o oblique, portando a una classificazione basata sulla geometria della scena piuttosto che sulla dinamica dell'urto.

4. Contributi Chiave

Approccio Zero-Shot Puro: Dimostrazione che è possibile costruire una pipeline di rilevamento incidenti completamente senza addestramento su dati reali, utilizzando solo tecniche di elaborazione del segnale classica e modelli foundation pre-addestrati.
Architettura Modulare: La separazione in tre moduli indipendenti permette di ottimizzare o sostituire singole parti (es. sostituire Farneback con RAFT per il flusso ottico, o fine-tunare CLIP) senza riprogettare l'intero sistema.
Analisi del Domain Gap: Il paper identifica chiaramente come la discrepanza tra dati sintetici/reali e la prospettiva delle telecamere CCTV sia il principale collo di bottiglia per la classificazione, suggerendo che la similarità visiva grezza di CLIP non è sufficiente per questo compito specifico senza adattamenti.

5. Significato e Conclusioni

Il lavoro offre una soluzione robusta e replicabile per la sicurezza stradale, capace di fornire allerte rapide e ricostruzioni oggettive senza la necessità costosa di raccogliere e annotare enormi dataset di incidenti reali. Sebbene la classificazione attuale sia limitata dal divario tra dominio sintetico/reale e la prospettiva delle telecamere, la pipeline dimostra che l'integrazione di metodi classici (flusso ottico, rilevamento picchi) con modelli foundation (CLIP) è una strategia promettente per l'analisi video in scenari con dati etichettati scarsi o assenti. Le future direzioni includono l'uso di stimatori di flusso ottico appresi (come RAFT) e il fine-tuning mirato di CLIP sui dati sintetici per colmare il gap visivo.