UniTraffic-Agent: Unified Traffic Video Reasoning for AI City Challenge 2026 Track 3 with Two Out-of-Domain Evaluations

Immagina di essere un detective che cerca di risolvere un mistero, ma invece di una scena del crimine, la tua prova è il video caotico e in movimento di una strada cittadina trafficata. Questo è il mondo della comprensione dei video del traffico, un campo in cui i computer cercano di dare un senso a ciò che accade sulle nostre strade. Per molto tempo, i computer sono stati bravi a individuare un singolo oggetto, come un'auto rossa o un segnale di stop, in una foto statica. Ma la vita reale non è una foto; è un film. Per comprendere un incidente stradale o un quasi-collisione, un computer deve fare di più che semplicemente "vedere"; deve guardare, pensare e mettere insieme i puntini nel tempo. Deve capire chi ha fatto cosa, perché l'ha fatto e quando è successo. Questo è complicato perché i video del traffico sono disordinati: la telecamera potrebbe avere un obiettivo grandangolare deformante (fish-eye), l'azione potrebbe accadere in una frazione di secondo e lo stesso filmato potrebbe dover rispondere a molte domande diverse. L'obiettivo di questa ricerca è costruire un sistema informatico che agisca come un detective super intelligente e paziente che non perde mai un dettaglio, indipendentemente da come sia impostata la telecamera.

Entra in scena UniTraffic-Agent, un nuovo detective digitale creato da un team di ricercatori per affrontare la sfida della "Traffic Anomaly Reasoning". Pensa a questo agente come a un investigatore altamente organizzato che non si limita a dare un'occhiata a un video per poi tirare a indovinare. Invece, segue una rigorosa routine in quattro fasi: Osserva, Ragiona, Agisci e Verifica.

Per prima cosa, nella fase di Osservazione, l'agente è intelligente nel modo in cui guarda il video. Invece di cercare di elaborare ogni singolo fotogramma (il che sarebbe come leggere ogni singola parola di un libro quando ti serve solo il riassunto della trama), seleziona i momenti più importanti. Se una domanda riguarda qualcosa che accade in un momento specifico, l'agente ingrandisce i secondi immediatamente precedenti e successivi a quel momento, prendendo anche alcuni fotogrammi dall'inizio e dalla fine per mantenere il quadro generale. È come un detective che sa esattamente quali secondi di una registrazione di sicurezza riavvolgere per catturare l'indizio cruciale.

Successivamente, avviene il Ragionamento. È qui che l'agente brilla. Spesso, un singolo clip video ha molte domande associate, come "Chi ha passato col rosso?", "Com'era il meteo?" e "Quanto tempo ha aspettato l'auto?". I sistemi più vecchi potrebbero cercare di rispondere a ciascuna domanda una alla volta, il che può portare a contraddizioni — come dire che l'auto era rossa in una risposta e blu in un'altra. UniTraffic-Agent fa qualcosa di diverso: guarda l'intero clip una volta sola, costruisce un'unica storia condivisa su ciò che è accaduto e poi usa quella stessa storia per rispondere a tutte le domande contemporaneamente. Questo assicura che la storia del detective sia coerente dall'inizio alla fine.

Poi entra in gioco la fase di Azione. Diversi compiti richiedono formati diversi. Un compito potrebbe richiedere un semplice "Sì" o "No", mentre un altro potrebbe richiedere un file JSON dettagliato con 13 campi diversi che descrivono una violazione del codice della strada. L'agente utilizza degli "adapter" speciali — pensa a loro come a traduttori o mutaforma — per prendere la sua storia condivisa e rimodellarla nel formato esatto richiesto per ogni specifico lavoro.

Infine, il passaggio di Verifica funge da ispettore del controllo qualità. Controlla due volte le risposte, si assicura che i nomi e i tempi corrispondano e, se qualcosa sembra strano, torna ai fotogrammi del video memorizzati nella cache per riprovare. Questo meccanismo di "riprova" aiuta l'agente a correggere i propri errori senza bisogno dell'aiuto umano.

I ricercatori hanno testato questo agente su tre tipi molto diversi di video del traffico: riprese di sorveglianza standard, video con obiettivo fish-eye distorto e video dashcam delle auto. I risultati sono stati impressionanti. Nel compito fish-eye, l'agente si è classificato al 2° posto tra tutti i concorrenti, e nel compito sulle intenzioni dei pedoni si è classificato al 4° posto. Anche nel compito principale, quello più difficile, si è piazzato al 16° posto. Il team ha scoperto che, sebbene l'agente fosse eccellente nell'individuare gli attori e il flusso generale degli eventi, a volte faticava con le descrizioni molto lunghe e dettagliate o nell'interpretare la geometria deformata delle lenti fish-eye. Tuttavia, lo studio suggerisce che combinando l'osservazione intelligente con un processo di ragionamento unificato, possiamo costruire un'IA del traffico che sia molto più affidabile e coerente rispetto al passato. Il codice di questo "detective" è ora aperto affinché altri possano imparare e migliorarlo.