UniTraffic-Agent: Unified Traffic Video Reasoning for AI City Challenge 2026 Track 3 with Two Out-of-Domain Evaluations

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van een plaats delict, is je bewijsmateriaal een chaotische, bewegende video van een drukke stadsstraat. Dit is de wereld van verstaan van verkeersvideo's, een vakgebied waar computers proberen te begrijpen wat er op onze wegen gebeurt. Lange tijd waren computers goed in het opsporen van een enkel object, zoals een rode auto of een stopbord, in een stilstaande foto. Maar het echte leven is geen foto; het is een film. Om een verkeersongeval of een bijna-botsing te begrijpen, moet een computer meer doen dan alleen "zien"; het moet kijken, nadenken en de verbanden leggen over een bepaalde tijd heen. Het moet uitzoeken wie wat deed, waarom ze het deden, en wanneer het gebeurde. Dit is lastig omdat verkeersvideo's rommelig zijn: de camera kan een vreemde fish-eye-lens hebben, de actie kan zich in een fractie van een seconde afspelen, en dezelfde clip kan veel verschillende vragen moeten beantwoorden. Het doel van dit onderzoek is om een computersysteem te bouwen dat fungeert als een superintelligente, geduldige detective die geen enkel detail mist, ongeacht hoe de camera is ingesteld.

Maak kennis met UniTraffic-Agent, een nieuwe digitale detective die door een team van onderzoekers is gecreëerd om de "Traffic Anomaly Reasoning"-uitdaging aan te pakzen. Denk aan deze agent als een zeer georganiseerde rechercheur die niet alleen even naar een video kijkt en een gokje waagt. In plaats daarvan volgt het een strikt vierstappenplan: Observeren, Redeneren, Handelen en Verifiëren.

Eerst, in de Observeer-fase, is de agent slim in hoe hij naar de video kijkt. In plaats van te proberen elke enkele frame te verwerken (wat zou zijn alsof je elk woord van een boek leest wanneer je alleen de samenvatting nodig hebt), kiest hij de belangrijkste momenten. Als een vraag gaat over iets dat op een specifits tijdstip gebeurt, zoomt de agent in op de seconden vlak vóór en vlak na dat moment, terwijl hij ook een paar frames van het begin en het einde pakt om het grote plaatje in gedachten te houden. Het is als een detective die precies weet welke seconden van een beveiligingsband hij moet terugspoelen om de cruciale aanwijzing te vangen.

Vervolgens komt Redeneer. Hier blinkt de agent uit. Vaak heeft een enkele videoclip veel vragen eraan verbonden, zoals "Wie reed door rood?", "Wat was het weer?" en "Hoe lang wachtte de auto?". Oudere systemen proberen wellicht elke vraag één voor één te beantwoorden, wat kan leiden tot tegenstrijdigheden—zoals zeggen dat de auto rood was in het ene antwoord en blauw in het andere. UniTraffic-Agent doet iets anders: het bekijkt de hele clip één keer, bouwt één enkel, gedeeld verhaal over wat er is gebeurd, en gebruikt datzelfde verhaal vervolgens om alle vragen tegelijk te beantwoorden. Dit zorgt ervoor dat het verhaal van de detective van begin tot eind consistent is.

Dan komt de Handel-fase in actie. Verschillende taken vereisen verschillende formaten. De ene taak vereist misschien een simpel "Ja" of "Nee", terwijl een andere taak een gedetailleerd JSON-bestand vereist met 1 than 13 verschillende velden die een verkeersovertreding beschrijven. De agent gebruikt speciale "adapters"—denk aan vertalers of gedaanteverwisselaars—om zijn gedeelde verhaal te nemen en het in de exacte vorm te herschikken die voor elk specifieke werk vereist is.

Ten slotte fungeert de Verifieer-stap als een kwaliteitscontroleur. Het controleert de antwoorden, zorgt dat de namen en tijden overeenkomen, en als er iets vreemds lijkt te zijn, gaat het terug naar de gecachte videoframes om het opnieuw te proberen. Deze "retry"-mechanisme helpt de agent om zijn eigen fouten te herstellen zonder menselijke hulp nodig te hebben.

De onderzoekers hebben deze agent getest op drie zeer verschillende soorten verkeersvideo's: standaard camerabeelden, vervormde fish-eye-lenzen en dashcam-beelden van auto's. De resultaten waren indrukwekkend. Op de fish-eye-taak behaalde de agent de 2e plaats van alle concurrenten, en op de taak over voetgangersintenties behaalde het de 4e plaats. Zelfs op de hoofdtaak, de moeilijkste taak, eindigde het op de 16e plaats. Het team merkte op dat hoewel de agent uitstekend was in het opsporen van de actoren en de algemene loop van gebeurtenissen, het soms moeite had met de zeer lange, gedetailleerde beschrijvingen of met het interpreteren van de vervormde geometrie van fish-eye-lenzen. Echter, de studie suggereert dat door slim observeren te combineren met een verenigd redeneerproces, we een verkeers-AI kunnen bouwen die veel betrouwbaarder en consistenter is dan voorheen. De code voor deze "detective" staat nu open voor anderen om van te leren en te verbeteren.