UniTraffic-Agent: Unified Traffic Video Reasoning for AI City Challenge 2026 Track 3 with Two Out-of-Domain Evaluations

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstelle eines Tatorts ist Ihr Beweismittel ein chaotisches, bewegtes Video einer belebten Stadtstraße. Dies ist die Welt des Verstehens von Verkehrs-Videos, einem Bereich, in dem Computer versuchen, Sinn für das zu bekommen, was auf unseren Straßen geschieht. Lange Zeit waren Computer gut darin, ein einzelnes Objekt zu erkennen, wie etwa ein rotes Auto oder ein Stoppschild, in einem Standbild. Aber das echte Leben ist kein Foto; es ist ein Film. Um einen Verkehrsunfall oder eine Beinahe-Kollision zu verstehen, muss ein Computer mehr tun als nur zu „sehen“; er muss beobachten, nachdenken und die Punkte verbinden über die Zeit hinweg. Er muss herausfinden, wer was getan hat, warum er es getan hat und wann es passiert ist. Das ist schwierig, weil Verkehrs-Videos unordentlich sind: Die Kamera könnte ein seltsames Fischaugenobjektiv haben, die Aktion könnte in einem Sekundenbruchteil stattfinden, und derselbe Clip muss möglicherweise viele verschiedene Fragen beantworten. Das Ziel dieser Forschung ist es, ein Computersystem zu bauen, das wie ein superintelligenter, geduldiger Detektiv agiert, der kein Detail übersieht, egal wie die Kamera eingestellt ist.

Hier kommt UniTraffic-Agent ins Spiel, ein neuer digitaler Detektiv, der von einem Forscherteam entwickelt wurde, um die Herausforderung des „Traffic Anomaly Reasoning“ anzugehen. Betrachten Sie diesen Agenten als einen hoch organisierten Ermittler, der ein Video nicht nur flüchtig betrachtet und dann rät. Stattdessen folgt er einer strengen vierstufigen Routine: Beobachten, Schlussfolgern, Handeln und Verifizieren.

Zuerst, in der Beobachtungsphase, ist der Agent klug darin, wie er das Video betrachtet. Anstatt zu versuchen, jeden einzelnen Frame zu verarbeiten (was so wäre, als würde man jedes Wort eines Buches lesen, wenn man nur die Zusammenfassung der Handlung braucht), wählt er die wichtigsten Momente aus. Wenn eine Frage nach etwas fragt, das zu einem bestimmten Zeitpunkt geschah, zoomt der Agent in die Sekunden unmittelbar vor und nach diesem Moment hinein und greift gleichzeitig einige Frames vom Anfang und Ende ab, um das Gesamtbild im Blick zu behalten. Es ist wie ein Detektiv, der genau weiß, welche Sekunden einer Überwachungskassette er zurückspulen muss, um den entscheidenden Hinweis zu finden.

Als Nächstes kommt das Schlussfolgern. Hier glänzt der Agent. Oft ist mit einem einzigen Videoclip viele Fragen verbunden, wie zum Beispiel: „Wer hat über die Ampel gefahren?“, „Wie war das Wetter?“ und „Wie lange hat das Auto gewartet?“. Ältere Systeme könnten versuchen, jede Frage einzeln zu beantworten, was zu Widersprüchen führen kann – etwa wenn sie in einer Antwort sagen, das Auto sei rot gewesen, und in einer anderen blau. UniTraffic-Agent macht etwas anderes: Er sieht sich den gesamten Clip einmal an, baut eine einzige, gemeinsame Geschichte darüber auf, was passiert ist, und nutzt diese dieselbe Geschichte, um alle Fragen auf einmal zu beantworten. Dies stellt sicher, dass die Geschichte des Detektivs von Anfang bis Ende konsistent ist.

Dann setzt die Handlungsphase ein. Unterschiedliche Aufgaben erfordern unterschiedliche Formate. Eine Aufgabe erfordert vielleicht ein einfaches „Ja“ oder „Nein“, während eine andere eine detaillierte JSON-Datei mit 13 verschiedenen Feldern benötigt, die einen Verkehrsverstoß beschreiben. Der Agent verwendet spezielle „Adapter“ – denken Sie an Übersetzer oder Gestaltwandler – um seine gemeinsame Geschichte zu nehmen und sie in das exakt erforderliche Format für die jeweilige Aufgabe umzuformen.

Schließlich fungiert der Schritt der Verifizierung als Qualitätskontrollinspektor. Er überprüft die Antworten, stellt sicher, dass Namen und Zeiten übereinstimmen, und wenn etwas merkwürdig aussieht, geht er zurück zu den zwischengespeicherten Videoframes, um es erneut zu versuchen. Dieser „Retry“-Mechanismus hilft dem Agenten, seine eigenen Fehler zu korrigieren, ohne dass er menschliche Hilfe benötigt.

Die Forscher testeten diesen Agenten auf drei sehr unterschiedlichen Arten von Verkehrs-Videos: Standard-Überwachungsaufnahmen, verzerrte Fischaugen-Videos und Dashcam-Videos von Autos. Die Ergebnisse waren beeindruckend. Bei der Fischaugen-Aufgabe belegte der Agent den 2. Platz unter allen Wettbewerbern, und bei der Aufgabe zur Absicht von Fußgängern belegte er den 4. Platz. Selbst bei der Hauptaufgabe, der schwierigsten, landete er auf dem 16. Platz. Das Team stellte fest, dass der Agent zwar exzellent darin war, die Akteure und den allgemeinen Ablauf der Ereignisse zu erfassen, aber manchmal Schwierigkeiten mit sehr langen, detaillierten Beschreibungen oder mit der Interpretation der verzerrten Geometrie von Fischaugenlinsen hatte. Die Studie legt jedoch nahe, dass wir durch die Kombination von kluger Beobachtung mit einem vereinheitlichten Schlussfolgerungsprozess eine Verkehrs-KI bauen können, die viel zuverlässiger und konsistenter als bisher ist. Der Code für diesen „Detektiv“ steht nun anderen zur Verfügung, um daraus zu lernen und ihn zu verbessern.