UniTraffic-Agent: Unified Traffic Video Reasoning for AI City Challenge 2026 Track 3 with Two Out-of-Domain Evaluations

Imagina que eres un detective intentando resolver un misterio, pero en lugar de una escena del crimen, tu evidencia es un video caótico y en movimiento de una calle concurrida de la ciudad. Este es el mundo de la comprensión de videos de tráfico, un campo donde las computadoras intentan dar sentido a lo que está sucediendo en nuestras carreteras. Durante mucho tiempo, las computadoras fueron excelentes para detectar un solo objeto, como un auto rojo o una señal de alto, en una foto estática. Pero la vida real no es una foto; es una película. Para entender un accidente de tráfico o un casi accidente, una computadora necesita hacer más que solo "ver"; necesita observar, razonar y conectar los puntos a lo largo del tiempo. Tiene que descubrir quién hizo qué, por qué lo hizo y cuándo sucedió. Esto es complicado porque los videos de tráfico son desordenados: la cámara puede tener un lente de ojo de pez extraño, la acción puede ocurrir en una fracción de segundo y el mismo clip puede necesitar responder muchas preguntas diferentes. El objetivo de esta investigación es construir un sistema informático que actúe como un detective súper inteligente y paciente que nunca pierde un detalle, sin importar cómo esté configurada la cámara.

Presentamos UniTraffic-Agent, un nuevo detective digital creado por un equipo de investigadores para abordar el desafío de la "Razonamiento de Anomalías de Tráfico". Piensa en este agente como un investigador altamente organizado que no solo echa un vistazo a un video y adivina. En su lugar, sigue una rutina estricta de cuatro pasos: Observar, Razonar, Actuar y Verificar.

Primero, en la fase de Observar, el agente es inteligente en la forma en que mira el video. En lugar de intentar procesar cada fotograma individual (lo que sería como leer cada palabra de un libro cuando solo necesitas el resumen de la trama), elige los momentos más importantes. Si una pregunta trata sobre algo que sucede en un momento específico, el agente hace zoom en los segundos justo antes y después de ese momento, mientras también captura algunos fotogramas del principio y del final para mantener la visión general. Es como un detective que sabe exactamente qué segundos de una cinta de seguridad debe rebobinar para atrapar la pista crucial.

Luego viene Razonar. Aquí es donde el agente brilla. A menudo, un solo clip de video tiene muchas preguntas adjuntas, como "¿Quién se pasó la luz?", "¿Cómo estaba el clima?" y "¿Cuánto tiempo esperó el auto?". Los sistemas antiguos podrían intentar responder cada pregunta una por una, lo que puede llevar a contradicciones, como decir que el auto era rojo en una respuesta y azul en otra. UniTraffic-Agent hace algo diferente: observa todo el clip una vez, construye una única historia compartida sobre lo que sucedió y luego utiliza esa misma historia para responder a todas las preguntas a la vez. Esto asegura que la historia del detective sea consistente de principio a fin.

Entonces entra en juego la fase de Actuar. Diferentes tareas requieren diferentes formatos. Una tarea puede necesitar un simple "Sí" o "No", mientras que otra requiere un archivo JSON detallado con 13 campos diferentes que describen una infracción de tráfico. El agente utiliza "adaptadores" especiales —piensa en ellos como traductores o cambiaformas— para tomar su historia compartida y remodelarla en el formato exacto requerido para cada trabajo específico.

Finalmente, el paso de Verificar actúa como un inspector de control de calidad. Verifica las respuestas, se asegura de que los nombres y los tiempos coincidan y, si algo parece extraño, regresa a los fotogramas de video almacenados en caché para intentarlo de nuevo. Este mecanismo de "reintento" ayuda al agente a corregir sus propios errores sin necesidad de ayuda humana.

Los investigadores probaron este agente en tres tipos de videos de tráfico muy diferentes: metraje de vigilancia estándar, videos con lentes de ojo de pez distorsionados y videos de cámaras de tablero (dashcam) de autos. Los resultados fueron impresionantes. En la tarea de ojo de pez, el agente ocupó el 2º lugar entre todos los competidores, y en la tarea de intención de peatones, ocupó el 4º lugar. Incluso en la tarea principal, la más difícil, se colocó en el 16º lugar. El equipo encontró que, si bien el agente era excelente detectando a los actores y el flujo general de los eventos, a veces tenía dificultades con las descripciones muy largas y detalladas o con la interpretación de la geometría deformada de las lentes de ojo de pez. Sin embargo, el estudio sugiere que al combinar una observación inteligente con un proceso de razonamiento unificado, podemos construir una IA de tráfico que sea mucho más confiable y consistente que antes. El código de este "detective" ahora está abierto para que otros aprendan de él y lo mejoren.