UniTraffic-Agent: Unified Traffic Video Reasoning for AI City Challenge 2026 Track 3 with Two Out-of-Domain Evaluations

Imagine que você é um detetive tentando resolver um mistério, mas em vez de uma cena de crime, sua evidência é um vídeo caótico e movimentado de uma rua movimentada de uma cidade. Este é o mundo da compreensão de vídeos de tráfego, um campo onde os computadores tentam dar sentido ao que está acontecendo em nossas estradas. Por muito tempo, os computadores foram ótimos em detectar um único objeto, como um carro vermelho ou uma placa de pare, em uma foto estática. Mas a vida real não é uma foto; é um filme. Para entender um acidente de trânsito ou um quase acidente, um computador precisa fazer mais do que apenas "ver"; ele precisa assistir, pensar e conectar os pontos ao longo do tempo. Ele tem que descobrir quem fez o quê, por que fizeram e quando aconteceu. Isso é complicado porque os vídeos de tráfego são bagunçados: a câmera pode ter uma lente estranha do tipo olho de peixe, a ação pode acontecer em uma fração de segundo e o mesmo clipe pode precisar responder a muitas perguntas diferentes. O objetivo desta pesquisa é construir um sistema de computador que atue como um detetive superinteligente e paciente que nunca perde um detalhe, não importa como a câmera esteja configurada.

Conheça o UniTraffic-Agent, um novo detetive digital criado por uma equipe de pesquisadores para enfrentar o desafio de "Raciocínio de Anomalias de Tráfego". Pense neste agente como um investigador altamente organizado que não apenas olha para um vídeo e adivinha. Em vez disso, ele segue uma rotina rigorosa de quatro etapas: Observar, Raciocinar, Agir e Verificar.

Primeiro, na fase de Observação, o agente é inteligente na forma como observa o vídeo. Em vez de tentar processar cada um dos quadros (o que seria como ler cada palavra de um livro quando você só precisa do resumo do enredo), ele escolhe os momentos mais importantes. Se uma pergunta for sobre algo acontecendo em um momento específico, o agente dá um zoom nos segundos imediatamente antes e depois daquele momento, enquanto também captura alguns quadros do início e do fim para manter o panorama geral em mente. É como um detetive que sabe exatamente quais segundos de uma fita de segurança deve rebobinar para capturar a pista crucial.

Em seguida, vem o Raciocínio. É aqui que o agente brilha. Frequentemente, um único clipe de vídeo tem muitas perguntas anexadas a ele, como "Quem avançou o sinal?", "Qual era o clima?" e "Quanto tempo o carro esperou?". Sistemas antigos poderiam tentar responder a cada pergunta uma por uma, o que pode levar a contradições — como dizer que o carro era vermelho em uma resposta e azul em outra. O UniTraffic-Agent faz algo diferente: ele assiste ao clipe inteiro uma única vez, constrói uma história única e compartilhada sobre o que aconteceu e, então, usa essa mesma história para responder a todas as perguntas de uma só vez. Isso garante que a história do detetive seja consistente do início ao fim.

Então, a fase de Ação entra em cena. Diferentes tarefas exigem diferentes formatos. Uma tarefa pode precisar de um simples "Sim" ou "Não", enquanto outra pode precisar de um arquivo JSON detalhado com 13 campos diferentes descrevendo uma infração de trânsito. O agente usa "adaptadores" especiais — pense neles como tradutores ou metamorfos — para pegar sua história compartilhada e remodelá-la no formato exato exigido para cada trabalho específico.

Finalmente, a etapa de Verificação atua como um inspetor de controle de qualidade. Ela checa as respostas, garante que os nomes e tempos coincidam e, se algo parecer estranho, volta aos quadros de vídeo armazenados em cache para tentar novamente. Esse mecanismo de "tentar novamente" ajuda o agente a corrigir seus próprios erros sem precisar de ajuda humana.

Os pesquisadores testaram este agente em três tipos de vídeos de tráfego muito diferentes: filmagens de vigilância padrão, vídeos distorcidos de lente olho de peixe e vídeos de câmeras de painel (dashcams) de carros. Os resultados foram impressionantes. Na tarefa de olho de peixe, o agente ficou em 2º lugar entre todos os competidores e, na tarefa de intenção de pedestres, ficou em 4º lugar. Mesmo na principal tarefa, a mais difícil, ele ficou em 16º lugar. A equipe descobriu que, embora o agente fosse excelente em identificar os atores e o fluxo geral dos eventos, ele às vezes tinha dificuldade com descrições muito longas e detalhadas ou com a interpretação da geometria deformada das lentes olho de peixe. No entanto, o estudo sugere que, ao combinar observação inteligente com um processo de raciocínio unificado, podemos construir uma IA de tráfego que é muito mais confiável e consistente do que antes. O código para este "detetive" agora está aberto para que outros possam aprender e melhorar.