💻 computer science

Zero-Shot Traffic Accident Detection via a Coarse-to-Fine VLM-Tracking Pipeline

Este artigo apresenta um pipeline de grosso a fino livre de treinamento que combina um modelo de visão-linguagem Qwen3-VL-32B congelado com detecção e rastreamento de objetos para alcançar o estado da arte em detecção de acidentes de trânsito zero-shot em filmagens reais de CCTV, superando as linhas de base existentes em 22% sem exigir quaisquer dados de treinamento rotulados do mundo real.

Autores originais: Dipit Saha, Shah Mohammad Abdul Mannan, Mohammad Raihan Rashid, Ruwad Naswan, Ahnaf Tahmid

Publicado 2026-08-11

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Dipit Saha, Shah Mohammad Abdul Mannan, Mohammad Raihan Rashid, Ruwad Naswan, Ahnaf Tahmid

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um detetive tentando resolver um crime, mas a única evidência que possui é um vídeo de segurança granulado de 30 segundos de uma câmera de trânsito. O vídeo é embaçado, os carros são pequenos pontos e o acidente acontece num piscar de olhos. Agora, imagine que você tem que dizer a um computador exatamente quando o acidente aconteceu, onde na tela os carros colidiram e que tipo de acidente foi (como uma colisão frontal ou uma colisão lateral). O detalhe é que você não pode mostrar ao computador nenhum exemplo real de acidentes de carro para ensiná-lo: ele tem que descobrir tudo sozinho, usando apenas o que já "sabe" da vasta internet. Este é o desafio do Aprendizado Zero-Shot (Zero-Shot Learning): ensinar uma máquina a reconhecer uma situação nova sem um manual de instruções específico. No mundo da inteligência artificial, isso é como pedir a um aluno que passe em um exame final sobre uma matéria que ele nunca estudou, baseando-se apenas no seu senso comum geral.

Este artigo aborda exatamente esse problema para acidentes de trânsito. Os autores construíram um sistema inteligente de "duas passagens" que atua como um detetive com uma lupa e um cronômetro. Em vez de encarar o vídeo inteiro de uma vez e se confundir, o sistema primeiro faz uma varredura rápida e bruta para adivinhar quando o acidente provavelmente aconteceu. Depois, ele dá um zoom apenas naquele momento minúsculo, usando uma ferramenta separada para desenhar caixas ao redor dos carros e anotar suas posições exatas. Ele alimenta esse quadro superdetalhado e anotado a um cérebro de IA gigante (um Modelo de Visão-Linguagem) para obter a resposta final. O resultado? O sistema adivinhou o tempo, o lugar e o tipo de acidente melhor do que qualquer outro método publicado pelos organizadores da competição, sem nunca ter visto um único vídeo de acidente real durante seu "treinamento".

A Dança de Dois Passos do Detetive

A ideia central deste artigo é que olhar para um vídeo inteiro de uma só vez é uma estratégia ruim para encontrar acidentes. Acidentes são fugazes; eles podem durar apenas de 100 a 500 milissegundos (isso é menos de meio segundo!) dentro de um clipe de 30 segundos. Se você apenas mostrar a um computador alguns frames aleatórios, é como tentar encontrar um segundo específico em um filme folheando as páginas aleatoriamente — você provavelmente perderá a ação por completo. Eles chamam isso de "problema do frame de contato".

Para resolver isso, eles projetaram um Pipeline de Coarse-to-Fine (do Grosso para o Fino), que é basicamente uma investigação de dois passos.

Passo 1: A Varredura de Grande Angular (Passagem Grossa/Coarse)
Primeiro, o sistema dá uma olhada rápida e ampla em todo o vídeo. Ele captura 60 frames (imagens) espalhados ao longo dos 30 segundos inteiros. Ele pergunta a um modelo de IA poderoso (chamado Qwen3-VL-32B-Instruct) para adivinhar duas coisas: "Quando você acha que o acidente aconteceu?" e "Que tipo de acidente foi?".
Pense nisso como um detetive olhando para uma cena de crime do outro lado da rua. Ele não consegue ver os detalhes, mas pode dizer: "Oh, parece que um acidente de carro aconteceu por volta dos 15 segundos". Esse palpite não é perfeito, mas dá ao sistema um ponto de partida. Ele ancora a busca no tempo para que o próximo passo não tenha que adivinhar cegamente.

Passo 2: A Lupa (Passagem Fina/Fine)
Uma vez que o sistema tem uma estimativa de tempo aproximada (digamos, 15 segundos), ele não para por aí. Ele cria uma pequena "janela" de tempo ao redor desse palpite — especificamente, 2 segundos antes e 2 segundos depois do tempo estimado. Este é o momento crítico.
Dentro dessa janela de 4 segundos, o sistema muda para o modo de alta performance. Ele executa um detector de objetos superveloz (YOLO11x) e um rastreador (BoT-SORT) na velocidade total do vídeo. Essas ferramentas fazem duas coisas importantes:

Elas desenham caixas: Elas colocam um retângulo colorido ao redor de cada carro que veem.
Elas escrevem um relatório: Elas não apenas mostram a imagem; elas também escrem as coordenadas exatas dessas caixas como números (como "Carro 1 está na posição 0,49, 0,62").

Agora, o sistema mostra essa cena anotada e com zoom para o mesmo modelo de IA gigante. Mas desta vez, a IA não está apenas olhando para uma imagem borrada; ela está olhando para uma foto com uma descrição escrita de onde os carros estão. É como dar ao detetive uma foto com setas apontando para os suspeitos e uma nota dizendo: "O Suspeito A está parado aqui". Essa combinação de pistas visuais e numéricas ajuda a IA a localizar o momento exato do impacto e o local exato na tela.

Por Que Isso Importa e o Que Evita

O artigo argumenta explicitamente contra uma abordagem "direta", onde você simplesmente alimenta toda a IA com o vídeo de uma só vez. Os autores descobriram que, se fizerem isso, a IA se confunde. Ela tende a adivinhar que o acidente aconteceu bem no meio do vídeo (um "viés de meio de vídeo"), independentemente de quando ele realmente aconteceu. Ela também tem dificuldade em encontrar a localização exata porque os carros são tão pequenos e borrados nas filmagens de baixa resolução das câmeras de monitoramento (CCTV).

Ao rejeitar o método de "passo único", os autores provaram que decompor o problema funciona muito melhor. Eles também garantiram evitar uma armadilha comum na pesquisa de IA: o ajuste fino (fine-tuning). Normalmente, para tornar uma IA boa em uma tarefa específica, você a alimenta com milhares de exemplos rotulados dessa tarefa. Aqui, os autores não puderam usar nenhum vídeo de acidente do mundo real para treinamento. Eles tiveram que confiar inteiramente no conhecimento pré-existente da IA (zero-shot). Eles usaram um conjunto de dados sintético (acidentes gerados por computador de um jogo chamado CARLA) para ajudá-los a construir o sistema, mas o teste final foi feito em filmagens de CCTV reais e desordenadas, que a IA nunca tinha visto antes.

Os Resultados: Um Novo Recorde

Quando testaram seu sistema no desafio oficial, que incluía 2.027 clipes reais de CCTV, os resultados foram impressionantes. A competição utilizou um sistema de pontuação especial chamado "média harmônica", que é um pouco como um boletim escolar onde, se você falha em uma matéria (como adivinhar o tempo), sua nota inteira cai para zero.

O sistema dos autores alcançou uma pontuação de 0,504.
Isso superou a entrada anterior mais alta (que era uma mistura complexa de muitos modelos diferentes) por uma margem significativa. A pontuação anterior era de 0,412.
Para colocar em perspectiva, o método dos autores foi cerca de 22% melhor do que o próximo melhor competidor.

O sistema foi particularmente bom em adivinhar o tempo do acidente (pontuando 0,549) e o tipo de acidente (pontuando 0,503). Foi um pouco menos perfeito ao adivinhar a localização exata (pontuando 0,468), mas a melhoria geral foi suficiente para conquistar o primeiro lugar.

A "Rede de Segurança" e as Falhas

Os autores foram espertos o suficiente para perceber que a IA pode ser instável. Eles construíram várias "redes de segurança" para evitar que o sistema trave ou desista.

O Piso de Tempo: Se a IA adivinhasse que o acidente ocorreu no segundo 0 (o que geralmente é errado), o sistema a forçava a escolher um tempo ligeiramente posterior para evitar uma pontuação "zero".
O Plano de Contingência: Se o sistema recebesse dados demais e ficasse sem memória (um problema comum em grandes modelos de IA), ele tinha um plano de reserva para tentar novamente com menos frames.
O Guardião JSON: Às vezes, os modelos de IA ficam "conversadores" e escrevem texto extra em vez de apenas a resposta. O sistema foi programado para ignorar isso e procurar apenas pelo formato de resposta específico.

Mesmo com essas salvaguardas, o sistema não era perfeito. Os autores descobriram que, em vídeos muito escuros ou fortemente comprimidos, o sistema às vezes tinha dificuldade para ver os carros, levando-o a adivinhar o meio da tela. Eles também notaram que, para acidentes de "raspão" (onde os carros apenas se tocam levemente), o sistema às vezes perdia o contato sutil inicial e adivinhava um momento ligeiramente diferente. No entanto, estas foram as únicas falhas graves, e o sistema ainda assim superou tudo o mais.

A Conclusão

Este artigo mostra que você não precisa treinar uma IA com milhões de acidentes reais para torná-la um bom detetive de acidentes. Em vez disso, você pode dar a ela uma estratégia inteligente: uma varredura rápida para encontrar o "quando", seguida de um olhar detalhado e anotado para encontrar o "onde" e o "quê". Ao combinar um cérebro de IA poderoso com uma ferramenta de rastreamento rápida e precisa, os autores criaram um sistema capaz de entender acidentes de trânsito em tempo real, sem precisar de uma biblioteca de acidentes passados para aprender. É um lembrete de que, às vezes, a melhor maneira de resolver um problema difícil não é jogar mais dados sobre ele, mas sim pensar de forma mais inteligente sobre como você o observa.

Resumo Técnico: Detecção de Acidentes de Trânsito Zero-Shot via um Pipeline de Rastreamento VLM de Coarse-to-Fine

1. Definição do Problema

O artigo aborda o desafio de extrair registros estruturados de eventos a partir de filmagens brutas de vigilância de tráfego (CCTV). Especificamente, o sistema deve prever três componentes simultaneamente:

Localização Temporal ( $\hat{t}$ ): O momento exato da colisão.
Localização Espacial ( $\hat{x}, \hat{y}$ ): A localização de impacto normalizada dentro do quadro.
Classificação do Tipo de Colisão ( $\hat{c}$ ): O tipo de acidente (ex: frontal, colisão traseira, raspagem lateral, t-bone ou veículo único).

A avaliação é conduzida sob as restrições do benchmark ACCIDENT @ CVPR, que impõe uma configuração estrita de zero-shot: nenhum dado de treinamento do mundo real rotulado está disponível. Os sistemas devem generalizar de um conjunto de desenvolvimento baseado em CARLA sintético para 2.027 clipes de CCTV do mundo real. O desempenho é medido pela média harmônica (HM) das pontuações das três ramificações. Esta métrica é implacável; se qualquer ramificação falhar, a pontuação geral cai para zero.

Principais desafios identificados incluem:

Qualidade dos Dados: Baixa resolução, compressão pesada, filmagens noturnas e veículos ocupando apenas alguns pixels.
Esparsidade Temporal: Acidentes ocupam apenas 100–500ms dentro de um clipe de 30 segundos, tornando a amostragem uniforme propensa a perder o momento do contato.
Viés do Modelo: Modelos de Linguagem-Visão (VLMs) exibem um "viés de meio de vídeo", recorrendo ao ponto médio do clipe ( $\hat{t} \approx D/2$ ) sob incerteza.
Recuperação de Coordenadas: Pixels de baixa resolução tornam a recuperação precisa de coordenadas espaciais pouco confiável sem contexto adicional.

2. Metodologia

Os autores propõem um pipeline de duas passagens (coarse-to-fine) livre de treinamento que integra um VLM congelado com componentes tradicionais de visão computacional (detecção e rastreamento).

Arquitetura Central

O sistema utiliza um modelo Qwen3-VL-32B-Instruct congelado, pareado com YOLO11x para detecção de objetos e BoT-SORT para rastreamento multi-objeto. Nenhuma técnica de fine-tuning é realizada nos dados do mundo real.

Passagem 1: Localização Temporal Grossa (Coarse)

Entrada: O clipe de vídeo completo é amostrado de forma esparsa (até 60 quadros a 2 fps).
Processo: Os quadros são intercalados com tokens de timestamp (ex: <T.T segundos>) e enviados ao VLM.
Saída: O modelo retorna um objeto JSON contendo um tempo de acidente grosseiro ( $\hat{t}_c$ ) e uma dica de tipo de colisão ( $\hat{c}_c$ ).
Objetivo: Ancorar o momento da colisão no tempo, estreitando a janela de busca antes que o raciocínio espacial comece.

Passagem 2: Refinamento Espacial e Temporal Fino (Fine)

Definição de Janela: Uma janela estreita de 4 segundos ( $[\hat{t}_c - 2s, \hat{t}_c + 2s]$ ) é definida em torno da estimativa grosseira.
Rastreamento: YOLO11x e BoT-SORT rodam na taxa de quadros nativa do vídeo (não subsamplada) para manter identidades de veículos estáveis. Um limiar de confiança baixo (0.1) garante o rastreamento de veículos borrados ou ocluídos.
Anotação e Prompting:
- 24 quadros são amostrados uniformemente da janela rastreada.
- Os quadros são anotados com caixas delimitadoras (bounding boxes) e IDs de veículos usando um limiar de visualização de 0.3.
- Entrada de Visão Dupla: Cada quadro é apresentado ao VLM com duas formas de informação:
  1. Sobreposição Visual: A imagem com as caixas delimitadoras e rótulos desenhados (ex: [Car 1]).
  2. Texto Numérico Explícito: Texto de coordenada normalizada (ex: [Car 1: (0.491,0.620)-(0.589,0.694)]).
Saída: O modelo retorna um objeto JSON refinado com o tempo de acidente final, coordenadas centrais ( $\hat{x}, \hat{y}$ ) e o tipo de colisão.

Salvaguardas de Inferência

Para evitar falhas catastróficas que zerariam a média harmônica, o sistema emprega vários mecanismos de fallback:

Piso Temporal (Temporal Floor): Impede saídas degeneradas de tempo zero.
Retentativa YOLO / Fallback para Quadro Bruto: Se a detecção falhar (ex: em clipes noturnos/comprimidos), o sistema retorna aos quadros brutos para a passagem fina.
Retentativa de Janela Curta: Se o VLM ficar sem memória (OOM) na Passagem 2, ele tenta novamente com menos quadros e um contexto mais estreito.
Salvaguarda de JSON: Garante que saídas malformadas não causem o travamento da avaliação do clipe.

3. Principais Contribuições

Pipeline Zero-Shot Livre de Treinamento: Um método que alcança resultados de estado da arte em dados reais de CCTV sem qualquer treinamento rotulado do mundo real, dependendo apenas de um VLM congelado e detectores prontos para uso.
Estratégia Coarse-to-Fine: Uma abordagem de duas passagens inovadora que desacopla o ancoramento temporal do raciocínio espacial, mitigando efetivamente o "viés de meio de vídeo" e a dificuldade de encontrar eventos de colisão raros em clipes longos.
Prompting Visual-Numérico: A integração de texto de coordenada normalizada junto com sobreposições visuais de caixas delimitadoras fornece ao VLM tanto evidências semânticas quanto geométricas explícitas, melhorando significativamente a precisão da localização espacial em filmagens de baixa resolução.
Rastreamento de Identidade Estável: O uso de rastreamento na taxa de quadros nativa (BoT-SORT) garante IDs de veículos consistentes, evitando erros de troca de ID que degradam os prompts visuais em abordagens subsampadas.

4. Resultados

No conjunto de teste oficial de 2.027 clipes de CCTV real, o sistema alcançou o seguinte:

Pontuação de Média Harmônica (HM): 0.504 (Leaderboard privado: 0.503).
Comparação: Isso supera o melhor baseline publicado pelos organizadores (um ensemble multi-modelo) que pontuou 0.412, representando uma melhoria relativa de 22%.
Desempenho por Ramificação:
- Pontuação Temporal ( $T$ ): 0.549 (Ganho de +0.206 sobre o melhor baseline).
- Pontuação Espacial ( $S$ ): 0.468 (Regressão leve de -0.020, atribuída a falhas de rastreamento em casos específicos como veículos que entram tardiamente).
- Pontuação de Classificação ( $C$ ): 0.503 (Ganho de +0.070).

Os autores observam que a leve regressão na pontuação espacial é um compromisso aceito para ganhar melhorias significativas na precisão temporal e de classificação, que são mais difíceis de alcançar sem o pipeline proposto.

5. Significância e Alegações

O artigo afirma que sua principal significância reside em demonstrar que tarefas conjuntas complexas de predição em vídeos de vigilância podem ser resolvidas sem dados de treinamento do mundo real, aproveção dos amplos conhecimentos prévios de grandes VLMs, desde que guiados por um pipeline de inferência estruturado de múltiplos estágios.

Principais conclusões enfatizadas pelos autores:

Necessidade de Estrutura: Uma chamada única de VLM falha nos três eixos devido à esparsidade temporal e ambiguidade espacial. A estrutura coarse-to-fine é essencial.
Valor da Geometria Explícita: Fornecer o texto de coordenada normalizada junto com as sobreposições visuais é crítico para recuperar localizações precisas de pixels de baixa resolução.
Engenharia de Robustez: O sucesso do sistema deve-se em parte às salvaguardas de engenharia (fallbacks, mecanismos de retentativa) que evitam que falhas de ponto único invalidem a pontuação de todo o clipe.
Limitações: Os autores reconhecem o custo computacional (duas chamadas de VLM + detector/rastreador por clipe) e a natureza empírica de algumas escolhas de design devido à falta de rótulos de validação do mundo real. Eles sugerem que trabalhos futuros poderiam explorar pré-filtros temporais leves e detectores dedicados de veículo único para reduzir ainda mais modos de erro específicos (ex: classificações incorretas de t-bone).