A Modular Zero-Shot Pipeline for Accident Detection, Localization, and Classification in Traffic Surveillance Video

Resumo Técnico: Pipeline Zero-Shot para Detecção de Acidentes de Trânsito

1. Problema e Contexto

O artigo aborda o desafio do ACCIDENT @ CVPR 2026, que exige a análise automática de vídeos de vigilância de trânsito para prever três elementos críticos de um acidente:

1. Quando: O momento exato do acidente (em segundos).
2. Onde: As coordenadas normalizadas do ponto de impacto.
3. O Que: O tipo de colisão (frente, traseira, lateral, único veículo ou T-bone).

O Desafio Principal: O método deve operar em um cenário Zero-Shot, ou seja, sem dados reais rotulados para treinamento. Os participantes têm acesso apenas a vídeos sintéticos gerados pelo simulador CARLA para desenvolvimento, enquanto o conjunto de teste consiste em gravações reais de câmeras de CCTV (com variações de iluminação, resolução e oclusão). A maioria dos métodos atuais depende de treinamento supervisionado em dados do mesmo ambiente de implantação, o que limita sua generalização.

2. Metodologia

A solução proposta é um pipeline modular e independente, dividido em três estágios distintos. Nenhuma sintonização fina (fine-tuning) de domínio é realizada; o sistema utiliza apenas pesos de modelos pré-treinados.

• Módulo 1: Detecção Temporal (Localização no Tempo)

  • Abordagem: Detecção de anomalias estatísticas baseada em processamento de sinal clássico.
  • Processo:
    1. Calcula-se a diferença de intensidade média absoluta entre quadros consecutivos.
    2. Aplica-se uma média móvel rolante (janela de 5 quadros) para suavizar ruídos de fundo.
    3. Normaliza-se a série temporal usando escores Z (z-scores).
    4. Identifica-se picos que excedem um limiar ($\tau = 1.5$). O quadro com a maior pontuação de anomalia é selecionado como o momento do acidente.
  • Vantagem: Não requer aprendizado de máquina profundo, sendo robusto a variações de movimento gradual.

• Módulo 2: Localização Espacial (Ponto de Impacto)

  • Abordagem: Análise de fluxo óptico denso.
  • Processo:
    1. Define-se uma janela temporal de 30 quadros centrada no pico detectado.
    2. Calcula-se o Fluxo Óptico Denso usando o algoritmo Farneback para estimar o deslocamento de pixels.
    3. Soma-se a magnitude do fluxo óptico ao longo da janela.
    4. Aplica-se um limiar de percentil (90º) para suprimir movimentos de fundo difusos, mantendo apenas o cluster de alta magnitude.
    5. Calcula-se o centroide ponderado do mapa de magnitude resultante para determinar as coordenadas de impacto $(c_x, c_y)$.

• Módulo 3: Classificação de Tipo de Colisão

  • Abordagem: Aprendizado Visão-Linguagem Zero-Shot com o modelo CLIP (Contrastive Language-Image Pre-training).
  • Processo:
    1. Extrai-se 8 quadros próximos ao pico de detecção temporal.
    2. Gera-se embeddings de imagem usando o codificador visual do CLIP (ViT-B/32).
    3. Para cada uma das 5 classes de acidente, criam-se 5 prompts de linguagem natural (ex: "dois carros colidindo de frente").
    4. Gera-se embeddings de texto para esses prompts, normaliza-se e faz-se a média.
    5. A classe é selecionada com base na similaridade de cosseno máxima entre o embedding da imagem e os embeddings de texto.

3. Contribuições Chave

• Arquitetura Modular Zero-Shot: Demonstra que é possível resolver um problema complexo de vídeo sem dados reais rotulados, separando a detecção, localização e classificação em módulos independentes que podem ser otimizados separadamente.
• Uso de Processamento de Sinal Clássico: A integração de detecção de picos estatísticos e fluxo óptico tradicional (Farneback) para tarefas de detecção e localização, evitando a dependência de redes neurais profundas para essas etapas específicas.
• Aplicação de CLIP em Vigilância: Adaptação do modelo CLIP para classificar acidentes em vídeos de CCTV, utilizando ensembles de prompts para mitigar a ambiguidade semântica, apesar da lacuna de domínio entre imagens da internet e vídeos de vigilância.
• Reprodutibilidade: O código completo está disponível publicamente como um notebook no Kaggle.

4. Resultados e Análise

• Desempenho: O pipeline alcançou uma pontuação de 0.2523 no leaderboard público do conjunto de teste real.
• Desempenho por Componente (em subconjunto de calibração):
  • Temporal: Bom desempenho (média de 0.438, pico de 0.94), indicando que a detecção de picos funciona bem.
  • Espacial: Desempenho moderado (média de 0.168, pico de 0.96), mas sensível a múltiplos veículos em movimento simultâneo.
  • Classificação: Desempenho nulo (0.0) no conjunto de calibração. O modelo CLIP falhou consistentemente ao classificar colisões "frente a frente" como "T-bone".
• Análise de Erros:
  1. Temporal: Ruídos de fundo (vegetação balançando, sombras de nuvens) podem gerar falsos positivos de picos.
  2. Espacial: O centroide se desloca quando múltiplos veículos se movem, diluindo o foco do impacto.
  3. Classificação (Principal Gargalo): O CLIP foi treinado em fotos de nível dos olhos da internet, enquanto as câmeras de CCTV são frequentemente aéreas ou oblíquas. Isso causa uma viés sistemático onde o modelo ignora a dinâmica da colisão e foca na geometria da cena, invertendo a distribuição de classes (ex: prevendo "sideswipe" em vez de "rear-end").

5. Significância e Conclusão

O trabalho valida a viabilidade de pipelines zero-shot para segurança viária, oferecendo uma solução rápida e de baixo custo que não depende de coleta massiva de dados reais rotulados. A modularidade da abordagem permite que futuros pesquisadores substituam componentes específicos (ex: trocar o fluxo óptico Farneback por RAFT ou ajustar o CLIP com dados sintéticos) sem reescrever todo o sistema.

Embora a classificação ainda seja o principal gargalo devido à lacuna de domínio entre dados sintéticos/reais e o treinamento do CLIP, o pipeline demonstra que a detecção temporal e espacial pode ser realizada com alta precisão usando técnicas de processamento de sinal tradicionais, estabelecendo uma base sólida para sistemas de alerta de emergência mais rápidos e acessíveis.