Metadata-Aware Multi-Prompt Reasoning for Zero-Shot Accident Understanding

Resumo Técnico: Raciocínio de Múltiplos Prompts Sensível a Metadados para Compreensão de Acidentes Zero-Shot

Definição do Problema
O artigo aborda o desafio da compreensão de acidentes zero-shot em vídeos de vigilância. Diferente da detecção de eventos padrão, esta tarefa exige que um modelo identifique simultaneamente três componentes distintos sem acesso a dados de treinamento rotulados do mundo real:

1. Quando: A ocorrência temporal precisa do impacto.
2. O quê: A categoria específica do acidente (ex: colisão traseira, colisão lateral/T-bone, frontal).
3. Onde: As coordenadas espaciais do ponto físico de impacto dentro do quadro do vídeo.

Os autores observam que filmagens de CCTV do mundo real apresentam dificuldades significativas, incluindo durações de impacto curtas, categorias de acidentes visualmente semelhantes e a tendência de os modelos focarem em objetos proeminentes em vez da interação real entre os agentes rodoviários. Os Modelos de Visão-Linguagem (VLMs) existentes frequentemente lutam ao serem solicitados a resolver esta tarefa complexa e multifacetada através de uma única consulta de ponta a ponta, levando a previsões instáveis.

Metodologia
A solução proposta é um pipeline de três estágios que decompõe o problema em Quando, O quê e Onde, utilizando modelos de pesos abertos (open-weight) sem ajuste fino (fine-tuning).

1. Detecção Temporal (Quando):

   • Mecanismo: O sistema utiliza o Perception Encoder (PE) da Meta, um modelo de contraste visão-linguagem, para pontuar quadros amostrados (a 8 FPS) com base no seu alinhamento semântico com a consulta de texto "acidente de trânsito".
   • Processo: Os quadros são classificados por similaridade de cosseno. Os $K$ melhores quadros são selecionados, e uma janela temporal é definida expandindo os timestamps dos picos mais cedo e mais tardios por um deslocamento fixo ($\delta = 2$ segundos).
   • Saída: O tempo previsto do acidente é o ponto médio desta janela expandida.

2. Classificação de Múltiplos Prompts Sensível a Metadados (O quê):

   • Mecanismo: Um VLM generativo (Qwen-3.5-VL 9B) é consultado com cinco prompts complementares sobre os quadros-chave selecionados e metadados (layout da cena, clima, hora do dia).
   • Visões de Prompt: Os cinco prompts cobrem: (1) classificação direta de base, (2) análise de movimento, (3) raciocínio de contato geométrico, (4) eliminação contrastiva e (5) um desempate.
   • Adjudicação: As saídas são agregadas via um procedimento de votação sensível à incerteza. Se a distribuição de votos for ambígua (margem baixa ou entropia alta), o sistema escala para uma resolução de dois passos: um prompt de desempate estruturado seguido, se necessário, por uma adjudicação pareada focada condicionada à geometria do impacto.

3. Localização Espacial do Impacto (Onde):

   • Mecanismo: Um detector de vocabulário aberto (OWL-v2) é utilizado para localizar o impacto.
   • Condicionamento: Em vez de consultas genéricas, o detector é estimulado com frases condicionadas tanto ao tipo de acidente previsto (do Estágio 2) quanto ao layout da cena (via metadados). Por exemplo, "carro colidindo na traseira de outro carro em uma rodovia".
   • Agregação: As detecções através dos quadros-chave são agrupadas. O ponto de impacto final é calculado como o centroide ponderado pelo escore dos centros das caixas delimitadoras (bounding boxes) dos $K$ melhores, e a região de impacto é a união destas caixas. Esta agregação impõe consistência temporal, reduzindo o peso de falsos positivos transitórios.

Principais Contribuições

• Estrutura Decomposta: Um pipeline de três estágios "Quando-O quê-Onde" para compreensão de acidentes zero-shot de CCTV, onde cada estágio é independentemente atualizável.
• Raciocínio de Múltiplos Prompts: Um esquema de classificação de cinco prompts com adjudicação controlada por entropia que resolve votos ambíguos sem a necessidade de dados de calibração rotulados.
• Localização Condicionada ao Tipo: Uma estratégia que condiciona o detector espacial ao tipo de acidente previsto e ao contexto da cena, o que os autores argumentam mitigar o viés de primeiro plano (foreground bias) em modelos de apontamento existentes.
• Eficiência: O sistema opera em uma única GPU de 24 GB usando apenas modelos de pesos abertos e não requer ajuste fino.

Resultados
O método foi avaliado no benchmark ACCIDENT@CVPR 2026, que utiliza dados sintéticos do CARLA para desenvolvimento e clipes reais de CCTV de visão fixa para teste. A métrica de avaliação é a média harmônica da precisão temporal ($T$), precisão espacial ($S$) e precisão de classificação ($C$).

• Desempenho: O pipeline proposto alcançou uma Pontuação de Leaderboard Privado de 0.4015, superando significativamente as baselines baseadas em regras (Baseline A: 0.2734; Baseline B: 0.3188).
• Análise de Componentes:
  • Localização Espacial: Proporcionou o maior ganho de desempenho. O uso do OWL-v2 com condicionamento de tipo/cena melhorou a pontuação em 0.053 em relação a uma baseline de centro de quadro.
  • Detecção Temporal: A janela expandida por $\delta$ melhorou a pontuação em 0.039 em relação ao uso de um único quadro de maior similaridade.
  • Classificação: O ensemble de múltiplos prompts com adjudicação proporcionou uma melhoria consistente, embora menor (0.0054), em relação a uma configuração de prompt único.
• Análise de Erro: Os erros residuais foram atribuídos principalmente a colisões distantes onde o detector perdeu o impacto ou selecionou um veículo em primeiro plano, bem como condições adversas como chuva, noite ou oclusão.

Significância e Alegações
O artigo afirma que decompor a compreensão de vídeo zero-shot em localização temporal, classificação semântica e fundamentação espacial permite um raciocínio mais confiável com Modelos de Visão-Linguagem do que a estimulação direta de passo único. Os autores destacam que condicionar explicitamente o detector espacial ao tipo de acidente previsto reduz o viés de objeto em primeiro plano, um modo de falha comum em modelos de apontamento. O trabalho demonstra que um pipeline modular, focado em percepção, pode alcançar um desempenho zero-shot robusto em filmagens de vigilância desafiadoras sem a necessidade de ajuste fino específico de domínio.