Resumo Técnico: SENSE-VAD

Declaração do Problema

Os veículos autônomos (AVs) alcançaram progressos significativos na detecção de perigos cinemáticos (ex: saídas de faixa, obstáculos estacionários), mas permanecem estruturalmente cegos para uma classe crítica de cenários de segurança: anomalias socialmente complexas. Estas são situações onde o perigo não está codificado apenas em estatísticas de movimento ou aparência, mas nas relações entre agentes e no contexto social. Exemplos incluem uma criança correndo para longe de um guardião, uma pessoa sendo carregada por outra, ou um perseguidor caçando um pedestre. Nestes cenários, agentes individuais podem exibir trajetórias de movimento normais, mas a configuração relacional constitui uma anomalia que exige intervenção imediata do AV.

Os conjuntos de dados atuais de Detecção de Anomalias em Vídeo (VAD) para direção autônoma (ex: DADA, DoTA, CADP) focam primariamente em acidentes centrados em veículos, outliers cinemáticos ou anomalias de objetos únicos. Eles carecem da perspectiva egocêntrica, das anotações sociais-relacionais refinadas e da diversidade de pistas comportamentais sutis necessárias para abordar este "long tail" de eventos críticos de segurança. Além disso, os métodos existentes frequentemente dependem de reconstrução de movimento ou sinais baseados em aparência, que falham quando o movimento em si é estatisticamente plausível, mas socialmente aberrante.

Metodologia

Construção do Dataset: SENSE-VAD

Os autores introduzem o SENSE-VAD, o primeiro benchmark sintético de detecção de anomalias em vídeo para direção autônoma, explicitamente projetado em torno de anomalias socialmente complexas.

• Plataforma de Geração: O dataset é gerado usando o simulador CARLA através de três versões (0.9.12, 0.9.15 e 0.10.0) rodando em Unreal Engine 4 e 5. A seleção da versão é específica para o cenário para acomodar diferentes requisitos de controle de agentes (ex: controle esquelético para cenas de carregar em 0.9.15, locomoção animal em 0.10.0).
• Taxonomia de Anomalias: O dataset define 15 classes de anomalias através de seis categorias conceituais:
  1. Segurança Infantil: (ex: Criança Correndo do Guardião, Sequestro, Oclusão de Criança).
  2. Comportamento de Grupo: (ex: Perseguição Policial, Caos de Multidão).
  3. Comportamento Individual: (ex: Comportamento Anormal de Pessoa, Pessoa Sendo Carregada).
  4. Interação Pessoa-Objeto: (ex: Roubo de Bolsa, Bolsa Abandonada, Objeto Deixado no Chão).
  5. Interação de Ciclista: (ex: Perigo de Ciclista, Abandono de Bolsa por Ciclista, Colisão Ciclista-Veículo).
  6. Veículo e Agente: (ex: Colisão Veículo-Pedestre, Cachorro Deixando o Dono).
• Princípio de Design: Um princípio central é a separação da anomalia social da anomalia de estatística de movimento. Muitos cenários envolvem movimentos que parecem normais isoladamente (ex: uma criança correndo) mas são anômalos devido ao contexto relacional (ex: correndo para longe de um guardião em direção a uma estrada).
• Composição de Dados:
  • Clipes Sintéticos: 65 clipes de anomalia (21 de treinamento, 44 de teste) com rótulos binários por frame. Cada classe de anomalia é pareada com um clipe normal "comportamentalmente correspondente" (ex: uma criança caminhando calmamente ao lado de um guardião) para evitar que os modelos aprendam artefatos visuais específicos do simulador.
  • Sondas do Mundo Real: O conjunto de teste inclui clipes normais e anômalos do mundo real (ex: pessoas agindo de forma errática em público) para avaliar a transferência sim-to-real.
  • Escala Total: 540.888 frames em 108 clipes, gravados em resolução 800×600 com uma perspectiva de câmera de painel (dashcam) egocêntrica.

Protocolo de Avaliação

Os autores testam 11 métodos de ponta (SOTA) de VAD representando quatro regimes de supervisão:

1. Semi-supervisionado: Treinado apenas em dados normais (ex: Predição de Frame Futuro).
2. Fracamente supervisionado: Treinado com rótulos de anomalia ao nível de vídeo (ex: VadCLIP, VERA, REWARD).
3. Não supervisionado: Nenhum rótulo é utilizado (ex: NP-VAD, CLAP).
4. Sem treinamento (Training-free): Raciocínio de modelos de fundação usando LLMs/VLMs (ex: LAVAD, AnomalyRuler, VADTree).

Adicionalmente, um Estudo de Sondagem de VLM foi conduzido usando Qwen3-VL-4B-Instruct com perguntas estruturadas (Percepção, Predição, Planejamento, Segurança) para determinar se as falhas derivam de limitações de detecção de objetos ou de uma falta de raciocínio social.

Principais Resultados

Desempenho do Benchmark

• Falha Geral: Nenhum método excedeu 57.2% AUC no conjunto de teste. O método com melhor desempenho foi o não supervisionado NP-VAD (57.15%), seguido pelo CLAP (56.12%).
• Métodos Cinemáticos Invertidos: Métodos que dependem de predição de movimento ou distância de distribuições nominais (ex: FFP, REWARD, BN-WVAD) performaram abaixo do acaso (37–44% AUC). Isso confirma que anomalias socialmente complexas são cinematicamente comuns e, portanto, indistinguíveis de movimentos normais usando características estatísticas padrão.
• Modelos de Fundação: Métodos sem treinamento usando VLMs/LLMs (ex: LAVAD, AnomalyRuler) agruparam-se próximo ao desempenho ao acaso (39–49% AUC).
• Inversão da Hierarquia de Supervisão: Contrariamente aos benchmarks típicos de VAD, os métodos não supervisionados superaram os supervisionados, sugerindo que o viés induzido por rótulos em modelos supervisionados os engana ativamente em anomalias sociais.

Descobertas da Sondagem de VLM

O estudo de sondagem revelou que a falha dos VLMs é representacional, não perceptual:

• Detecção de Objetos vs. Contexto Social: O modelo detectou os agentes com sucesso (alta revocação em perguntas de Percepção), mas falhou em registrar o contexto relacional que tornava a cena anômala.
• Falha na Pergunta de Segurança: O modelo respondeu "perigoso" para 100% dos frames (tanto normais quanto anômalos), indicando uma dominância de vieses linguísticos sobre o embasamento visual.
• Quebra de Raciocínio: Quando questionado para planejar ou prever, o modelo era, na verdade, menos propenso a sinalizar a anomalia em frames anômalos do que a gerar falsos alarmes em frames normais. A anomalia não se propagou para o processo de tomada de decisão do modelo.

Significância e Alegações

O artigo afirma que as anomalias socialmente complexas constituem um desafio distinto e atualmente não resolvido para a percepção de veículos autônomos.

1. Identificação de Lacuna: Os sistemas atuais de percepção de AV estão otimizados para sinais de aparência e trajetória, tornando-os cegos para anomalias definidas por relações entre agentes.
2. Contribuição de Dataset: O SENSE-VAD preenche essa lacuna ao fornecer o primeiro benchmark egocêntrico, rotulado por frame, especificamente para anomalias sociais, distinguindo-as de outliers baseados em movimento.
3. Insight Metodológico: Os resultados demonstram que refinamentos em modelos existentes baseados em cinemática ou aparência são insuficientes. A detecção confiável requer raciocínio explícito sobre as relações sociais entre agentes.
4. Direção Futura: Os autores argumentam que os futuros sistemas de percepção de AV devem ir além de consultas zero-shot de modelos de fundação e, em vez disso, utilizar protocolos de treinamento que forneçam supervisão de contexto social direta, potencialmente utilizando modelos de grafo de cena ou centrados em objetos para representar estruturas relacionais.

O artigo conclui que, embora o SENSE-VAD seja sintético, seu design e a inclusão de sondagens do mundo real fornecem uma base necessária para desenvolver AVs que possam antecipar anomalias sociais em vez de meramente reagir a perigos cinemáticos.