Text-guided Fine-Grained Video Anomaly Understanding

Título: T-VAU: Compreensão de Anomalias em Vídeo de Alta Granularidade Guiada por Texto

1. O Problema

A detecção de anomalias em vídeo (VAD) enfrenta desafios significativos em cenários do mundo real, onde eventos anômalos muitas vezes se manifestam como pistas espaciais e temporais sutis (baixa relação sinal-ruído), como pequenos desvios de movimento ou mudanças de aparência de curta duração.

As abordagens existentes apresentam limitações críticas:

• Métodos Tradicionais: Geralmente fornecem apenas pontuações de anomalia em nível de quadro ou vídeo, sem evidências interpretáveis ou localização precisa. Eles dependem de limiares manuais e falham em explicar onde, quem e como a anomalia ocorre.
• Modelos de Linguagem e Visão (LVLMs): Embora capazes de gerar julgamentos textuais e explicações, os LVLMs genéricos frequentemente falham em ancorar essas descrições em evidências visuais de nível de pixel, resultando em localizações imprecisas e afirmações textuais não fiéis (alucinações).

Existe uma lacuna entre a detecção de evidências visuais sutis e a geração de raciocínio linguístico confiável e explicável.

2. Metodologia Proposta (T-VAU)

O T-VAU (Text-guided Fine-Grained Video Anomaly Understanding) é um framework baseado em LVLMs que fecha o ciclo entre evidência de nível de pixel e raciocínio baseado em linguagem. A arquitetura consiste em três componentes principais:

1. Codificador de Texto (Text Encoder): Gera embeddings de texto específicos para classes (normal/anormal) a partir de prompts binários.
2. Decodificador de Mapa de Calor de Anomalia (AHD - Anomaly Heatmap Decoder):
   • Alinha características visuais multiescala (extraídas do codificador visual) com embeddings de texto.
   • Calcula a similaridade cosseno entre tokens visuais e prompts de texto para gerar mapas de calor de anomalia espaciais e temporais de nível de pixel.
   • Opera sem limiares fixos, produzindo mapas de calor precisos que destacam as regiões anômalas.
3. Codificador de Anomalia Consciente de Região (RAE - Region-aware Anomaly Encoder):
   • Converte os mapas de calor gerados pelo AHD em embeddings de prompts estruturados.
   • Extrai características conscientes de região e movimento (diferenças temporais entre mapas de calor).
   • Gera prompts que incluem informações globais, regionais e de base, que são injetados no espaço semântico do LVLM.
   • Isso permite que o LVLM utilize a evidência visual como contexto para realizar detecção, localização e explicação em um pipeline unificado.

Fluxo de Dados: O modelo recebe um vídeo e uma sequência de consultas de linguagem. O AHD gera mapas de calor; o RAE transforma esses mapas em prompts; e o LVLM (combinado com o histórico de diálogo) gera a resposta final (julgamento, descrição de aparência, trajetória).

3. Contribuições Chave

1. Framework T-VAU Unificado: Uma nova arquitetura que integra um AHD para localização precisa de anomalias e um RAE para injetar evidências regionais e de movimento no raciocínio da linguagem. Isso permite detecção, localização e explicação multi-turno em um único sistema.
2. Dataset de Anomalias de Alta Granularidade: Os autores construíram um novo conjunto de dados derivado dos benchmarks ShanghaiTech e UBnormal.
   • Inclui anotações em nível de quadro e alvo (target-level).
   • Fornece supervisão explícita para: atributos de aparência, localização espacial e trajetórias de movimento.
   • Utiliza um pipeline de refinamento focado em anomalias (com máscaras e supressão de fundo) para garantir consistência entre evidência visual e descrição textual.
3. Desempenho de Estado da Arte (SOTA): O modelo alcançou resultados superiores em benchmarks de julgamento de anomalias, localização e diálogo, demonstrando a eficácia da abordagem guiada por evidências.

4. Resultados Experimentais

Os experimentos foram conduzidos nos datasets UBnormal (detecção supervisionada de conjunto aberto) e ShanghaiTech (benchmark não supervisionado).

• Detecção e Localização (UBnormal):
  • O AHD alcançou 94.8% de micro-AUC e 87.8% de macro-AUC após ajuste fino.
  • Métricas de localização: 67.8% RBDC (Critério de Detecção Baseado em Região) e 76.7% TBDC (Critério de Detecção Baseado em Rastreamento), superando significativamente os baselines anteriores (ex: +39.1 pontos no RBDC em relação ao melhor baseline).
• Raciocínio Linguístico e Diálogo (ShanghaiTech e UBnormal):
  • Em tarefas de diálogo multi-turno (julgamento → aparência → trajetória), o T-VAU superou LVLMs de ponta (como Qwen2.5-VL, InternVL, LLaVA).
  • BLEU-4: Alcançou 62.67 para descrição de Alvo e 88.84 para Trajetória no ShanghaiTech (melhoria de ~7-6 pontos sobre o baseline mais forte).
  • Precisão Binária (Yes/No): 97.67% de acurácia na decisão de anomalia.
• Estudos de Ablação:
  • A remoção do AHD resultou na perda de localizabilidade espacial (RBDC/TBDC não aplicáveis).
  • A remoção do RAE manteve a localização visual, mas degradou drasticamente a qualidade do texto e a precisão do julgamento, provando que a injeção de prompts baseada em evidência é crucial para o raciocínio do LVLM.

5. Significado e Impacto

O T-VAU representa um avanço significativo na área de Computação Visual Sutil (Subtle Visual Computing).

• Interpretabilidade: Ao fornecer evidências de nível de pixel (mapas de calor) que sustentam diretamente as explicações textuais, o modelo aumenta a confiança humana e a robustez, permitindo auditoria das decisões.
• Unificação de Tarefas: Elimina a necessidade de sistemas separados para detecção e explicação, integrando-os em um fluxo de raciocínio coerente.
• Aplicações Práticas: É particularmente relevante para sistemas críticos de segurança pública e inspeção industrial, onde entender a evolução temporal e a causa de uma anomalia é tão importante quanto detectá-la.

Em resumo, o T-VAU supera as limitações dos métodos tradicionais (falta de explicação) e dos LVLMs puros (falta de precisão visual), criando um sistema capaz de "ver" e "explicar" anomalias sutis com alta fidelidade.