Action Hints: Semantic Typicality and Context Uniqueness for Generalizable Skeleton-based Video Anomaly Detection

1. Formulação do Problema

A Detecção de Anomalias em Vídeo Zero-Shot (ZS-VAD) visa localizar temporalmente eventos anormais em vídeos de vigilância sem utilizar quaisquer dados de treinamento do domínio alvo. Isso é crítico para cenários envolvendo privacidade de dados ou novos deployments de vigilância onde dados alvos não estão disponíveis.

• Limitações Atuais:
  • Métodos baseados em Quadro/Objeto: Sofrem com deslocamentos de domínio no fundo e na aparência humana ao migrar para novas cenas.
  • Métodos baseados em Esqueleto existentes: Embora eliminem disparidades de fundo/aparência, eles dependem de representações de esqueleto de baixo nível (por exemplo, previsão de coordenadas, reconstrução) aprendidas via auto-supervisão. Eles carecem de compreensão semântica, tornando-se incapazes de distinguir anomalias novas que se assemelham a padrões normais.
  • Limites Limitados ao Domínio: Métodos existentes dependem cegamente de limites de normalidade definidos pelos dados de treinamento da fonte, levando à classificação errônea de eventos normais não vistos como anomalias em novas cenas.

2. Metodologia

Os autores propõem um novo framework que alavanca a Typicalidade Semântica de Ação e a Unicidade de Contexto para alcançar ZS-VAD generalizável. A abordagem consiste em dois módulos principais:

A. Modelagem de Typicalidade Guiada por Linguagem (Fase de Treinamento)

Este módulo visa aprender compreensão semântica de alto nível de ações em vez de coordenadas de baixo nível.

1. Alinhamento Esqueleto-Texto: O modelo utiliza um conjunto de dados externo de reconhecimento de ação (Kinect-400) em vez de dados específicos de VAD. Ele alinha fragmentos de esqueleto com rótulos de texto usando um codificador de esqueleto ($E_s$) e um codificador de texto ($E_t$), projetando esqueletos em um espaço semântico alinhado à linguagem.
2. Seleção de Conhecimento de Typicalidade (Distilação LLM):
   • Um Modelo de Linguagem de Grande Escala (LLM) é solicitado a identificar as 20 ações normais mais típicas (por exemplo, caminhar, ler) e as 20 ações anormais mais típicas (por exemplo, brigar, paraquedismo) das 400 classes de ação.
   • Fragmentos de esqueleto de alta qualidade correspondentes a essas classes "típicas" selecionadas são filtrados com base na similaridade esqueleto-texto.
3. Aprendizado de Distribuição de Typicalidade:
   • Um Fluxo Normalizante (NF) é treinado nas características normais e anormais típicas selecionadas.
   • O NF modela a distribuição de probabilidade desses comportamentos. Durante a inferência, a pontuação de anomalia ($S^t$) é derivada do log-verossimilhança negativo de um fragmento de teste sob a distribuição "normal" aprendida. Isso permite que o modelo generalize para novas cenas com base em priores semânticos em vez de estatísticas específicas do conjunto de dados.

B. Análise de Unicidade de Contexto em Tempo de Teste (Fase de Inferência)

Para lidar com cenários onde as ações não são estritamente "típicas" (por exemplo, uma ação normal que é anômala em um contexto específico), o modelo analisa o contexto espaço-temporal.

1. Construção de Grafo de Contexto: Para cada fragmento de esqueleto, dois grafos são construídos:
   • Grafo Interpessoal ($G_c$): Conecta a pessoa atual a indivíduos próximos no espaço.
   • Grafo de Auto-inspeção ($G_s$): Conecta a pessoa atual aos seus próprios estados passados/futuros no tempo (excluindo vizinhos imediatos para evitar redundância).
2. Pontuação de Unicidade: O modelo calcula a distância de características entre o fragmento de consulta e seus vizinhos em ambos os grafos. Como anomalias são raras e únicas, uma alta distância indica uma anomalia. A pontuação de unicidade ($S^u$) é o máximo das distâncias interpessoal e de auto-inspeção.
3. Pontuação Holística: A pontuação final de anomalia é uma combinação normalizada da Pontuação de Typicalidade ($S^t$) e da Pontuação de Unicidade ($S^u$):
   $$S_i = \frac{S^t_i - \mu_t}{\sigma_t} + \frac{S^u_i - \mu_u}{\sigma_u}$$
   Isso integra priores semânticos (o que deveria ser normal/anormal) com evidências contextuais (o que é realmente único nesta cena).

3. Contribuições Principais

1. Framework Inovador: Um framework ZS-VAD baseado em esqueleto que vai além da aprendizagem de representação de baixo nível para typicalidade semântica e unicidade de contexto.
2. Módulo de Typicalidade Guiado por Linguagem: Introduz um método para distilar o conhecimento de LLM sobre comportamentos normais/anormais típicos em um codificador de esqueleto, criando um espaço semântico generalizável sem treinamento no domínio alvo.
3. Análise de Unicidade em Tempo de Teste: Propõe um mecanismo de limite dinâmico e adaptativo à cena que analisa diferenças espaço-temporais entre indivíduos e passos de tempo para detectar anomalias específicas de contexto.
4. Desempenho State-of-the-Art: Alcança resultados superiores em quatro conjuntos de dados de grande escala (ShanghaiTech, UBnormal, NWPU, UCF-Crime) cobrindo mais de 100 cenas de vigilância não vistas, superando tanto métodos full-shot quanto outros métodos zero-shot.

4. Resultados Experimentais

O método foi avaliado em quatro conjuntos de dados sem dados de treinamento dos domínios alvo:

• Desempenho: O método proposto alcançou resultados State-of-the-Art (SOTA) em todos os conjuntos de dados.
  • ShanghaiTech: 84,1% AUC (vs. 85,9% full-shot STG-NF, mas 0-shot).
  • UBnormal: 74,5% AUC (uma melhoria significativa de +5,7% sobre a linha de base zero-shot STG-NF).
  • NWPU: 62,1% AUC (+4,2% sobre a linha de base).
  • UCF-Crime: 62,7% AUC (+10,8% sobre a linha de base).
• Comparação com Full-Shot: Remarkavelmente, o desempenho zero-shot deste método é comparável e, em alguns casos, excede o desempenho de métodos full-shot treinados nos dados alvo.
• Eficiência: O modelo é leve (~5,0M parâmetros), significativamente menor que abordagens baseadas em Modelo de Linguagem-Vision de Grande Escala (LVLM) (por exemplo, LAVAD com 13B+ parâmetros). A velocidade de inferência é dominada pela extração de esqueleto, não pela lógica de pontuação de anomalia.

5. Significado e Impacto

• Vigilância Preservadora de Privacidade: A capacidade de implantar detecção de anomalias em novos ambientes sem coletar ou treinar em dados de vídeo locais aborda preocupações críticas de privacidade.
• Generalização: Ao mudar de "aprender normalidade a partir de dados" para "aprender normalidade a partir de conceitos semânticos e contexto", o modelo supera a lacuna de domínio que aflige sistemas VAD tradicionais.
• Implantação Prática: O framework é computacionalmente eficiente e não requer raciocínio multi-estágio complexo ou LLMs massivos durante a inferência, tornando-o adequado para implantação em borda no mundo real.
• Mudança de Paradigma: O artigo demonstra que dados de esqueleto, quando combinados com priores semânticos e análise contextual, são uma modalidade altamente eficaz para detecção de anomalias zero-shot, superando abordagens baseadas em quadro e objeto em configurações de cenário cruzado.