Resumo Técnico: NSP-ML para Reconhecimento de Comportamento Anormal

Definição do Problema

O reconhecimento de comportamentos anormais em ambientes de campus é crítico para a vigilância inteligente e a gestão de segurança. Embora os métodos existentes tenham progredido, eles dependem predominantemente de informações visuais. Essa dependência cria uma limitação significativa: representações visuais sozinhas muitas vezes falham em distinguir comportamentos que parecem semelhantes, mas que carregam significados diferentes com base em restrições contextuais (ex: tempo, localização e padrões de atividade esperados). Em ambientes de campus, uma ação como "correr" pode ser normal em um parquinho, mas anormal em um corredor de laboratório. As abordagens multimodais atuais frequentemente tratam as entradas textuais como rótulos estáticos ou descrições genéricas, falhando em codificar explicitamente as normas situacionais ou o conhecimento prévio associado a condições espaço-temporais específicas. Consequentemente, esses modelos têm dificuldade com comportamentos anormais dependentes de contexto, onde a definição de "anormalidade" depende da desviação de padrões esperados, e não apenas da aparência visual.

Metodologia

O artigo propõe o NSP-ML (Normality-Guided and Spatiotemporal Prior-Aware Multimodal Learning), um framework projetado para fundir representações visuais com dois tipos específicos de conhecimento textual contextual: logs guiados pela normalidade e logs conscientes de prioridades espaço-temporais.

1. Construção de Contexto Textual

Em vez de usar rótulos de classe estáticos, o framework constrói uma hipótese comportamental condicionada ao contexto ($H_{i,c}$) para cada clipe de vídeo $i$ e classe candidata $c$. Esta hipótese é formada pela concatenação de:

• Protótipo de Comportamento ($B_c$): Uma breve descrição semântica do comportamento.
• Log de Normalidade ($N_i$): Texto descrevendo comportamentos esperados sob as condições específicas do campus.
• Log de Prioridade Espaço-Temporal ($P_i$): Texto resumindo níveis de risco, padrões de atividade e sensibilidade relacionados à localização e ao tempo específicos.

2. Incorporação de Prioridade Espaço-Temporal

Além dos logs textuais, o modelo codifica sinais estruturados diretamente no ramo de texto:

• Incorporação Temporal: Carimbos de tempo são convertidos em incorporações periódicas usando funções seno/cosseno.
• Incorporação Geográfica: Localizações são codificadas com base em coordenadas, densidade de zonas e níveis de sensibilidade de gerenciamento.
• Estas incorporações estruturadas são projetadas no espaço de características de texto para se alinharem com as descrições de prioridades textuais.

3. Atenção de Múltiplas Cabeças Consciente de Prioridade

O framework introduz um mecanismo de Atenção de Múltiplas Cabeças Consciente de Prioridade (Prior-Aware Multi-Head Attention). Diferente da atenção padrão, este módulo injeta o vetor de contexto projetado ($\bar{C}_i$) nos vetores de consulta (query vectors). Isso permite que o modelo realize o raciocínio ao nível de token guiado por prioridades espaço-temporais, aumentando a interação entre a evidência visual e as hipóteses contextuais.

4. Fusão Contextual com Portão (Gated)

Um mecanismo de portão (gating) leve equilibra adaptativamente as contribuições do protótipo de comportamento, do log de normalidade e do log de prioridade. Isso permite que o modelo determine dinamicamente quanto peso atribuir às expectativas de normalidade versus às restrições de prioridade para cada decisão de classificação específica.

5. Objetivos de Otimização

O framework é treinado usando uma função de perda composta ($L$) que compreende três componentes:

• Perda de Classificação Contextual ($L_{cls}$): Perda de entropia cruzada padrão para combinar representações visuais com hipóteses condicionadas ao contexto.
• Perda Contrastiva Simétrica ($L_{con}$): Um objetivo de alinhamento visão-linguagem para garantir que as características visuais correspondam às suas respectivas hipóteses textuais contextuais.
• Perda de Contexto Contrafactual ($L_{cf}$): Uma perda inovadora que introduz hipóteses incompatíveis (ex: trocando o log de normalidade de uma cena por outro) para ensinar explicitamente o modelo a distinguir a lógica correta da cena da lógica incorreta, fortalecendo assim a discriminação contextual.

Principais Contribuições

1. Novo Framework Multimodal: O estudo introduz o NSP-ML, que funde dados visuais com logs guiados pela normalidade e logs conscientes de prioridades espaço-temporais. Esta representação integrada permite uma interpretação mais sensível ao contexto de comportamentos anormais sutis, aproveitando a sinergia entre a evidência visual e as expectativas situacionais.
2. Modelagem Explícita de Prioridades Contextuais: Ao contrário de abordagens anteriores que tratam o texto como rótulos estáticos, este trabalho modela comportamentos anormais em relação à sua desviação de padrões contextualmente esperados. A introdução de incorporações espaço-temporais estruturadas e mecanismos de atenção conscientes de prioridade fortalece a interação cross-modal.
3. Desempenho Robusto e Generalizabilidade: O framework demonstra eficácia em múltiplos conjuntos de dados. Ele alcança resultados de estado da arte no dataset específico de campus CABRH8 e mantém um forte desempenho em benchmarks de reconhecimento de ação geral (UCF-101 e HMDB-51), confirmando sua robustez além de cenários específicos de campus.

Resultados Experimentais

Os experimentos foram conduzidos principalmente no dataset CABRH8 (5.950 clipes, 8 categorias de comportamentos anormais de campus), com validação adicional no UCF-101 e HMDB-51.

• Desempenho no CABRH8: A variante proposta NSP-ML-L (usando um backbone ViT-L/14) alcançou uma acurácia Top-1 de 81,52% e uma acurácia Top-5 de 99,45%. Isso supera métodos puramente visuais (ex: TimeSformer, Swin-B) e abordagens guiadas por texto estático (ex: CECL-L, que alcançou 80,26% de Top-1).
• Eficiência: Apesar da maior acurácia, o NSP-ML-L mantém um perfil de eficiência favorável, exigindo 295 GFLOPs e operando a 32 FPS, o que é significativamente mais eficiente do que competidores de alto custo como o HCMT (992 GFLOPs).
• Generalização: No UCF-101, o NSP-ML-L alcançou 98,68% de acurácia, e no HMDB-51, alcançou 73,32%, superando vários baselines de estado da arte e demonstrando forte transferibilidade para tarefas de reconhecimento de ação geral.
• Estudos de Ablação: Os experimentos confirmaram que:
  • A combinação de logs de normalidade e prioridades espaço-temporais produz melhores resultados do que usar apenas um deles ou apenas protótipos de comportamento.
  • Incorporações espaço-temporais estruturadas (tempo e localização) fornecem ganhos complementares em relação às prioridades textuais puras.
  • A perda de contexto contrafactual ($L_{cf}$) é crucial para melhorar a capacidade do modelo de distinguir a lógica correta da cena da lógica incorreta.

Significância

O artigo afirma que a incorporação de orientação de normalidade e prioridades espaço-temporais fornece um caminho eficaz para melhorar o reconhecimento de comportamento anormal sensível ao contexto em ambientes de campus inteligentes. Ao mudar do puro emparelhamento visual para o raciocínio sobre hipóteses comportamentais condicionadas ao contexto, o framework NSP-ML aborda a ambiguidade inerente a cenas dinâmicas, lotadas e dependentes de contexto. Os resultados sugerem que esta abordagem permite que os modelos distingam melhor ações visualmente semelhantes que diferem em anormalidade com base em restrições situacionais, oferecendo uma solução mais robusta para sistemas de vigilância inteligente.