Resumo Técnico: FuseMamba-VD

Declaração do Problema

A rápida proliferação de câmeras de vigilância criou um volume avassalador de dados de vídeo, tornando o monitoramento humano contínuo para detecção de violência impraticável e pouco confiável. Embora abordagens existentes de aprendizado profundo, como Redes Neurais Convolucionais 3D (CNNs) e arquiteturas baseadas em Transformers, tenham mostrado sucesso na extração de características espaço-temporais, elas enfrentam limitações significativas. As CNNs 3D têm dificuldade em capturar dependências de longo alcance, enquanto os Transformers incorrem em complexidade computacional quadrática em relação ao comprimento da sequência, limitando sua escalabilidade para vídeos de vigilância longos e de alta resolução. Além disso, muitos conjuntos de dados existentes usados para treinamento são ou encenados (ex: cenas de filmes) ou fracamente rotulados, falhando em representar as complexidades dos cenários de vigilância do mundo real.

Metodologia

Os autores propõem o FuseMamba-VD, uma arquitetura eficiente projetada para detecção de violência supervisionada que utiliza Modelos de Espaço de Estados (SSMs). A inovação central reside em um design de dois ramos combinado com um mecanismo de Fusão de Token de Classe com Portão (GCTF).

1. Visão Geral da Arquitetura

O modelo é construído sobre o backbone VideoMamba, utilizando módulos de estado bidirecionais. Ele consiste em quatro componentes primários:

• Módulo de Recorte (Cropping Module): Para focar recursos computacionais em interações humanas relevantes, o sistema extrai regiões que abrangem todas as pessoas detectadas em cada quadro, baseando-se na observação de que a violência tipicamente envolve múltiplos indivíduos.
• Pipeline de Dois Ramos (Dual-Branch Pipeline): Dois pipelines paralelos processam a entrada de vídeo ($X \in \mathbb{R}^{3 \times T \times H \times W}$) após a tokenização em patches espaço-temporais:
  • Ramo-1 (Varredura Prioritária Espacial): Os tokens são reorganizados para priorizar o layout espacial dentro dos quadros antes de serem concatenados ao longo do tempo. Este ramo é projetado para captar pistas espaciais locais detalhadas.
  • Ramo-2 (Varredura Prioritária Temporal): Os tokens mantêm sua ordem temporal natural e são empilhados ao longo da dimensão espacial. Este ramo foca em padrões de movimento dinâmico e dependências temporais globais.
  • Ambos os ramos utilizam pesos pré-treinados do VideoMamba e empregam varredura bidirecional.

2. Fusão de Token de Classe com Portão (GCTF)

Um novo mecanismo de fusão contínua é introduzido para integrar informações entre os dois ramos. Diferente das abordagens de fusão tardia, o GCTF opera em cada camada da rede:

• Cada ramo produz um Token de Classe ($CLS$) em cada camada.
• Um mecanismo de portão (gate) treinável funde adaptativamente o token de classe ($CLS$) do ramo espacial no token de classe ($CLS$) do ramo temporal:
• A fusão é definida como: $CLS^2_{fused} = \sigma' \odot CLS^2 + (1 - \sigma') \odot CLS^1$, onde $\sigma'$ é um parâmetro treinável com ativação sigmoide.
• Isso permite o refinamento progressivo das representações espaciais e temporais sem comprometer precocemente qualquer uma das modalidades.

3. Fusão Final

Na camada final, os tokens $CLS$ de ambos os ramos são concatenados e passam por uma camada de projeção totalmente conectada para produzir a probabilidade de classificação final.

Principais Contribuições

O artigo descreve três contribuições primárias:

1. Arquitetura de Espaço de Estados de Dois Ramos: O primeiro design de dois ramos baseado em espaço de estados para detecção de violência em vídeo supervisionada. Ele desacopla explicitamente o raciocínio espacial e temporal enquanto permite a interação semântica contínua via tokens de classe, contrastando com modelos anteriores que dependem de fusão tardia ou mecanismos de atenção pesados.
2. Fusão de Token de Classe com Portão (GCTF): Um mecanismo de fusão contínua e por camada que integra adaptativamente os tokens de classe específicos de cada ramo. Isso permite o alinhamento gradual das características e evita o comprometimento precoce com um único ramo.
3. Benchmark de Vigilância Integrado e Eficiência: Os autores curaram um novo benchmark fundindo quatro conjuntos de dados de código aberto fortemente rotulados (RWF-2000, RLVS, SURV e VioPeru) com controles estritos para evitar vazamento de dados entre os conjuntos de treinamento e teste. Eles demonstram que o FuseMamba-VD alcança desempenho de estado da arte enquanto reduz substancialmente parâmetros e FLOPs em comparação com trabalhos anteriores.

Resultados Experimentais

O modelo foi avaliado no novo benchmark combinado e no recentemente introduzido conjunto de dados DVD.

• Benchmark Combinado: O FuseMamba-VD alcançou uma acurácia Top-1 de 95,85%, superando os baselines incluindo SlowFast, VideoSwin, UniFormer-V2, CUE-Net e várias variantes do VideoMamba. Alcançou pontuações F1 de 95,89% (violento) e 95,81% (não violento).
• Conjunto de Dados DVD: Neste conjunto de dados mais desafiador, com variabilidade do mundo real e desequilíbrio de classes, o modelo atingiu 74,13% de acurácia Top-1, superando todos os baselines (que pontuaram $\le$ 71%).
• Eficiência: Apesar de superar o CUE-Net (o competidor mais próximo em acurácia), o FuseMamba-VD utiliza significativamente menos recursos:
  • Parâmetros: 154,3M vs. 354M (CUE-Net).
  • FLOPs: 1912 GFLOPs vs. 5906 GFLOPs.
  • Velocidade de Inferência: Em uma GPU NVIDIA H100, o FuseMamba-VD alcança 343,53 FPS, um aumento de aproximadamente 4,7$\times$ em relação ao CUE-Net (72,64 FPS).
• Estudos de Ablação: Experimentos confirmaram que o design de dois ramos é superior às variantes de um único ramo. Além disso, conexões laterais contínuas em cada bloco superaram configurações onde as conexões eram aplicadas apenas em camadas específicas (início, meio ou fim).

Significância e Alegações

O artigo afirma que o FuseMamba-VD oferece um equilíbrio ideal entre acurácia e eficiência computacional, demonstrando a promessa dos Modelos de Espaço de Estados (SSMs) para detecção de violência em vídeo escalável e eficiente em termos de recursos. Ao separar efetivamente o raciocínio espacial e temporal enquanto mantém a interação contínua através de um mecanismo de portão, o modelo melhora a sensibilidade a sutis diferenças de movimento indicativas de violência. Os autores posicionam este trabalho como um passo em direção a aplicações de vigilância do mundo real, onde tanto a alta acurácia quanto o baixo custo computacional são críticos. O código e os modelos pré-treinados são disponibilizados para a comunidade.