🤖 AI

CoLoRSMamba: Conditional LoRA-Steered Mamba for Supervised Multimodal Violence Detection

O artigo apresenta o CoLoRSMamba, uma arquitetura multimodal eficiente que utiliza LoRA condicional guiado por tokens CLS para orientar dinamicamente o processamento de áudio baseado em Mamba a partir do vídeo, alcançando desempenho superior na detecção de violência em cenários ruidosos com menor custo computacional.

Autores originais: Damith Chamalke Senadeera, Dimitrios Kollias, Gregory Slabaugh

Publicado 2026-04-07

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Damith Chamalke Senadeera, Dimitrios Kollias, Gregory Slabaugh

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um segurança de um shopping ou um policial monitorando câmeras de rua. Sua missão é detectar violência. O problema é que, às vezes, o que você vê não conta a história completa, e o que você ouve pode ser confuso ou barulhento.

Este artigo apresenta um novo sistema de inteligência artificial chamado CoLoRSMamba. Para entender como ele funciona, vamos usar uma analogia simples: um Diretor de Cinema e um Editor de Som.

1. O Problema: O Olho e o Ouvido

Na detecção de violência, a imagem (vídeo) é geralmente a mais confiável. Você vê uma briga, uma queda ou uma arma. O som (áudio) é útil (gritos, vidros quebrando, tiros), mas pode ser traiçoeiro.

O cenário real: Às vezes, a câmera está longe e a imagem é borrada, mas você ouve um grito claro. Outras vezes, você vê uma briga, mas o som é apenas o barulho de um ventilador ou música de fundo, o que pode confundir o computador.
O erro comum: A maioria dos sistemas antigos tenta olhar para o vídeo e ouvir o áudio ao mesmo tempo, como se fossem dois colegas de trabalho gritando informações um para o outro o tempo todo. Isso gasta muita energia e nem sempre funciona bem.

2. A Solução: O "Diretor" que Controla o "Editor"

O CoLoRSMamba muda a regra do jogo. Em vez de tratar vídeo e áudio como iguais, ele cria uma hierarquia:

O Vídeo é o "Diretor de Cinema" (a âncora): Ele decide o que está acontecendo na cena. Se o Diretor vê uma briga, ele assume que algo sério está ocorrendo.
O Áudio é o "Editor de Som" (o assistente guiado): O Editor não trabalha sozinho. Ele recebe instruções do Diretor a cada segundo.

3. Como Funciona a Mágica? (A Analogia do "Steering")

Aqui entra a parte técnica, mas vamos simplificar:

Imagine que o "Editor de Som" (o modelo de áudio) tem um painel de controle com vários botões e alavancas que ajustam como ele escuta o som.

O Truque do CoLoRSMamba: O "Diretor de Cinema" (o modelo de vídeo) não apenas olha para o Editor; ele segura a mão dele e move os botões do painel.
Se o Diretor vê uma cena calma, ele diz ao Editor: "Ei, abaixe a sensibilidade, não precisa ouvir tanto, é só vento".
Se o Diretor vê uma cena confusa, mas suspeita de algo, ele diz: "Ative o modo de alerta máximo, escute cada detalhe, pode haver um grito escondido".

Isso é feito através de uma técnica chamada LoRA Condicional. Pense nisso como um "remoto" que o vídeo usa para reconfigurar o cérebro do áudio em tempo real, sem precisar de uma conversa complexa e lenta entre os dois. O vídeo "pilotando" o áudio.

4. Por que isso é melhor?

Eficiência: Em vez de dois cérebros gigantes conversando o tempo todo (o que gasta muita energia), o vídeo guia o áudio de forma inteligente e leve. É como ter um carro esportivo que consome menos combustível porque o motor é ajustado perfeitamente para a estrada.
Precisão: O sistema foi treinado em filmes e vídeos reais de câmeras de segurança (datasets NTU-CCTV e DVD), mas com uma limpeza importante: eles removeram os vídeos onde o áudio estava cortado ou era apenas música de fundo. Isso garantiu que o sistema aprendesse com sons reais de cenas reais.
Resultados: O CoLoRSMamba foi mais rápido e preciso do que os modelos anteriores. Ele conseguiu detectar violência com 88,6% de precisão em um teste e 75,7% em outro, superando sistemas que são muito maiores e mais pesados.

5. O que acontece quando o áudio "erra"?

O estudo mostrou algo interessante:

Quando o áudio ajuda: Em cenas onde a imagem é confusa (muita gente, borrão), o som de um tiro ou de um vidro quebrando salva o sistema, corrigindo o erro que o vídeo sozinho teria feito.
Quando o áudio atrapalha: Se o vídeo mostra claramente uma agressão, mas há um barulho de vento muito forte que parece silêncio, o sistema às vezes hesita. Mas, graças ao "Diretor" (vídeo), ele geralmente não erra feio, porque confia mais no que vê do que no que ouve quando há conflito.

Resumo Final

O CoLoRSMamba é como um segurança inteligente que sabe que o que ele vê é a verdade principal, mas usa o que ele ouve como uma ferramenta poderosa, ajustando sua "sensibilidade auditiva" baseada no que seus olhos veem.

Ele é mais rápido, mais barato de rodar em computadores e mais preciso do que os sistemas antigos, provando que, para detectar violência, a melhor estratégia não é apenas "ouvir e ver", mas sim deixar a visão guiar a audição.

Resumo Técnico: CoLoRSMamba

1. O Problema

A detecção automática de violência em vídeos de vigilância é uma tarefa crítica para a segurança pública. No entanto, existem desafios significativos:

Ambiguidade Visual: Em cenas reais, a violência pode ser sutil, parcialmente oculta, desfocada ou ocorrer em multidões, tornando a detecção baseada apenas em pixels difícil.
Assimetria Multimodal: Embora o áudio (gritos, impactos, objetos quebrando) seja informativo, os ambientes reais frequentemente apresentam ruído, silêncio ou sons fora de cena que podem enganar o modelo. A evidência visual é geralmente mais confiável e primária, enquanto o áudio é esparsamente informativo e às vezes enganoso.
Limitações de Supervisão e Benchmarking: A maioria dos trabalhos anteriores utiliza supervisão fraca (rótulos ao nível do vídeo) ou ignora a qualidade do áudio nos conjuntos de dados. Muitos benchmarks não filtram clipes onde o áudio é irrelevante ou inexistente, penalizando injustamente ramos de áudio em avaliações multimodais.
Ineficiência: Modelos de fusão tardia ou baseados em atenção cruzada densa (Transformer) são computacionalmente caros para implantação em larga escala.

2. Metodologia: CoLoRSMamba

O autores propõem o CoLoRSMamba, uma arquitetura multimodal direcional (Vídeo → Áudio) baseada em modelos de espaço de estado seletivos (Mamba).

Arquitetura Base:
- Utiliza o VideoMamba como âncora semântica (processa o vídeo).
- Utiliza o AudioMamba como ramo complementar guiado (processa o áudio).
- Ambos são construídos sobre blocos Mamba bidirecionais, que modelam dependências de longo alcance de forma eficiente.
Mecanismo Central: Conditional LoRA Steering (CoLoRS):
- Em vez de realizar atenção cruzada token-a-token (que é custosa), o modelo utiliza o token CLS do VideoMamba em cada camada para condicionar o AudioMamba.
- Controle no Nível do Operador: A inovação principal é condicionar os geradores dos parâmetros do espaço de estado seletivo (SSM) do áudio — especificamente as matrizes $\Delta$ (tamanho do passo), $B$ (entrada) e $C$ (saída) — e não apenas os recursos (features) resultantes.
- LoRA Dinâmico: O token CLS do vídeo gera um vetor de modulação de canal e um portão de estabilização (stabilization gate) via LoRA (Low-Rank Adaptation). Isso permite que o contexto visual redefina a dinâmica temporal do áudio (quais frequências são atendidas, quão rápido o estado evolui) em cada camada, sem aumentar drasticamente os parâmetros.
Objetivo de Treinamento:
- Classificação Binária: Perda de entropia cruzada para prever violência/não-violência.
- AV-InfoNCE: Uma perda auxiliar simétrica de contraste que alinha os embeddings de áudio e vídeo no mesmo espaço, regularizando a fusão multimodal.
Curadoria de Dados (Protocolo de Filtragem):
- Os autores criaram subconjuntos filtrados de áudio dos conjuntos de dados NTU-CCTV e DVD.
- O protocolo remove clipes sem áudio, com áudio silencioso (< -80 dB) ou com sons fora de cena (música dublada, narração), garantindo uma avaliação justa onde o áudio é realmente relevante para a cena.

3. Principais Contribuições

Primeiro Detector Multimodal Baseado em Mamba com Supervisão Forte: Introduz uma arquitetura direcional onde o vídeo atua como âncora e o áudio é guiado dinamicamente, utilizando supervisão forte (rótulos ao nível do clipe).
Condicionamento de Operadores via LoRA: Propõe o uso de LoRA condicional para modificar os geradores de parâmetros SSM ( $\Delta, B, C$ ) do áudio baseados no vídeo. É a primeira vez que o LoRA é usado como sinal de direção cruzada dentro de um modelo de espaço de estado seletivo, permitindo controle dinâmico da dinâmica temporal do áudio.
Benchmarks Justos e Resultados SOTA: Criação de subconjuntos de dados filtrados por áudio e demonstração de desempenho superior (State-of-the-Art) em comparação com modelos unimodais e multimodais existentes, mantendo uma eficiência computacional superior.

4. Resultados Experimentais

O modelo foi avaliado nos conjuntos de dados filtrados de NTU-CCTV e DVD.

Desempenho em NTU-CCTV:
- Acurácia: 88,63% (Superior ao melhor baseline multimodal LAVISH, que teve 86,44%).
- F1-Violência (F1-V): 86,24%.
- F1-Macro: 88,28%.
Desempenho em DVD:
- Acurácia: 75,77% (Superior ao LAVISH com 74,40% e MBT com 73,37%).
- F1-Violência (F1-V): 72,94%.
Eficiência (Trade-off Acurácia-Eficiência):
- O CoLoRSMamba possui 158M de parâmetros e 1.810 GFLOPs.
- Supera modelos maiores como MBT (174M parâmetros) e LAVISH (238M parâmetros) com menos parâmetros e custo computacional, oferecendo o melhor equilíbrio entre precisão e eficiência.
Análise de Contribuição do Áudio:
- O áudio corrigiu erros do modelo apenas visual em 56 casos, enquanto introduziu apenas 21 novos erros (razão de ajuda/dano de 2,67x).
- O áudio foi particularmente eficaz para reduzir falsos positivos (ex: movimentos ambíguos que o áudio confirma como não violentos).

5. Significado e Conclusão

O CoLoRSMamba demonstra que a detecção de violência multimodal eficaz não requer apenas fusão de características, mas sim uma integração hierárquica e direcional que respeita a confiabilidade desigual dos modos (vídeo > áudio em cenários de vigilância).

Ao condicionar os operadores internos do modelo de espaço de estado (Mamba) em vez de apenas os recursos, o modelo consegue adaptar a dinâmica temporal do áudio ao contexto visual de forma eficiente e leve. Além disso, a ênfase na curadoria rigorosa dos dados (filtragem de áudio) destaca a importância de benchmarks limpos para o avanço real da pesquisa em multimodalidade. O trabalho estabelece um novo padrão para modelos de detecção de violência que são simultaneamente precisos, eficientes e robustos a ruídos do mundo real.