🤖 AI

CoLoRSMamba: Conditional LoRA-Steered Mamba for Supervised Multimodal Violence Detection

El artículo presenta CoLoRSMamba, una arquitectura multimodal eficiente que utiliza LoRA condicional guiada por tokens CLS para adaptar dinámicamente un modelo Mamba de audio basado en características visuales, logrando un rendimiento superior en la detección de violencia en conjuntos de datos filtrados por audio.

Autores originales: Damith Chamalke Senadeera, Dimitrios Kollias, Gregory Slabaugh

Publicado 2026-04-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Damith Chamalke Senadeera, Dimitrios Kollias, Gregory Slabaugh

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

¡Hola! Imagina que estás intentando detectar una pelea en una plaza llena de gente, pero solo tienes dos sentidos para ayudarte: la vista y el oído.

Este paper presenta un nuevo sistema de inteligencia artificial llamado CoLoRSMamba. Su misión es sencilla pero difícil: saber si lo que está pasando en un video es una violencia real o no.

Aquí te explico cómo funciona, usando analogías de la vida cotidiana:

1. El Problema: Ver no es siempre creer (y escuchar tampoco)

Imagina que estás viendo un video de una pelea.

La vista (Video): A veces es confusa. Hay mucha gente, la cámara se mueve, o la pelea ocurre lejos. A veces parece una pelea, pero en realidad es un juego de niños.
El oído (Audio): A veces es muy útil (gritos, golpes, cristales rompiéndose), pero otras veces es un desastre. Puede haber ruido de tráfico, música de fondo o simplemente silencio, lo que confunde al sistema.

El problema de los sistemas antiguos es que trataban a la vista y al oído como dos compañeros de equipo que siempre gritaban lo mismo, o que se mezclaban de forma desordenada. Si el audio era ruidoso, el sistema se confundía y fallaba.

2. La Solución: El Director de Orquesta (CoLoRSMamba)

CoLoRSMamba es como un director de orquesta muy inteligente que tiene dos músicos:

El Músico Visual (VideoMamba): Es el experto principal. Ve la acción, los movimientos y el contexto. Es el "ancla" o la base de la decisión.
El Músico Auditivo (AudioMamba): Es el experto en sonidos.

¿Qué hace el director?
En lugar de dejar que los dos músicos toquen a su aire, el director (que es el sistema visual) le susurra instrucciones al músico auditivo en tiempo real.

Si el director ve una pelea clara, le dice al músico auditivo: "¡Escucha con atención! Hay gritos, ¡eso es importante!".
Si el director ve que es solo ruido de tráfico o música, le dice: "¡No te fíes de lo que oyes! Es solo ruido, ignóralo".

3. La Magia: "LoRA Condicional" (El Ajuste Fino)

Aquí es donde entra la parte técnica explicada de forma sencilla. El sistema no solo "escucha" al director; cambia físicamente cómo funciona el oído.

Imagina que el músico auditivo tiene unos ajustes en su instrumento (como las cuerdas de una guitarra o los controles de volumen).

Los sistemas antiguos ajustaban el volumen después de que el músico tocaba la nota.
CoLoRSMamba ajusta los propios mecanismos que generan la nota antes de que suene.

Usa una técnica llamada LoRA Condicional. Es como si el director de orquesta pudiera cambiar las cuerdas de la guitarra del músico auditivo mientras toca, dependiendo de lo que ve. Si la escena visual es peligrosa, el sistema "afina" el oído para ser muy sensible a los sonidos de violencia. Si la escena es tranquila, "afina" el oído para ser más sordo a los ruidos falsos.

4. El Entrenamiento: No cualquier video sirve

Para entrenar a este sistema, los autores fueron muy cuidadosos.

El filtro de calidad: Imagina que tienes un montón de videos de peleas, pero muchos no tienen sonido o el sonido es de una película doblada que no coincide con la acción. Si entrenas al sistema con esos, se volverá tonto.
La limpieza: El equipo creó una versión "limpia" de las bases de datos, tirando a la basura todos los videos donde el audio no coincidía con la escena. Solo usaron los clips donde el sonido era real y relevante. Esto es como entrenar a un detective solo con casos donde las pruebas son claras.

5. Los Resultados: ¿Funciona?

¡Sí, y muy bien!

Más preciso: En pruebas reales, este sistema acertó más que los anteriores (casi un 89% de precisión en un dataset y 76% en otro).
Más eficiente: Es como un coche deportivo que va rápido pero gasta poca gasolina. Logra estos resultados con menos "cerebro" (menos parámetros) que otros sistemas gigantes.
El equilibrio: El sistema aprendió a decir: "La vista es la que manda, pero el oído ayuda mucho cuando la vista no está segura". De hecho, el audio ayudó a corregir errores en el 9.6% de los casos, mientras que solo confundió al sistema en un 3.6% de los casos.

En resumen

CoLoRSMamba es un sistema de seguridad que entiende que ver es creer, pero escuchar puede confirmar. En lugar de mezclar todo en un gran caos, deja que la vista guíe al oído, ajustando la sensibilidad del sonido en tiempo real para ignorar el ruido y detectar la violencia real, todo de una manera muy eficiente y rápida.

Es como tener un guardaespaldas que tiene ojos de águila y oídos de lobo, pero que sabe exactamente cuándo usar cada sentido para no alarmarse por una falsa alarma.

1. Problema y Motivación

La detección automática de violencia es una tarea crítica para la seguridad, pero presenta desafíos significativos en escenarios del mundo real:

Limitaciones Visuales: Los eventos violentos a menudo son difíciles de detectar solo con píxeles debido a oclusiones, movimientos pequeños, desenfoque o escenas concurridas.
Complejidad Multimodal: Aunque el audio (gritos, impactos, sirenas) es informativo, los paisajes sonoros reales pueden ser ruidosos, tener señales irrelevantes o estar desincronizados con la escena visual.
Asimetría de Confiabilidad: En la vigilancia, la evidencia visual suele ser primaria y fiable, mientras que el audio puede ser escaso o engañoso. La mayoría de los enfoques anteriores tratan la fusión de forma simétrica o se centran demasiado en el video.
Falta de Supervisión Fuerte y Datos Limpios: Muchos trabajos utilizan supervisión débil (etiquetas a nivel de video) o no filtran los clips que carecen de audio relevante, lo que penaliza injustamente la rama de audio en la evaluación.

2. Metodología: CoLoRSMamba

El autores proponen CoLoRSMamba, una arquitectura multimodal direccional (Video $\rightarrow$ Audio) basada en modelos de espacio de estados (Mamba).

Arquitectura Base

Utiliza VideoMamba para procesar el flujo de video y AudioMamba para el flujo de audio.
Ambos backbones están construidos sobre bloques Mamba bidireccionales (SSM selectivos).

Mecanismo Central: LoRA Condicional Dirigida (Conditional LoRA Steering)

La innovación principal no es fusionar características, sino condicionar los operadores del modelo de audio basándose en el contexto visual:

Ancla Semántica: El token CLS de VideoMamba en cada capa actúa como señal de control.
Condicionamiento a Nivel de Operador: En lugar de modificar las características de salida del audio, el token CLS de video genera vectores de modulación y una puerta de estabilización (stabilization gate) que se aplican directamente a los generadores de los parámetros del estado de espacio selectivo del AudioMamba: $\Delta$ (tamaño de paso), $B$ y $C$ .
LoRA Dinámico: Se utiliza una adaptación de bajo rango (LoRA) que es dinámica. Los factores de bajo rango ( $U, V$ ) se modulan por canal según la escena visual. Esto permite que el contexto visual reconfigure la dinámica temporal del audio (qué frecuencias atender, cómo olvidar el estado) en cada capa sin necesidad de atención cruzada token a token (lo cual es costoso computacionalmente).
Fusión: Las representaciones finales de video y audio se concatenan para la clasificación binaria.

Función de Pérdida

El entrenamiento combina:

Pérdida de Clasificación Binaria: Para detectar violencia vs. no violencia.
Pérdida AV-InfoNCE Simétrica: Una pérdida de contraste que alinea las incrustaciones de video y audio a nivel de clip, regularizando el espacio compartido y mejorando la robustez.

3. Contribuciones Clave

Primer Detector Multimodal Basado en Mamba con Supervisión Fuerte: Introducen un detector diseñado específicamente para clips con etiquetas explícitas, superando enfoques de supervisión débil.
Condicionamiento de Operadores (no de Características): Proponen condicionar los generadores de parámetros SSM ( $\Delta, B, C$ ) mediante LoRA condicional guiado por CLS. Es la primera vez que se usa LoRA como señal de control cruzado dentro de un modelo de espacio de estados selectivo.
Curación de Datos Justa: Crean subconjuntos de los datasets NTU-CCTV y DVD filtrados por audio, eliminando clips sin audio o con audio irrelevante, lo que permite una evaluación multimodal justa y realista.

4. Resultados Experimentales

Los modelos se evaluaron en los subconjuntos filtrados de NTU-CCTV y DVD, comparándose con baselines de solo audio, solo video y multimodales (CNN, Transformers, SSM).

Rendimiento en NTU-CCTV:
- Precisión: 88.63% (Superando a baselines como LAVISH 86.44% y DBVideoMamba 83.99%).
- F1-Violencia: 86.24%.
Rendimiento en DVD:
- Precisión: 75.77% (Superando a LAVISH 74.40% y MBT 73.37%).
- F1-Violencia: 72.94%.
Eficiencia: CoLoRSMamba logra el mejor rendimiento con una relación eficiencia-precisión superior. Con 158M parámetros y 1810 GFLOPs, supera a modelos mucho más grandes como LAVISH (238M parámetros) y MBT (174M parámetros).
Análisis de Contribución del Audio: El audio corrige errores del modelo de solo video en un 2.67 veces más de lo que introduce errores nuevos, demostrando que la guía visual evita que el audio ruidoso degrade el rendimiento.

5. Significado e Impacto

Eficiencia Computacional: Demuestra que los modelos de espacio de estados (Mamba) combinados con mecanismos de adaptación ligeros (LoRA) pueden superar a los Transformers multimodales pesados en tareas de seguridad crítica.
Diseño Asimétrico: Valida la hipótesis de que en la detección de violencia, el video debe ser el "ancla" que guía dinámicamente al audio, en lugar de tratar ambas modalidades por igual.
Robustez: El mecanismo de puerta de estabilización permite atenuar el audio cuando es conflictivo con la evidencia visual, reduciendo falsos positivos causados por ruido ambiental.
Reproducibilidad y Estándares: La creación de subconjuntos filtrados establece un nuevo estándar para la evaluación justa de modelos multimodales en detección de violencia, evitando sesgos por falta de datos de audio.

En resumen, CoLoRSMamba representa un avance significativo al integrar la eficiencia de los modelos Mamba con una fusión multimodal inteligente y direccional, logrando un estado del arte (SOTA) en la detección de violencia con un coste computacional reducido.