CoLoRSMamba: Conditional LoRA-Steered Mamba for Supervised Multimodal Violence Detection

Probleemstelling

Automatische gewelddetectie is een kritieke taak voor beveiliging en contentmoderatie. Hoewel video-analyse essentieel is, zijn visuele signalen in realistische scenario's vaak onduidelijk door beweging, wazigheid, obstructie of drukte. Audio kan aanvullende informatie bieden (zoals schreeuwen, schoten of brekend glas), maar realistische geluidscènes zijn vaak ruisend of hebben een zwakke relatie tot het zichtbare beeld.

Bestaande methoden kampen met twee hoofdproblemen:

1. Asymmetrische betrouwbaarheid: Visueel bewijs is vaak de primaire en betrouwbare bron, terwijl audio soms misleidend of irrelevant kan zijn. De meeste bestaande modellen behandelen beide modaliteiten echter als gelijkwaardig of gebruiken late fusie, wat leidt tot suboptimale prestaties wanneer audio "verkeerd" is.
2. Dataset-issues: Veel bestaande datasets bevatten clips waar de audio niet relevant is voor het visuele tafereel (bijv. achtergrondmuziek, stilte of off-scene geluid). Dit straft de audio-tak onterecht af en verduistert de ware waarde van kruismodale learning.

Methodologie: CoLoRSMamba

De auteurs stellen CoLoRSMamba voor, een richtinggebonden architectuur (Video $\rightarrow$ Audio) die gebaseerd is op de Mamba-architectuur (selectieve state-space modellen).

1. Architecturale Kern:

• Semantische Anker: VideoMamba fungeert als de primaire "semantische anker". AudioMamba fungeert als een begeleide complementaire tak.
• Operator-niveau Conditionering: In plaats van audio-features na berekening te moduleren (zoals bij FiLM), of statische LoRA-updates toe te passen, past CoLoRSMamba een Conditionele LoRA (Low-Rank Adaptation) toe op de operators zelf die de selectieve state-space parameters genereren.
• Mechanisme: Op elk laagniveau ($\ell$) genereert de CLS-token van VideoMamba een moduleringsvector en een stabilisatiepoort ($g(z)$). Deze sturen de AudioMamba-projecties die verantwoordelijk zijn voor de parameters $\Delta$ (stapgrootte), $B$ (input) en $C$ (output).
  • Dit betekent dat de visuele context de temporele dynamiek van de audio-tak direct herschikt (bijv. welke frequenties worden geattendeerd, hoe snel de staat vergeet) zonder dure token-level cross-attention.
• Stabilisatiepoort: Een specifieke poort ($g(z)$) zorgt ervoor dat de audio-tak stabiel blijft en niet overgevoelig reageert op ruis, wat essentieel is voor de asymmetrische aard van gewelddetectie.

2. Trainingsdoel:

• Supervisie: Het model wordt getraind met sterke supervisie (binair classificatie op clip-niveau) op basis van tijdsannotaties.
• Symmetrische AV-InfoNCE: Een extra contrastieve loss-functie wordt toegevoegd om de gedeelde embedding-ruimte van audio en video te aligneren. Dit helpt bij het leren van robuuste representaties, zelfs als de audio-tak soms minder betrouwbaar is.

3. Dataverwerking:

• De auteurs hebben een strikt audio-filteringsprotocol toegepast op de NTU-CCTV en DVD datasets. Clips zonder audio, met stilte (< -80 dB) of met niet-relevante off-scene geluiden (dubbing, muziek) werden verwijderd om een eerlijke evaluatie van de multimodale prestaties mogelijk te maken.

Belangrijkste Bijdragen

1. Eerste sterk gesuperviseerde Mamba-violence detector: Introductie van een multimodale Mamba-architectuur voor gewelddetectie met sterke supervisie.
2. Operator-level Conditional LoRA: Een nieuw mechanisme waarbij de CLS-token van video de generatoren van de SSM-parameters ($\Delta, B, C$) in de audio-tak conditioneert. Dit is een uniek gebruik van input-geconditioneerde LoRA als kruismodale sturingssignaal binnen een selectief state-space model.
3. Gefilterde Datasets: Creatie van audio-gefilterde subsets van NTU-CCTV en DVD om eerlijke benchmarks te bieden voor multimodale evaluatie, waarbij clips met onbruikbare audio worden verwijderd.

Resultaten

Het model werd getest op de gefilterde subsets van NTU-CCTV en DVD en presteerde superieur aan bestaande audio-only, video-only en multimodale baselines (zoals LAVISH, MBT, DBVideoMamba).

• Prestaties:
  • NTU-CCTV: 88,63% nauwkeurigheid / 86,24% F1-V (Violent).
  • DVD: 75,77% nauwkeurigheid / 72,94% F1-V.
• Efficiëntie: CoLoRSMamba bereikt deze resultaten met minder parameters (158M) en FLOPs dan grotere Transformer-modellen (zoals LAVISH met 238M parameters), wat een uitstekende afweging tussen nauwkeurigheid en efficiëntie biedt.
• Ablatie-studies:
  • Bevestigde dat continue interactie over alle lagen beter werkt dan vroege of late fusie.
  • Toonde aan dat Video $\rightarrow$ Audio sturing superieur is aan Audio $\rightarrow$ Video of kruisende sturing, wat de visuele dominantie bevestigt.
  • De stabilisatiepoort en de operator-level conditionering bleken cruciaal voor de prestatieverbetering ten opzichte van standaard LoRA of FiLM.
• Analyse: Audio helpt in 2,67x meer gevallen dan het schade toebrengt. Het corrigeert visuele fouten (bijv. bij onduidelijke bewegingen) door geluidssignalen (schoten, explosies) te gebruiken, maar wordt onderdrukt wanneer audio ruisend is en visueel bewijs duidelijk is.

Betekenis

Dit paper biedt een belangrijke stap voorwaarts in multimodale gewelddetectie door:

1. De asymmetrie tussen visuele en auditieve betrouwbaarheid in realistische scenario's te respecteren via een richtinggebonden ontwerp.
2. Te tonen dat het conditioneren van de interne dynamische parameters van state-space modellen (in plaats van alleen features) een krachtige methode is voor efficiënte en nauwkeurige kruismodale integratie.
3. De noodzaak te benadrukken van dataverzorging (audio-filtering) voor eerlijke evaluatie van multimodale systemen.

De resultaten suggereren dat CoLoRSMamba een veelbelovende basis is voor schaalbare, veilige en efficiënte detectiesystemen in surveillance-omgevingen.