🤖 AI

FuseMamba-VD: Dual Branch VideoMamba with Gated Class Token Fusion for Violence Detection

Het artikel stelt FuseMamba-VD voor, een efficiënte dual-branch VideoMamba-architectuur met gated class token fusion die een state-of-the-art prestatie op het gebied van gewelddetectie bereikt op meerdere benchmarks door effectief de nauwkeurigheid en computationele efficiëntie te balanceren via een state-space model backbone.

Oorspronkelijke auteurs: Damith Chamalke Senadeera, Muhammad Awais, Shibo Li, Dimitrios Kollias, Gregory Slabaugh

Gepubliceerd 2026-07-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Damith Chamalke Senadeera, Muhammad Awais, Shibo Li, Dimitrios Kollias, Gregory Slabaugh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een vechtpartij te ontdekken die uitbreekt op een druk stadsplein aan de hand van camerabeelden. Dat is een lastige klus. Als je alleen naar een enkele snapshot kijkt, zie je misschien twee mensen dicht bij elkaar staan, maar je kunt niet zien of ze elkaar een knuffel geven of aan het vechten zijn. Als je alleen naar de beweging kijkt zonder naar de details te kijken, mis je misschien de specifieke handeling die een duw verandert in een klap.

Dit artikel introduceert een nieuw computerprogramma genaamd FuseMamba-VD, ontworpen om dit probleem op te lossen. Denk aan een zeer getrainde beveiligingsbeambte die een speciale "twee-hersenen-aanpak" gebruikt om de camera's in de gaten te houden.

Hier is hoe het werkt, onderverdeeld in eenvoudige concepten:

1. Het probleem met oude methoden

Eerdere computerprogramma's probeerden dit op twee manieren te doen, maar beide hadden gebreken:

De "Trage" Methode (CNN's): Deze waren als het maken van een foto elke paar seconden. Ze waren goed in het zien van details, maar misten het lange verhaal over hoe een gevecht begon en eindigde.
De "Dure" Methode (Transformers): Deze waren als het proberen te lezen van elk afzonderlijk woord in een bibliotheek tegelijk om een verhaal te begrijpen. Ze waren erg slim, maar vereisten zoveel computerkracht dat ze traag en duur waren om te draaien op echte camera's in de praktijk.

2. De nieuwe oplossing: Een tweepersoonsteam

De auteurs hebben een systeem gebouwd met twee aparte "hersenen" (takken) die tegelijkertijd werken, geïnspireerd door een nieuwe soort efficiënte technologie genaamd Mamba (State-Space Models).

Brein A (De Detaildetective): Deze tak kijkt frame voor frame naar de video en focust op ruimtelijke details. Het vraagt: "Hoe zien de mensen eruit? Zijn hun vuisten gebald? Hoe dicht staan ze bij elkaar?" Het geeft prioriteit aan de vorm en het uiterlijk van de scène.
Brein B (De Bewegingsvolger): Deze tak bekijkt de video als een continue stroom en focust op temporele dynamiek. Het vraagt: "Hoe bewegen ze? Neemt de snelheid toe? Is er een plotselinge uitval?" Het geeft prioriteit aan de beweging en de timing.

3. Het geheime ingrediënt: De "Gated Fusion"

Normaal gesproken zou je wachten tot het allerlaatste moment om de twee hersenen met elkaar te laten praten. Maar FuseMamba-VD is anders. Het gebruikt een mechanisme genaamd Gated Class Token Fusion (GCTF).

Stel je voor dat de twee hersenen bij elke stap van het proces een gesprek voeren terwijl ze de video bekijken.

De "Detaildetective" (Brein A) fluistert constant aanwijzingen naar de "Bewegingsvolger" (Brein B).
Een speciale poort (een slimme schakelaar) bepaalt hoeveel van die informatie er op elk gegeven moment doorheen wordt gelaten. Als de beweging verwarrend is, kan de poort zeggen: "Luister meer naar de details." Als de details wazig zijn, kan hij zeggen: "Focus op de beweging."

Dit continue gesprek, laag voor laag, stelt het systeem in staat om het begrip constant te verfijnen, in plaats van te wachten tot het einde om de aantekeningen te combineren.

4. De "Crop"-truc

Voordat de hersenen zelfs maar beginnen met kijken, heeft het systeem een Cropping Module. Denk aan een cameraman die inzoomt op de mensen in de video en de achtergrond (zoals bomen, auto's of een lege lucht) wegknipt. Dit zorgt ervoor dat de computer geen energie verspilt aan het bekijken van zaken die geen mensen zijn, wat het veel sneller en nauwkeuriger maakt bij het opsporen van menselijke interacties.

5. De resultaten: Sneller en slimmer

De auteurs hebben dit nieuwe systeem getest op een enorme collectie videobeelden uit de echte wereld (door vier verschillende datasets samen te voegen tot één gigantische test) en een nieuwe dataset genaamd DVD.

Nauwkeurigheid: Het versloeg alle voorgaande "state-of-the-art" modellen. Het was beter in het opsporen van geweld dan de oude zwaargewichten.
Efficiëntie: Dit is de grote winst. Het nieuwe model is veel lichter. Het gebruikt minder dan de helft van de computerkracht (FLops) en heeft minder "neuronen" (parameters) dan de dichtstbijzijnde concurrent, CUE-Net.
Snelheid: Omdat het zo efficiënt is, draait het ongeveer 4,7 keer sneller op hoogwaardige hardware dan het vorige beste model.

Samenvatting

Kortom, FuseMamba-VD is een detectiesysteem voor geweld in video dat niet alleen video's "bekijkt"; het heeft twee gespecialiseerde experts die constant met elkaar praten terwijl ze inzoomen op de actie. Dit teamwork stelt het systeem in staat om gevechten nauwkeuriger te ontdekken dan voorheen, terwijl het slechts een fractie van de computerkracht gebruikt, wat het een praktische oplossing maakt voor echte beveiligingscamera's.

Technische Samenvatting: FuseMamba-VD

Probleemstelling

De snelle proliferatie van surveillancecamera's heeft gezorgd voor een overweldigend volume aan videodata, waardoor continue menselijke monitoring voor gewelddetectie onpraktisch en onbetrouwbaar is geworden. Hoewel bestaande deep learning-benaderingen, zoals 3D Convolutional Neural Networks (CNN's) en Transformer-gebaseerde architecturen, succes hebben getoond bij het extraheren van spatio-temporele kenmerken, kampen ze met significante beperkingen. 3D CNN's hebben moeite met het vastleggen van langetermijnafhankelijkheden, terwijl Transformers een kwadratische computationele complexiteit hebben ten opzien van de sequentielengte, wat hun schaalbaarheid voor lange, hoogresolutie surveillancevideo's beperkt. Bovendien zijn veel bestaande datasets die voor training worden gebruikt, ofwel gescript (bijv. filmscènes) of zwak gelabeld, waardoor ze niet de complexiteit van realistische surveillance-scenario's vertegenwoordigen.

Methodologie

De auteurs stellen FuseMamba-VD voor, een efficiënte architectuur ontworpen voor gesuperviseerde gewelddetectie die gebruikmaakt van State-Space Models (SSM's). De kerninnovatie ligt in een dual-branch design gecombineerd met een Gated Class Token Fusion (GCTF) mechanisme.

1. Architectuuroverzicht

Het model is gebouwd op de VideoMamba-backbone en maakt gebruik van bidirectionele state-space modules. Het bestaat uit vier primaire componenten:

Cropping Module: Om computationele middelen te concentreren op relevante menselijke interacties, extraheert het systeem regio's die alle gedetecteerde mensen in elk frame omvatten, gebaseerd op de observatie dat geweld meestal meerdere individuen betreft.
Dual-Branch Pipeline: Twee parallelle pipelines verwerken de video-input ( $X \in \mathbb{R}^{3 \times T \times H \times W}$ $X \in R^{3 \times T \times H \times W}$ ) na tokenisatie in spatio-temporele patches:
- Branch-1 (Spatial-First Scanning): Tokens worden georganiseerd om de ruimtelijke lay-out binnen frames te prioriteren voordat ze over de tijd worden samengevoegd. Deze tak is ontworend om fijnmazige lokale ruimtelijke aanwijzingen te vangen.
- Branch-2 (Temporal-First Scanning): Tokens behouden hun natuurlijke temporele volgorde en worden langs de ruimtelijke dimensie gestapeld. Deze tak focust op dynamische bewegingspatronen en globale temporele afhankelijkheden.
- Beide takken maken gebruik van pre-trained VideoMamba-gewichten en hanteren bidirectionele scanning.

2. Gated Class Token Fusion (GCTF)

Een nieuw continu fusiemechanisme wordt geïntroduceerd om informatie tussen de twee takken te integreren. In tegenstelling tot late-fusion benaderingen, opereert GCTF op elk niveau van het netwerk:

Elke tak produceert een Class Token ($CLS$) op elk niveau.
Een leerbaar gating-mechanisme voegt de ruimtelijke tak's $CLS$ token ( $CLS^1$ ) adaptief samen met de temporele tak's $CLS$ token ( $CLS^2$ ).
De fusie wordt gedefinieerd als: $CLS^2_{fused} = \sigma' \odot CLS^2 + (1 - \sigma') \odot CLS^1$ , waarbij $\sigma'$ een met een sigmoid-functie geactiveerde leerbare parameter is.
Dit maakt een progressieve verfijning van ruimtelijke en temporele representaties mogelijk zonder vroegtijdig te veel te committeren aan één van beide modaliteiten in het netwerk.

3. Finale Fusie

Op het laatste niveau worden de $CLS$ tokens van beide takken samengevoegd (geconcateneerd) en door een volledig verbonden projectielaag geleid om de uiteindelijke classificatiekans te produceren.

Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

Dual-Branch State-Space Architectuur: De eerste state-space-gebaseerde dual-branch design voor gesuperviseerde video-gewelddetectie. Het ontkoppelt expliciet ruimtelijk en temporeel redeneren terwijl het continue semantische interactie mogelijk maakt via class tokens, in contrast met eerdere modellen die vertrouwen op late fusion of zware attention-mechanismen.
Gated Class Token Fusion (GCTF): Een continu, laag-gebaseerd fusiemechanisme dat tak-specifieke class tokens adaptief integreert. Dit maakt een geleidelijke uitlijning van kenmerken mogelijk en voorkomt vroege overcommittering aan een enkele tak.
Geïntegreerde Surveillance Benchmark en Efficiëntie: De auteurs hebben een nieuwe benchmark samengesteld door vier sterk gelabelde open-source datasets (RWF-2000, RLVS, SURV en VioPeru) samen te voegen met strikte controles om datalekken tussen training en testen te voorkomen. Ze demonstreren dat FuseMamba-VD een state-of-the-art prestatie levert terwijl het aanzienlijk minder parameters en FLOPs gebruikt dan voorgaand werk.

Experimentele Resultaten

Het model werd geëvalueerd op de nieuw geconstrueerde gecombineerde benchmark en de recent geïntroduceerde DVD dataset.

Gecombineerde Benchmark: FuseMamba-VD behaalde een Top-1 nauwkeurigheid van 95,85%, waarmee het baselines zoals SlowFast, VideoSwin, UniFormer-V2, CUE-Net en diverse VideoMamba-varianten overtreft. Het behaalde F1-scores van 95,89% (gewelddadig) en 95,81% (niet-gewelddadig).
DVD Dataset: Op deze meer uitdagende dataset met real-world variabiliteit en klassenimbalans, bereikte het model een Top-1 nauwkeurigheid van 74,13%, waarmee het alle baselines (die $\le$ 71% scoorden) overtrof.
Efficiëntie: Ondanks het overtreffen van CUE-Net (de dichtstbijzijnde concurrent qua nauwkeurigheid), gebruikt FuseMamba-VD aanzienlijk minder middelen:
- Parameters: 154,3M vs. 354M (CUE-Net).
- FLOPs: 1912 GFLOPs vs. 5906 GFLOPs.
- Inference Snelheid: Op een NVIDIA H100 GPU bereikt FuseMamba-VD 343,53 FPS, een versnelling van $\approx$ 4,7 $\times$ ten opzichte van CUE-Net (72,64 FPS).
Ablatie-studies: Experimenten bevestigden dat het dual-branch design superieur is aan single-branch varianten. Bovendien presteerden continue laterale verbindingen op elk blok beter dan configuraties waarbij verbindingen alleen op specifieke lagen werden toegepast (begin, midden of eind).

Betekenis en Claims

Het artikel beweert dat FuseMamba-VD een optimaal evenwicht biedt tussen nauwkeurigheid en computationele efficiëntie, en daarmee de belofte van State-Space Models (SSM's) voor schaalbare, hulpbron-efficiënte video-gewelddetectie aantoont. Door ruimtelijk en temporeel redeneren effectief te scheiden terwijl een continue interactie via een gating-mechanisme behouden blijft, verbetert het model de gevoeligheid voor subtiele bewegingsverschillen die duiden op geweld. De auteurs positioneren dit werk als een stap naar praktische, real-world surveillance toepassingen waar zowel hoge nauwkeurigheid als lage computationele kosten cruciaal zijn. De code en pre-trained modellen worden beschikbaar gesteld aan de community.