🤖 AI

FuseMamba-VD: Dual Branch VideoMamba with Gated Class Token Fusion for Violence Detection

Il documento propone FuseMamba-VD, un'efficiente architettura VideoMamba a doppio ramo con fusione del token di classe tramite gate che raggiunge prestazioni allo stato dell'arte nel rilevamento della violenza su molteplici benchmark, bilanciando efficacemente accuratezza ed efficienza computazionale attraverso un backbone basato su modelli a spazio di stato.

Autori originali: Damith Chamalke Senadeera, Muhammad Awais, Shibo Li, Dimitrios Kollias, Gregory Slabaugh

Pubblicato 2026-07-07

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Damith Chamalke Senadeera, Muhammad Awais, Shibo Li, Dimitrios Kollias, Gregory Slabaugh

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di individuare l'inizio di una rissa in una piazza affollata utilizzando le riprese di una telecamera di sicurezza. È un lavoro difficile. Se guardi solo un singolo fotogramma, potresti vedere due persone vicine, ma non puoi capire se si stanno abbracciando o combattendo. Se guardi solo il movimento senza prestare attenzione ai dettagli, potresti perdere il gesto specifico che trasforma una spinta in un pugno.

Questo articolo presenta un nuovo programma per computer chiamato FuseMamba-VD, progettato per risolvere questo problema. Immaginalo come un guardiano altamente addestrato che usa un approccio a "doppio cervello" per osservare le telecamere.

Ecco come funziona, suddiviso in concetti semplici:

1. Il problema dei vecchi metodi

I precedenti programmi per computer cercavano di fare questo in due modi, ma entrambi presentavano dei difetti:

Il metodo "Lento" (CNN): Questi erano come scattare una foto ogni pochi secondi. Erano bravi a vedere i dettagli, ma perdevano la storia lunga di come una rissa inizia e finisce.
Il metodo "Costoso" (Transformer): Questi erano come cercare di leggere ogni singola parola in una biblioteca tutta in una volta per capire una storia. Erano molto intelligenti, ma richiedevano così tanta potenza di calcolo da essere lenti e costosi da gestire su telecamere del mondo reale.

2. La nuova soluzione: Una squadra di due persone

Gli autori hanno costruito un sistema con due "cervelli" separati (rami) che lavorano contemporaneamente, ispirandosi a una nuova tipologia di tecnologia efficiente chiamata Mamba (Modelli State-Space).

Cervello A (Il Detective dei Dettagli): Questo ramo osserva il video fotogramma per fotogramma, concentrandosi sui dettagli spaziali. Si chiede: "Che aspetto hanno le persone? Hanno i pugni chiusi? Quanto sono vicine?". Dà priorità alla forma e all'aspetto della scena.
Cervello B (Il Tracciatore del Movimento): Questo ramo osserva il video come un flusso continuo, concentrandosi sulla dinamica temporale. Si chiede: "Come si stanno muovendo? La velocità sta aumentando? C'è uno scatto improvviso?". Dà priorità al movimento e alla tempistica.

3. Il "Tocco Segreto": La Fusione a Gate

Di solito, si aspetta fino alla fine per far parlare questi due cervelli tra loro. Ma FuseMamba-VD è diverso. Utilizza un meccanismo chiamato Gated Class Token Fusion (GCTF).

Immagina che i due cervelli abbiano una conversazione ad ogni singolo passaggio mentre guardano il video.

Il "Detective dei Dettagli" (Cervello A) sussurra indizi al "Tracciatore del Movimento" (Cervello B) costantemente.
Un gate speciale (un interruttore intelligente) decide quanta di quell'informazione lasciar passare in ogni momento. Se il movimento è confuso, il gate potrebbe dire: "Ascolta di più i dettagli". Se i dettagli sono sfocati, potrebbe dire: "Concentrati sul movimento".

Questa conversazione continua, livello dopo livello, permette al sistema di affinare costantemente la propria comprensione, invece di aspettare la fine per combinare gli appunti.

4. Il trucco del "Ritaglio" (Crop)

Prima ancora che i cervelli inizino a guardare, il sistema ha un Modulo di Ritaglio. Immaginalo come un operatore di ripresa che zooma sulle persone nel video e taglia fuori lo sfondo (come alberi, auto o cielo vuoto). Questo assicura che il computer non sprechi energia guardando cose che non sono persone, rendendolo molto più veloce e accurato nell'individuare le interazioni umane.

5. I Risultati: Più Veloci e Più Intelligenti

Gli autori hanno testato questo nuovo sistema su una vasta collezione di video di sorveglianza del mondo reale (fondendo quattro diversi dataset in un unico enorme test) e su un nuovo dataset chiamato DVD.

Accuratezza: Ha superato tutti i precedenti modelli "state-of-the-art". È stato migliore nel rilevare la violenza rispetto ai vecchi pesi massimi.
Efficienza: Questa è la grande vittoria. Il nuovo modello è molto più leggero. Utilizza meno della metà della potenza di calcolo (FLOPs) e ha meno "neuroni" (parametri) rispetto al suo concorrente più vicino, CUE-Net.
Velocità: Poiché è molto efficiente, gira circa 4,7 volte più velocemente su hardware di fascia alta rispetto al precedente miglior modello.

Riassunto

In breve, FuseMamba-VD è un rilevatore di violenza video che non si limita a "guardare" i video; ha due esperti specializzati che parlano costantemente tra loro mentre zoomano sull'azione. Questo lavoro di squadra permette di individuare le rime con maggiore accuratezza rispetto al passato, pur utilizzando una frazione della potenza di calcolo del computer, rendendolo una soluzione pratica per le telecamere di sicurezza reali.

Sintesi Tecnica: FuseMamba-VD

Problematica

La rapida proliferazione delle telecamere di sorveglianza ha creato un volume travolgente di dati video, rendendo il monitoraggio continuo dell'uomo per il rilevamento della violenza impraticabile e inaffidabile. Sebbene gli approcci esistenti di deep learning, come le Reti Neurali Convoluzionali 3D (3D CNN) e le architetture basate su Transformer, abbiano mostrato successo nell'estrazione di caratteristiche spazio-temporali, essi affrontano significativi limiti. Le 3D CNN faticano a catturare dipendenze a lungo raggio, mentre i Transformer incorrono in una complessità computazionale quadratica rispetto alla lunghezza della sequenza, limitando la loro scalabilità per video di sorveglianza lunghi e ad alta risoluzione. Inoltre, molti dataset esistenti utilizzati per l'addestramento sono o messi in scena (ad esempio, scene cinematografiche) o debolmente etichettati, fallendo nel rappresentare le complessità degli scenari di sorveglianza del mondo reale.

Metodologia

Gli autori propongono FuseMamba-VD, un'architettura efficiente progettata per il rilevamento supervisionato della violenza che sfrutta i Modelli a Spazio di Stato (SSM). L'innovazione principale risiede in un design a due rami combinato con un meccanismo di Gated Class Token Fusion (GCTF).

1. Panoramica dell'Architettura

Il modello si basa sulla backbone VideoMamba, utilizzando moduli di stato-spazio bidirezionali. È composto da quattro componenti primari:

Modulo di Cropping: Per concentrare le risorse computazionali sulle interazioni umane rilevanti, il sistema estrae le regioni che comprendono tutte le persone rilevate in ogni fotogramma, basandosi sull'osservazione che la violenza coinvolge tipicamente più individui.
Pipeline a Due Rami: Due pipeline parallele elaborano l'input video ( $X \in \mathbb{R}^{3 \times T \times H \times W}$ $X \in R^{3 \times T \times H \times W}$ ) dopo la tokenizzazione in patch spazio-temporali:
- Branch-1 (Scansione Prioritaria Spaziale): I token vengono riorganizzati per dare priorità alla disposizione spaziale all'interno dei fotogrammi prima di concatenarli attraverso il tempo. Questo ramo è progettato per catturare indizi spaziali locali fini.
- Branch-2 (Scansione Prioritaria Temporale): I token mantengono il loro ordine temporale naturale e vengono impilati lungo la dimensione spaziale. Questo ramo si concentra sui modelli di movimento dinamico e sulle dipendenze temporali globali.
- Entrambi i rami utilizzano pesi pre-addestrati di VideoMamba e impiegano una scansione bi-direzionale.

2. Gated Class Token Fusion (GCTF)

Un nuovo meccanismo di fusione continua viene introdotto per integrare le informazioni tra i due rami. A differenza degli approcci di late-fusion, GCTF opera ad ogni livello della rete:

Ogni ramo produce un Class Token ($CLS$) ad ogni livello.
Un meccanismo di gating apprendibile fonde adattivamente il token $CLS$ del ramo spaziale ( $CLS^1$ ) nel token $CLS$ del ramo temporale ( $CLS^2$ ).
La fusione è definita come: $CLS^2_{fused} = \sigma' \odot CLS^2 + (1 - \sigma') \odot CLS^1$ , dove $\sigma'$ è un parametro apprendibile attivato da una funzione sigmoide.
Ciò consente un raffinamento progressivo delle rappresentazioni spaziali e temporali senza un impegno precoce verso una singola modalità all'interno della rete.

3. Fusione Finale

Al livello finale, i token $CLS$ di entrambi i rami vengono concatenati e passati attraverso uno strato di proiezione a connessione completa per produrre la probabilità di classificazione finale.

Contributi Chiave

Il documento delinea tre contributi primari:

Architettura a Due Rami basata su Spazio di Stato: Il primo design a due rami basato su modelli a spazio di stato per il rilevamento supervisionato della violenza nei video. Essa scinde esplicitamente il ragionamento spaziale e temporale consentendo al contempo un'interazione semantica continua tramite class token, contrastando con i modelli precedenti che si affidano alla late fusion o a pesanti meccanismi di attenzione.
Gated Class Token Fusion (GCTF): Un meccanismo di fusione continua e per livello che integra adattivamente i class token specifici per ramo. Ciò consente un allineamento graduale delle caratteristiche e impedisce l'impegno precoce verso un singolo ramo.
Benchmark di Sorveglianza Integrato ed Efficienza: Gli autori hanno curato un nuovo benchmark unendo quattro dataset open-source fortemente etichettati (RWF-2000, RLVS, SURV, e VioPeru) con controlli rigorosi per prevenire la fuga di dati (data leakage) tra l'addestramento e i set di test. Dimostrano che FuseMamba-VD raggiunge prestazioni allo stato dell'arte riducendo sostanzialmente parametri e FLOPs rispetto al lavoro precedente.

Risultati Sperimentali

Il modello è stato valutato sul nuovo benchmark combinato e sul recentemente introdotto dataset DVD.

Combined Benchmark: FuseMamba-VD ha raggiunto un'accuratezza Top-1 del 95,85%, superando i baseline inclusi SlowFast, VideoSwin, UniFormer-V2, CUE-Net e varie varianti di VideoMamba. Ha ottenuto punteggi F1 di 95,89% (violento) e 95,81% (non violento).
Dataset DVD: Su questo dataset più impegnativo, caratterizzato da variabilità del mondo reale e squilibrio delle classi, il modello ha raggiunto il 74,13% di accuratezza Top-1, superando tutti i baseline (che hanno ottenuto $\le$ 71%).
Efficienza: Nonostante superi CUE-Net (il concorrente più vicino per accuratezza), FuseMamba-VD utilizza significativamente meno risorse:
- Parametri: 154,3M vs 354M (CUE-Net).
- FLOPs: 1912 GFLOPs vs 5906 GFLOPs.
- Velocità di Inferenza: Su una GPU NVIDIA H100, FuseMamba-VD raggiunge 343,53 FPS, un incremento di velocità di circa $\approx$ 4,7 $\times$ rispetto a CUE-Net (72,64 FPS).
Studi di Ablazione: Gli esperimenti hanno confermato che il design a due rami è superiore alle varianti a singolo ramo. Inoltre, le connessioni laterali continue in ogni blocco hanno superato le configurazioni in cui le connessioni venivano applicate solo a livelli specifici (inizio, metà o fine).

Significato e Rivendicazioni

Il documento sostiene che FuseMamba-VD offre un equilibrio ottimale tra accuratezza ed efficienza computazionale, dimostrando la promessa dei Modelli a Spazio di Stato (SSM) per il rilevamento della violenza nei video scalabile e a basso costo di risorse. Separando efficacementamente il ragionamento spaziale e temporale e mantenendo al contempo un'interazione continua attraverso un meccanismo di gating, il modello migliora la sensibilità alle sottili differenze di movimento indicative di violenza. Gli autori posizionano questo lavoro come un passo verso applicazioni di sorveglianza reali e pratiche, dove sia l'alta accuratezza che il basso costo computazionale sono critici. Il codice e i modelli pre-addestrati sono resi disponibili alla comunità.