🤖 AI

FuseMamba-VD: Dual Branch VideoMamba with Gated Class Token Fusion for Violence Detection

Das Papier schlägt FuseMamba-VD vor, eine effiziente Dual-Branch-VideoMamba-Architektur mit Gated-Class-Token-Fusion, die durch ein State-Space-Model-Backbone eine State-of-the-Art-Leistung bei der Gewalterkennung auf mehreren Benchmarks erreicht, indem sie Genauigkeit und Recheneffizienz effektiv ausbalanciert.

Ursprüngliche Autoren: Damith Chamalke Senadeera, Muhammad Awais, Shibo Li, Dimitrios Kollias, Gregory Slabaugh

Veröffentlicht 2026-07-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Damith Chamalke Senadeera, Muhammad Awais, Shibo Li, Dimitrios Kollias, Gregory Slabaugh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, auf Überwachungskameraaufnahmen einen Streit auszuspähen, der auf einem belebten Stadtplatz ausbricht. Das ist ein schwieriger Job. Wenn man nur eine einzelne Momentaufnahme betrachtet, sieht man vielleicht zwei Menschen, die eng beieinander stehen, aber man kann nicht erkennen, ob sie sich umarmen oder streiten. Wenn man nur die Bewegung beobachtet, ohne auf die Details zu achten, übersieht man vielleicht die spezifische Geste, die ein Stoßen in einen Schlag verwandelt.

Dieses Paper stellt ein neues Computerprogramm namens FuseMamba-VD vor, das entwickelt wurde, um genau dieses Problem zu lösen. Denken Sie an einen hochtrainierten Sicherheitswachmann, der mit einem speziellen „Dual-Brain“-Ansatz die Kameras überwacht.

So funktioniert es, unterteilt in einfache Konzepte:

1. Das Problem mit alten Methoden

Frühere Computerprogramme versuchten dies auf zwei Arten zu lösen, aber beide hatten Mängel:

Die „langsame“ Methode (CNNs): Diese waren wie das Aufnehmen eines Fotos alle paar Sekunden. Sie waren gut darin, Details zu sehen, aber sie verpassten die lange Geschichte darüber, wie ein Kampf begann und endete.
Die „teure“ Methode (Transformer): Diese waren wie der Versuch, jedes einzelne Wort in einer Bibliothek gleichzeitig zu lesen, um eine Geschichte zu verstehen. Sie waren sehr intelligent, erforderten aber so viel Rechenleistung, dass sie zu langsam und zu teuer für den Einsatz auf realen Kameras waren.

2. Die neue Lösung: Ein Zweier-Team

Die Autoren haben ein System mit zwei separaten „Gehirnen“ (Zweigen) gebaut, die gleichzeitig arbeiten, inspiriert von einer neuen Art von effizienter Technologie namens Mamba (State-Space-Modelle).

Gehirn A (Der Detail-Detektiv): Dieser Zweig betrachtet das Video Bild für Bild und konzentriert sich auf räumliche Details. Er fragt: „Wie sehen die Menschen aus? Sind die Fäuste geballt? Wie nah stehen sie beieinander?“ Er priorisiert die Form und das Erscheinungsbild der Szene.
Gehirn B (Der Bewegungsverfolger): Dieser Zweig betrachtet das Video als einen kontinuierlichen Fluss und konzentriert sich auf die zeitliche Dynamik. Er fragt: „Wie bewegen sie sich? Nimmt die Geschwindigkeit zu? Gibt es ein plötzliches Vorstoßen?“ Er priorisiert die Bewegung und das Timing.

3. Das Geheimrezept: Die „Gated Fusion“

Normalerweise wartet man bis ganz zum Ende, um diese beiden Gehirne miteinander kommunizieren zu lassen. Aber FuseMamba-VD ist anders. Es verwendet einen Mechanismus namens Gated Class Token Fusion (GCTF).

Stellen Sie sich vor, die beiden Gehirne führen während des gesamten Beobachtungsprozesses ein Gespräch bei jedem einzelnen Schritt.

Der „Detail-Detektiv“ (Gehirn A) flüstert dem „Bewungsverfolger“ (Gehirn B) ständig Hinweise zu.
Ein spezielles Gate (ein intelligenter Schalter) entscheidet, wie viel dieser Informationen zu jedem gegebenen Zeitpunkt durchgelassen wird. Wenn die Bewegung verwirrend ist, sagt das Gate vielleicht: „Hör mehr auf die Details.“ Wenn die Details unscharf sind, sagt es vielleicht: „Konzentriere dich auf die Bewegung.“

Dieses kontinuierliche Gespräch über mehrere Schichten hinweg ermöglicht es dem System, sein Verständnis ständig zu verfeinern, anstatt erst am Ende die Notizen zusammenzuführen.

4. Der „Crop“-Trick

Bevor die Gehirne überhaupt mit dem Zuschauen beginnen, hat das System ein Cropping-Modul. Denken Sie an einen Kameramann, der auf die Personen im Video heranzoomt und den Hintergrund (wie Bäume, Autos oder leeren Himmel) ausschneidet. Dies stellt sicher, dass der Computer keine Energie verschwendet, indem er auf Dinge schaut, die keine Menschen sind, was ihn viel schneller und präziser beim Erkennen menschlicher Interaktionen macht.

5. Die Ergebnisse: Schneller und Schlauer

Die Autoren haben ihr neues System auf einer massiven Sammlung von Echtzeit-Überwachungsvideos getestet (indem sie vier verschiedene Datensätze zu einem riesigen Test zusammenführten) sowie auf einem neuen Datensatz namens DVD.

Genauigkeit: Es übertraf alle bisherigen „State-of-the-Art“-Modelle. Es war besser darin, Gewalt zu erkennen als die alten Schwergewichte.
Effizienz: Das ist der große Gewinn. Das neue Modell ist viel leichter. Es nutzt weniger als die Hälfte der Rechenleistung (FLOPs) und hat weniger „Neuronen“ (Parameter) als sein engster Konkurrent, CUE-Net.
Geschwindigkeit: Da es so effizient ist, läuft es auf High-End-Hardware etwa 4,7 Mal schneller als das bisher beste Modell.

Zusammenfassung

Kurz gesagt: FuseMamba-VD ist ein Detektor für Gewalt in Videos, der Videos nicht nur „sieht“, sondern zwei spezialisierte Experten besitzt, die währenddessen ständig miteinander chatten und dabei auf das Geschehen zoomen. Dieses Teamwork ermöglicht es dem System, Kämpfe genauer als zuvor zu erkennen, während es nur einen Bruchteil der Computerleistung verwendet, was es zu einer praktischen Lösung für reale Überwachungskameras macht.

Technisches Resümee: FuseMamba-VD

Problemstellung

Die rasante Zunahme von Überwachungskameras hat zu einem überwältigenden Volumen an Videodaten geführt, was eine kontinuierliche menschliche Überwachung zur Erkennung von Gewalt praktisch unmöglich und unzuverlässig macht. Bestehende Deep-Learning-Ansätze, wie etwa 3D-Convolutional Neural Networks (CNNs) und Transformer-basierte Architekturen, zeigen zwar Erfolge bei der Extraktion spatio-temporaler Merkmale, stehen jedoch vor erheblichen Einschränkungen. 3D-CNNs haben Schwierigkeiten, weitreichende Abhängigkeiten (long-range dependencies) zu erfassen, während Transformer eine quadratische Komplexität in Bezug auf die Sequenzlänge aufweisen, was ihre Skalierbarkeit für lange, hochauflösende Überwachungsvideos einschränkt. Darüber hinaus sind viele der für das Training verwendeten Datensätze entweder inszeniert (z. B. Filmszenen) oder schwach gelabelt, wodurch sie die Komplexität realer Überwachungsszenarien nicht adäquat abbilden.

Methodik

Die Autoren schlagen FuseMamba-VD vor, eine effiziente Architektur zur überwachten Gewalterkennung, die State-Space Models (SSMs) nutzt. Die zentrale Innovation liegt in einem Dual-Branch-Design kombiniert mit einem Gated Class Token Fusion (GCTF)-Mechanismus.

1. Architekturübersicht

Das Modell basiert auf dem VideoMamba-Backbone und nutzt bidirektionale State-Space-Module. Es besteht aus vier primären Komponenten:

Cropping-Modul: Um die Rechenressourcen auf relevante menschliche Interaktionen zu konzentrieren, extrahiert das System Regionen, die alle erkannten Personen in jedem Frame umschließen, basierend auf der Beobachtung, dass Gewalt typischerweise mehrere Individuen involviert.
Dual-Branch-Pipeline: Zwei parallele Pipelines verarbeiten den Videoinput ( $X \in \mathbb{R}^{3 \times T \times H \times W}$ $X \in R^{3 \times T \times H \times W}$ ) nach der Tokenisierung in spatiotemporale Patches:
- Branch-1 (Spatial-First Scanning): Die Tokens werden neu organisiert, um die räumliche Anordnung innerhalb der Frames zu priorisieren, bevor sie über die Zeit hinweg konkateniert werden. Dieser Zweig ist darauf ausgelegt, feingliedrige lokale räumliche Hinweise zu erfassen.
- Branch-2 (Temporal-First Scanning): Die Tokens behalten ihre natürliche zeitliche Reihenfolge bei und werden entlang der räumlichen Dimension gestapelt. Dieser Zweig konzentriert sich auf dynamische Bewegungsmuster und globale zeitliche Abhängigkeiten.
- Beide Zweige nutzen vortrainierte VideoMamba-Gewichte und verwenden bidirektionales Scannen.

2. Gated Class Token Fusion (GCTF)

Ein neuartiger kontinuierlicher Fusionsmechanismus wird eingeführt, um Informationen zwischen den beiden Zweigen zu integrieren. Im Gegensatz zu Late-Fusion-Ansätzen operiert GCTF auf jeder Ebene des Netzwerks:

Jeder Zweig erzeugt auf jeder Ebene ein Class Token ($CLS$).
Ein lernbarer Gating-Mechanismus führt das $CLS$-Token des räumlichen Zweigs ( $CLS^1$ ) adaptiv in das $CLS$-Token des temporalen Zweigs ( $CLS^2$ ) ein.
Die Fusion ist definiert als: $CLS^2_{fused} = \sigma' \odot CLS^2 + (1 - \sigma') \odot CLS^1$ , wobei $\sigma'$ ein durch eine Sigmoid-Funktion aktivierter lernbarer Parameter ist.
Dies ermöglicht eine progressive Verfeinerung der räumlichen und temporalen Repräsentationen, ohne sich zu früh in der Architektur auf eine der Modalitäten festzulegen.

3. Finale Fusion

In der finalen Schicht werden die $CLS$-Tokens beider Zweige konkateniert und durch eine vollvernetzte Projektionsschicht geleitet, um die finale Klassifizierungswahrscheinlichkeit zu erzeugen.

Zentrale Beiträge

Das Paper skizziert drei primäre Beiträge:

Dual-Branch State-Space-Architektur: Das erste State-Space-basierte Dual-Branch-Design für die überwachte Video-Gewalterkennung. Es entkoppelt explizit räumliches und temporales Denken, während es gleichzeitig eine kontinuierliche semantische Interaktion über Class Tokens ermöglicht, im Gegensatz zu früheren Modellen, die auf Late Fusion oder schweren Attention-Mechanismen basieren.
Gated Class Token Fusion (GCTF): Ein kontinuierlicher, schichtweiser Fusionsmechanismus, der zweigspezifische Class Tokens adaptiv integriert. Dies ermöglicht eine graduelle Ausrichtung der Merkmale und verhindert eine zu frühe Bindung an einen einzelnen Zweig.
Integrierter Surveillance-Benchmark und Effizienz: Die Autoren haben einen neuen Benchmark zusammengestellt, indem sie vier stark gelabelte Open-Source-Datensätze (RWF-2000, RLVS, SURV und VioPeru) unter strenger Kontrolle zusammengeführt haben, um Data Leakage zwischen Training und Test zu verhindern. Sie demonstrieren, dass FuseMamba-VD eine State-of-the-Art-Leistung erzielt und dabei die Anzahl der Parameter und FLOPs im Vergleich zu vorangegangener Arbeit erheblich reduziert.

Experimentelle Ergebnisse

Das Modell wurde auf dem neu konstruierten kombinierten Benchmark sowie auf dem kürzlich eingeführten DVD-Datensatz evaluiert.

Kombinierter Benchmark: FuseMamba-VD erreichte eine Top-1-Genauigkeit von 95,85 % und übertraf damit Baselines wie SlowFast, VideoSwin, UniFormer-V2, CUE-Net und verschiedene VideoMamba-Varianten. Es erreichte F1-Scores von 95,89 % (gewalttätig) und 95,81 % (nicht gewalttätig).
DVD-Datensatz: Auf diesem anspruchsvolleren Datensatz mit realweltlicher Variabilität und Klassenimbalance erreichte das Modell eine Top-1-Genauigkeit von 74,13 % und übertraf damit alle Baselines (die $\le$ 71 % erreichten).
Effizienz: Trotz der Tatsache, dass es CUE-Net (den engsten Konkurrenten hinsichtlich der Genauigkeit) übertrifft, nutzt FuseMamba-VD signifikant weniger Ressourcen:
- Parameter: 154,3 Mio. vs. 354 Mio. (CUE-Net).
- FLOPs: 1912 GFLOPs vs. 5906 GFLOPs.
- Inferenzgeschwindigkeit: Auf einer NVIDIA H100 GPU erreicht FuseMamba-VD 343,53 FPS, was einer $\approx$ 4,7-fachen Beschleunigung gegenüber CUE-Net (72,64 FPS) entspricht.
Ablationsstudien: Experimente bestätigten, dass das Dual-Branch-Design einem Single-Branch-Variant überlegen ist. Zudem waren kontinuierliche laterale Verbindungen in jedem Block leistungsfähiger als Konfigurationen, bei denen Verbindungen nur an spezifischen Schichten (Anfang, Mitte oder Ende) angewendet wurden.

Bedeutung und Ansprüche

Das Paper behauptet, dass FuseMamba-VD ein optimales Gleichgewicht zwischen Genauigkeit und Recheneffizienz bietet und das Potenzial von State-Space Models (SSMs) für skalierbare, ressourceneffiziente Video-Gewalterkennung aufzeigt. Durch die effektive Trennung von räumlichem und temporalem Denken bei gleichzeitiger Aufrechterhaltung der kontinuierlichen Interaktion über einen Gating-Mechanismus verbessert das Modell die Sensitivität für subtile Bewegungsunterschiede, die auf Gewalt hindeuten. Die Autoren positionieren diese Arbeit als einen Schritt hin zu praktischen Echtzeit-Überwachungsanwendungen, bei denen sowohl hohe Genauigkeit als auch geringe Rechenkosten entscheidend sind. Der Code und die vortrainierten Modelle werden der Community zur Verfügung gestellt.