💻 computer science

DIFEM: Key-points Interaction based Feature Extraction Module for Violence Recognition in Videos

Dit paper introduceert DIFEM, een lichtgewicht module die dynamische interacties tussen menselijke skelet-punten analyseert om geweld in video's efficiënter en met minder parameters dan bestaande deep learning-methoden te detecteren.

Oorspronkelijke auteurs: Himanshu Mittal, Suvramalya Basak, Anjali Gautam

Gepubliceerd 2026-03-31

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Himanshu Mittal, Suvramalya Basak, Anjali Gautam

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een heel drukke markt of een drukke voetbalstadion bekijkt via een camera. Je ziet honderden mensen die lopen, praten en bewegen. Plotseling begint er ergens een vechtpartij. Voor een mens is het lastig om direct te zien wat er gebeurt als je niet goed kijkt, en voor een computer is het nog moeilijker.

Deze paper introduceert een slimme, nieuwe manier om computers te leren vechtpartijen in video's te herkennen, zonder dat ze een superkrachtige (en dure) computer nodig hebben.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De "Zware" Computers

Meestal proberen computers om vechtpartijen te zien door de hele video als een enorme, complexe puzzel te bekijken. Ze gebruiken zware "Deep Learning" modellen.

De analogie: Dit is alsof je probeert te begrijpen of iemand aan het vechten is door elke seconde van de video in 4K-kwaliteit te analyseren, pixel voor pixel, alsof je een hele bibliotheek van boeken leest om één zin te vinden. Het werkt, maar het kost enorm veel tijd, energie en rekenkracht.

2. De Oplossing: DIFEM (De "Bewegings-Scanner")

De auteurs van dit paper zeggen: "Wacht even, hoe vechten mensen eigenlijk?"
Mensen vechten door hun ledematen (handen, ellebogen, knieën) heel snel te bewegen en dicht bij elkaar te komen. Ze hebben geen zware computer nodig om de hele video te zien; ze hebben alleen een skeleton (een skelet) nodig van de mensen.

Ze hebben een module bedacht die DIFEM heet.

De analogie: Stel je voor dat je in plaats van de hele video te bekijken, alleen de stokpoppen (skeletten) van de mensen tekent die op de mensen lijken. Je kijkt niet naar hun kleding of gezichten, maar alleen naar de stokken die hun armen en benen voorstellen.

3. Hoe werkt DIFEM? (Twee Simpele Regels)

DIFEM kijkt naar twee dingen, net als een scherpe politieagent:

A. De Snelheid (Tempo):
Hoe snel bewegen de stokken?

Als iemand rustig loopt, bewegen de stokken langzaam.
Als iemand slaat of duwt, bewegen de stokken (handen, ellebogen) razendsnel.
De analogie: Het is alsof je kijkt naar de snelheid van een auto. Een auto die rustig door een woonwijk rijdt, heeft een lage snelheid. Een auto die wegrijdt met een raceauto-snelheid? Dat is verdacht. DIFEM meet hoe snel de "stokken" van de mensen bewegen van het ene frame naar het andere.

B. De Overlap (Dichtbij zijn):
Komen de stokken van twee verschillende mensen in de weg?

Als twee mensen gewoon langs elkaar lopen, raken hun stokken elkaar niet.
Als ze vechten, raken hun handen, ellebogen of hoofden elkaar, of komen ze heel dicht bij elkaar in de buurt.
De analogie: Denk aan twee dansers. Als ze een elegante dans doen, houden ze afstand. Als ze vechten, raken ze elkaar aan of komen ze in elkaars "persoonlijke ruimte". DIFEM telt hoe vaak de stokken van de ene persoon de "bubbel" van de andere persoon binnendringen.

4. De "Rekenmachine" (Geen Zware AI)

Nadat DIFEM deze twee simpele dingen heeft gemeten (snelheid en overlap), stopt het de computer niet met een zware AI. In plaats daarvan gebruikt het simpele wiskundige regels (zoals een Decision Tree of Random Forest).

De analogie: In plaats van een supercomputer die de hele bibliotheek leest, gebruiken ze een slimme detective met een checklist.
- Checklist: "Is de snelheid hoog? Ja. Raken ze elkaar? Ja. -> Dan is het vechten."
- Dit is veel sneller en goedkoper dan de zware methoden.

5. Wat was het resultaat?

De auteurs hebben hun methode getest op drie verschillende datasets (video's van vechtpartijen in het dagelijks leven, op hockeyvelden en in menigten).

Het resultaat: Hun simpele "stokpoppen-checklist" deed het beter dan de zware, dure methoden die veel andere onderzoekers gebruiken. Ze waren sneller, goedkoper en net zo nauwkeurig, of zelfs nauwkeuriger.

Samenvattend

Stel je voor dat je een beveiligingscamera hebt.

De oude manier: De camera probeert elke seconde van de video te "begrijpen" alsof het een mens is die naar een film kijkt. Dat kost veel energie.
De nieuwe manier (DIFEM): De camera trekt alleen de lijntjes van de mensen (skeletten), meet hoe snel die lijntjes bewegen en of ze elkaar raken. Als dat hard en dichtbij gebeurt, slaat het alarm af.

Het is een slimme, eenvoudige truc die laat zien dat je niet altijd de zwaarste gereedschappen nodig hebt om een probleem op te lossen; soms is een scherp oog voor beweging en afstand genoeg.

Probleemstelling

Het detecteren van geweld in surveillancevideo's is cruciaal voor de openbare veiligheid, maar huidige systemen kampen met twee belangrijke uitdagingen:

Rekenkracht en complexiteit: De meeste state-of-the-art (SOTA) methoden maken gebruik van zware deep-learning-modellen (zoals 3D-CNN's, GCN's of ConvLSTMs). Deze modellen zijn rekenkundig duur, vereisen grote hoeveelheden data en lopen het risico op overfitting, vooral omdat geweldsdatasets vaak relatief klein zijn.
Efficiëntie: Er is een groeiende behoefte aan lichtgewicht systemen die efficiënt kunnen werken zonder de afhankelijkheid van menselijke operators, die door vermoeidheid incidenten kunnen missen.

Methodologie: DIFEM

De auteurs stellen een nieuwe, efficiënte aanpak voor die afwijkt van complexe deep-learning-architecturen. In plaats daarvan gebruiken ze een machine learning-benadering gebaseerd op een nieuw Dynamic Interaction Feature Extraction Module (DIFEM).

Kerncomponenten van de methode:

Positie Schatting (Pose Estimation):
- Het systeem gebruikt het vooraf getrainde OpenPose-model om skelet-sleutelpunten (key-points) uit videoframes te extraheren.
- Er wordt een selectie gemaakt van 11 relevante gewrichten uit de 25 beschikbare OpenPose-punten, die het meest betrokken zijn bij fysieke confrontaties: polsen, ellebogen, heupen, knieën, enkels en de nek.
Feature Extractie (DIFEM):
De module extrahet twee soorten dynamische kenmerken uit de geselecteerde sleutelpunten:
- Temporele Dynamiek (Snelheid): De module berekent de snelheid van elk gewricht tussen opeenvolgende frames. Dit wordt gedaan door de afstand tussen de coördinaten van een gewricht op tijdstip $t$ en $t+1$ te meten, vermenigvuldigd met een gewichtsfactor. Uit deze snelheidsdata worden statistische waarden berekend: het gemiddelde, het maximum en de variantie van de snelheid over alle frames van een video.
- Ruimtelijke Dynamiek (Overlap): De module analyseert de ruimtelijke interactie tussen twee verschillende personen. Dit gebeurt door te tellen hoeveel sleutelpunten van persoon A zich binnen de omhullende doos (bounding box) van persoon B bevinden. Ook hier worden het gemiddelde en de variantie van deze overlap-aantallen over de video berekend.
Classificatie:
- De geëxtraheerde kenmerken (temporeel en ruimtelijk) worden samengevoegd tot een 1-dimensionaal vector van 5 waarden.
- In plaats van een diep neurale netwerk te trainen, worden deze features gevoerd aan traditionele machine learning-classifiers: Random Forest, Decision Tree, AdaBoost en k-Nearest Neighbor (k-NN).

Belangrijkste Bijdragen

DIFEM Module: Een nieuwe, efficiënte feature-extractiemodule die gebruikmaakt van eenvoudige heuristieken (snelheid en overlap) in plaats van complexe deep learning.
Kostenefficiëntie: De aanpak vereist aanzienlijk minder parameters en rekenkracht dan bestaande deep-learning-methoden, terwijl deze toch hoge nauwkeurigheid behaalt.
Empirische Validatie: Uitgebreide experimenten op drie standaarddatasets tonen aan dat een simpele statistische aanpak vergelijkbare of betere resultaten kan opleveren dan complexe SOTA-modellen.

Resultaten

De methode is getest op drie datasets: RWF-2000, Hockey Fight en Crowd Violence.

Prestaties: De combinatie van DIFEM met de Random Forest-classifier behaalde de beste resultaten:
- RWF-2000: 96,50% nauwkeurigheid.
- Hockey Fight: 98,80% nauwkeurigheid.
- Crowd Violence: 96,33% nauwkeurigheid.
- Deze resultaten overtreffen diverse bestaande deep-learning-methoden (zoals I3D, 3D-ResNet101 en DGCNN) en traditionele methoden.
Efficiëntie: De inferentietijd is extreem snel (bijvoorbeeld 0,0333 ms per video voor Random Forest).
Ablatiestudies: Experimenten tonen aan dat zowel de snelheidsmeting (temporeel) als de overlapmeting (ruimtelijk) noodzakelijk zijn. Alleen overlap gebruiken leidt tot fouten in drukke scenario's (zoals de Crowd-dataset) waar niet-geweldzame overlappingen voorkomen. De combinatie van beide levert de beste prestaties.

Betekenis en Conclusie

Het paper demonstreert dat voor de specifieke taak van geweldherkenning complexe deep-learning-modellen niet altijd nodig zijn. Door te focussen op de inherente eigenschappen van geweld (snelle bewegingen en fysieke nabijheid/overlap van gewrichten), kan een lichtgewicht machine learning-systeem worden gebouwd dat:

Hogere efficiëntie biedt voor real-time toepassingen.
Minder gevoelig is voor overfitting op kleinere datasets.
Beter presteert dan veel zwaardere concurrenten.

Beperkingen:
De enige grote afhankelijkheid is het OpenPose-algoritme. Als de skeletdetectie faalt (bijvoorbeeld door zware occlusie of slechte beeldkwaliteit), verslechtert de prestatie van DIFEM. De auteurs plannen toekomstig werk om meer parameter-efficiënte skeletdetectie-algoritmen te integreren.