Weakly-Supervised Spatiotemporal Anomaly Detection
Dit artikel stelt een zwak toezicht houdende spatiotemporale anomaliedetectiemethode voor die videoniveau-labels en een multiple instance ranking-verlies gebruikt om gelokaliseerde anomalieën binnen videoclips te identificeren, waarbij de effectiviteit wordt aangetoond op het UCF Crime2Local-dataset.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een beveiliger bent die honderden bewakingscamera's tegelijk in de gaten houdt. Je taak is om iets vreemds te detecteren, zoals een gevecht of een diefstal. Het probleem is dat je niet 24/7 naar elk scherm kunt staren, en vreemde gebeurtenissen komen zeer zelden voor. Je hebt een computer nodig om je te helpen, maar het trainen van een computer is lastig omdat het labelen van elke seconde van een video met "gevecht hier" of "diefstal daar" eeuwig duurt.
Dit artikel stelt een slimme manier voor om een computer deze vreemde gebeurtenissen te leren detecteren zonder dat er zoveel gedetailleerde labels nodig zijn. Hieronder wordt uitgelegd hoe ze dit hebben gedaan, in eenvoudige bewoordingen:
De "Doos met Raadsels"-analogie (Zwakke Supervisie)
Normaal gesproken leer je een computer door het een video te tonen en te zeggen: "Zie je dit specifieke 5-seconden fragment? Dat is een gevecht." Maar in dit artikel geven de onderzoekers de computer alleen de volledige video en zeggen ze: "Deze video bevat ergens een gevecht," of "Deze video is helemaal normaal."
Ze noemen dit Zwakke Supervisie. Het is alsof je een student een hele doos met door elkaar gemengde LEGO-blokjes geeft en zegt: "In deze doos zit een rood blokje," zonder te vertellen welk blokje precies rood is. De student moet zelf uitzoeken welk blokje dat is.
De "Ruimtetijd-kubus" (Het Opdelen)
Om het raadsel op te lossen, keken de onderzoekers niet naar de video als één groot geheel. Ze hakten de video op in kleine, driedimensionale blokken. Stel je voor dat je een brood in plakken snijdt (tijd) en vervolgens elke plak in een rooster snijdt (ruimte).
- Tijd: Ze deelden de video op in korte clips.
- Ruimte: Ze deelden elke clip op in een rooster van kleine vierkantjes.
Nu kijkt de computer, in plaats van naar de hele video, naar deze kleine "kubussen" van de video. Elke kubus is een klein stukje ruimte en tijd.
De "Tas met Trucs" (Multiple Instance Learning)
De onderzoekers gebruikten een strategie genaamd Multiple Instance Learning (MIL). Denk hierbij aan het volgende:
- De Tas: Een volledige videoclip is een "tas".
- De Items: De kleine kubussen binnenin de video zijn de "items" in de tas.
Hier is de regel die ze de computer leerden:
- Als een tas is gelabeld als "Normaal", dan moet elk enkel item in die tas normaal zijn.
- Als een tas is gelabeld als "Anomalie" (Vreemd), dan moet ten minste één item in die tas vreemd zijn.
De taak van de computer is om naar alle items in de "Vreemde" tas te kijken, het item te vinden dat het meest verdacht lijkt, en dit een hoge score te geven. Vervolgens probeert het ervoor te zorgen dat de hoogste score in een "Vreemde" tas hoger is dan de hoogste score in een "Normale" tas.
Het "Oog van de Detective" (Hoe het Werkt)
De computer gebruikt een vooraf getraind brein (genaamd I3D) dat al goed is in het herkennen van menselijke bewegingen.
- Het neemt een videoclip.
- Het breekt deze op in die kleine 3D-kubussen.
- Het vraagt het "brein" om te beschrijven wat het in elke kubus ziet.
- Het voert een test uit om te zien of een van die kubussen verdacht lijken.
Als de computer een gevecht ziet, zegt het niet alleen "Gevecht!". Het wijst naar het specifieke kleine vierkantje op het scherm waar het gevecht plaatsvindt en zegt: "De vreemdheid zit precies hier."
De Resultaten: Hoe Goed Was het?
De onderzoekers testten dit op een dataset genaamd UCF Crime2Local, die video's bevat van misdrijven uit het echte leven.
- De Wedstrijd: Ze vergeleken hun methode met andere methoden. Een andere methode was "supervised", wat betekent dat het tijdens het trainen de exacte coördinaten van het misdrijf kreeg (alsof je de student het rode blokje laat zien). Die methode behaalde een score van ongeveer 75%.
- Hun Resultaat: Hun methode, die tijdens het trainen de exacte locatie niet kende (net als een student die het rode blokje moet raden), behaalde een score van 68%.
Hoewel ze de methode die alle antwoorden had niet versloegen, deden ze het veel beter dan andere methoden die ook probeerden te raden zonder de antwoorden.
Wat Komt Er Volgende? (De Conclusie)
Het artikel concludeert dat het kijken naar zowel waar (ruimte) als wanneer (tijd) een gebeurtenis plaatsvindt een goed idee is. Echter, ze geven toe dat hun computer soms een beetje te enthousiast wordt en meerdere plekken markeert als "vreemd" terwijl er maar één is.
Om nog beter te worden, stellen ze twee dingen voor:
- Verstrak de regels: Laat de computer slechts één "vreemdste" plek per video kiezen, in plaats van overal te raden.
- Kijk naar de beweging: Momenteel kijkt de computer vooral naar hoe dingen eruitzien. Ze suggereren het toevoegen van een tweede "oog" dat kijkt naar hoe dingen bewegen (zoals optische flow), omdat beweging vaak een enorme aanwijzing is bij het opsporen van misdrijven.
Kortom, ze bouwden een systeem dat kan raden waar een misdrijf in een video plaatsvindt, alleen door te weten dat de video een misdrijf bevat, zonder dat een mens er eerst een kader omheen hoeft te tekenen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.