From Offline to Periodic Adaptation for Pose-Based Shoplifting Detection in Real-world Retail Security

Dit artikel introduceert een periodiek adaptatiefraamwerk voor pose-gebaseerde winkeldiefstal detectie dat zich aanpast aan streaming data voor IoT-deployatie, ondersteund door een nieuw realistisch dataset genaamd RetailS en presteert beter dan offline baselines op randapparatuur.

De kern

De Dief die niet wordt Gevangen: Een Slimme Oplossing voor Winkels

Stel je voor dat je een supermarkt runt. Je hebt honderden camera's hangen, maar je hebt niet genoeg mensen om 24/7 naar elk scherm te kijken. Diefstal (shoplifting) is een groot probleem: het kost winkels miljarden en de dieven worden maar in 2% van de gevallen gepakt. De meeste winkels zijn dus als een huis met een enorm aantal ramen, maar niemand kijkt er echt naar uit.

De onderzoekers van dit artikel hebben een slimme manier bedacht om dit op te lossen, specifiek voor de wereld van het Internet der Dingen (IoT) – oftewel slimme apparaten die met elkaar praten.

Hier is hoe hun oplossing werkt, in drie simpele stappen:

1. Vergeet de foto's, kijk naar de "stokpop" (Pose-based)

Normaal gesproken kijken camera's naar beelden: "Is dat een man in een blauw shirt?" Dat is echter lastig voor twee redenen:

• Privacy: Je wilt niet dat de computer iemands gezicht herkent.
• Snelheid: Het verwerken van beelden vraagt veel rekenkracht, wat dure apparatuur nodig heeft.

De oplossing: In plaats van naar de foto te kijken, kijkt het systeem alleen naar de beweging van het skelet (de "stokpop").

• Vergelijking: Stel je voor dat je een danswedstrijd bekijkt. Je hoeft niet te weten hoe de danser eruitziet of wat hij aan heeft; je kijkt alleen naar hoe hij beweegt. Als iemand plotseling heel raar beweegt (bijvoorbeeld een broodje in zijn broek stopt terwijl hij normaal gewoon loopt), valt dat op. Het systeem ziet alleen de lijnen en stippen van de beweging, niet het gezicht. Dit is snel, goedkoop en houdt de privacy van klanten gewaarborgd.

2. De "Leerling" die nooit stopt (Periodic Adaptation)

De meeste slimme systemen worden één keer getraind in een laboratorium en daarna vergeten. Dat is als een kok die één keer kookt en daarna nooit meer nieuwe ingrediënten probeert. Als de winkelindeling verandert of de verlichting anders wordt, wordt de kok (het systeem) verward en maakt hij fouten.

De oplossing: Dit systeem is een eeuwig lerende leerling.

• Vergelijking: Stel je voor dat de camera's een dagboek bijhouden. Elke dag of halve dag pakt het systeem een stapel nieuwe beelden van "normaal gedrag" en past zijn kennis hierop aan.
• Het systeem werkt als volgt:
  1. Filteren: Het kijkt naar de beelden en zegt: "Dit ziet er normaal uit." Die beelden worden opgeslagen.
  2. Leren: Als er genoeg nieuwe beelden zijn, gaat het systeem zichzelf updaten op een lokale computer in de winkel (niet ergens ver weg in de cloud).
  3. Herhalen: Het nieuwe, slimmere systeem gaat weer aan de slag.
• Dit zorgt ervoor dat het systeem meegroeit met de winkel, zelfs als er nieuwe schappen komen of de klanten anders gaan lopen.

3. De Nieuwe "Diefstal-Atlas" (RetailS)

Om dit te testen, hadden de onderzoekers een groot probleem: er bestond geen goede verzameling van echte diefstalbeelden voor slimme winkels. Bestaande datasets waren vaak nep of gemaakt in een lab.

De oplossing: Ze hebben RetailS gemaakt.

• Vergelijking: Dit is als een enorme, realistische "diefstal-atlas". Ze hebben samenwerking gezocht met een echte supermarkt. Ze hebben duizenden uren normale winkelbeelden verzameld én ze hebben gecontroleerde diefstal-scenario's opgenomen (met toestemming, natuurlijk!).
• Ze hebben zelfs speciale "staged" (geënsceneerde) diefstallen gedaan om alle mogelijke trucs te testen: iets verstoppen in een hoodie, in een broekzak, of in een tas. Dit zorgt ervoor dat het systeem alles heeft gezien voordat het echt aan de slag gaat.

Wat is het resultaat?

De onderzoekers hebben getest of hun "lerende stokpop-systeem" beter werkt dan de oude, statische systemen.

• Succes: In 91,6% van de gevallen was hun systeem beter dan de oude methoden.
• Snelheid: Het systeem kan zichzelf updaten in minder dan 30 minuten op een gewone computer in de winkel.
• Betrouwbaarheid: Ze hebben een slimme manier bedacht om te beslissen wat een "alarm" is. Ze gebruiken een speciale formule (HPRS) die ervoor zorgt dat de winkelmedewerkers niet overspoeld worden met valse alarmen (zoals "oh nee, iemand heeft iets in zijn tas gedaan, terwijl hij gewoon boodschappen doet").

Conclusie in één zin

Deze paper introduceert een slim, privacy-vriendelijk systeem dat winkels helpt dieven te vangen door niet naar gezichten te kijken, maar naar bewegingen, en dat zichzelf elke dag een beetje wijzer maakt zodat het nooit verouderd raakt. Het is alsof je een onzichtbare, eeuwig lerende winkelier hebt die nooit slaapt en nooit moe wordt.

Technische samenvatting

1. Probleemstelling

Winkeldiefstal vormt een groeiende operationele en economische uitdaging voor retailers, met een sterke stijging in incidenten en verliezen. Ondanks uitgebreide videobewaking is continue menselijke monitoring onhaalbaar. Bestaande oplossingen voor video-anomaliedetectie (VAD) hebben echter drie belangrijke tekortkomingen bij implementatie in real-world IoT-omgevingen:

• Offline focus: De meeste methoden zijn getraind en getest in statische, offline laboratoriumomgevingen en falen bij het omgaan met "drift" (veranderingen in winkelindeling, camera-posities, verlichting en klantgedrag).
• Privacy en resources: Pixel-gebaseerde benaderingen zijn privacy-intrusief en rekenkundig te zwaar voor edge-apparaten.
• Gebrek aan adaptatie: Systemen kunnen zich niet aanpassen aan nieuwe datastromen zonder centrale hertraining, wat leidt tot hoge rates van vals-positieven en verminderde prestaties over tijd.

Het doel van dit onderzoek is een schaalbare, privacy-bewuste en resource-efficiënte oplossing te bieden die specifiek is ontworpen voor continue, ongedetecteerde adaptatie op edge-apparaten in een IoT-netwerk.

2. Methodologie

De auteurs presenteren een end-to-end IoT-georiënteerd framework dat winkeldiefstal behandelt als een ongesuperviseerde anomaliedetectie probleem op basis van pose-schetsen (skeletdata), in plaats van ruwe pixels.

A. Data Representatie en Privacy

• In plaats van RGB-pixels wordt gebruik gemaakt van geanonimiseerde pose-sequentie (17 sleutelpunten per persoon). Dit lost privacyproblemen op en vermindert de rekenlast, terwijl het gedragseffectiviteit behoudt.
• De data wordt verwerkt via een pijplijn: Mensdetectie (YOLOv8) + Tracking (ByteTrack) + Pose-schatting (HRNet).

B. Periodieke Adaptatie Framework
Het systeem werkt in een continue cyclus van drie fasen (zie Fig. 2 in het artikel):

1. Filtering: Een vooraf getraind model analyseert videostreams en genereert anomalie-scores. Frames met lage scores (waarschijnlijk normaal gedrag) worden geselecteerd als "pseudo-gelabelde" data.
2. Collectie: Geselecteerde frames worden verzameld in een buffer over meerdere camera's en tijdsvensters (half-dag of hele dag vensters) om bias te voorkomen.
3. Training: Wanneer de buffer een bepaalde grootte bereikt, wordt het model lokaal (op de edge of back-end) bijgewerkt met deze nieuwe data. De nieuwe gewichten worden vervolgens teruggestuurd naar de edge voor de volgende detectiecyclus.

C. Drempelwaarde Selectie (Thresholding)
Om vals-positieven te minimaliseren (cruciaal voor retail), worden twee strategieën vergeleken voor het kiezen van de drempelwaarde:

• F1-score: Maximaliseert het harmonisch gemiddelde van precisie en recall.
• HPRS (Harmonic Mean of Precision, Recall, and Specificity): Deze metric straalt specifiek af op de Specificity (1 - False Positive Rate). De auteurs kiezen voor HPRS omdat het in IoT-omgevingen essentieel is om storemedewerkers niet te overweldigen met valse alarmen.

D. Dataset: RetailS
Om de methodologie te valideren, hebben de auteurs een nieuwe dataset ontwikkeld: RetailS.

• Bron: Verzameld in een echte Amerikaanse winkel over 10 dagen met 6 camera's.
• Samenstelling:
  • Trainset: ~20 miljoen frames van normaal winkelgedrag.
  • Real-world Testset: 53 echte winkeldiefstalincidenten uit beveiligingslogboeken (2 jaar).
  • Staged Testset: 898 gecontroleerde incidenten met diverse verbergingsstrategieën (in broekzakken, hoodie, tassen, onder jassen).
• Kenmerk: De dataset is ontworpen om de heterogeniteit van IoT-netwerken (verschillende hoeken, occlusies, verlichting) na te bootsen.

3. Belangrijkste Bijdragen

1. Periodieke Adaptatie Framework: Een nieuw paradigma dat overgaat van statische offline training naar continue, ongedetecteerde adaptatie op basis van pseudo-gelabelde data, specifiek voor IoT-edge deployment.
2. RetailS Dataset: Een grote, real-world, multi-camera dataset met pose-data die zowel gestageerde als echte winkeldiefstalincidenten bevat, ontworpen voor IoT-streaming analyse.
3. HPRS-metric: De introductie en validatie van HPRS als superieure metric voor drempelwaarde-selectie in IoT-omgevingen om vals-positieven te controleren.
4. Benchmarking: Een uitgebreide evaluatie van state-of-the-art pose-based modellen (STG-NF, SPARTA, TSGAD) onder zowel offline als online adaptieve omstandigheden.

4. Resultaten

De experimenten tonen aan dat het voorgestelde framework aanzienlijk beter presteert dan traditionele offline baselines:

• Prestatieverbetering: Het periodieke adaptatie-framework overtrof offline baselines in 91,6% van de evaluaties (gemeten op AUC-ROC en AUC-PR).
• HPRS vs. F1: Drempelwaarden gekozen op basis van HPRS presteerden in 9 van de 12 gevallen beter dan die op basis van F1, wat leidt tot een betere controle van vals-positieven.
• Update-frequentie: Updates elke half dag (half-day windows) presteerden beter dan dagelijkse updates, wat aangeeft dat kortere adaptiecycli beter inspelen op lokale drift.
• Efficiëntie:
  • Lichte modellen (zoals SPARTA) kunnen updates voltooien in 2-3 minuten.
  • Zwaardere modellen (STG-NF) in 3,5-7 minuten.
  • Zelfs de zwaarste modellen (TSGAD) bleven binnen de planning (max ~27 min voor half-dag updates), wat de haalbaarheid voor edge-deployment bevestigt.
• Drift-resistentie: De systemen behielden hun prestaties over tijd, terwijl statische modellen degradeerden door veranderingen in de winkelomgeving.

5. Betekenis en Conclusie

Dit onderzoek markeert een verschuiving in de detectie van winkeldiefstal van theoretische, offline benchmarks naar praktische, IoT-gebaseerde implementaties.

• Praktische Toepasbaarheid: Het bewijst dat edge-apparaten in staat zijn om modellen continu bij te werken zonder centrale infrastructuur, wat essentieel is voor schaalbare retailbeveiliging.
• Privacy: Door te focussen op pose-data in plaats van pixels, biedt het een privacy-vriendelijke oplossing die voldoet aan moderne regelgeving.
• Robuustheid: De combinatie van pseudo-data filtering, HPRS-thresholding en periodieke training zorgt voor systemen die robuust zijn tegen de dynamische en onvoorspelbare aard van echte winkelomgevingen.

De conclusie is dat "offline training alleen" ontoereikend is voor real-world IoT-deployment. Periodieke adaptatie met een stabiele drempelwaarde (gecalibreerd offline) en continue gewichtsupdate is de optimale strategie voor betrouwbare, schaalbare en privacy-bewuste winkeldiefstaldetectie.