From Offline to Periodic Adaptation for Pose-Based Shoplifting Detection in Real-world Retail Security

Diese Arbeit stellt ein periodisches Anpassungsframework für die posebasierte, unüberwachte Diebstahlerkennung in Echtzeit-Handelsumgebungen vor, das durch die Einführung des neuen Datensatzes RetailS und die Validierung auf Edge-Geräten eine skalierbare und zuverlässige IoT-Lösung für Smart Retail bietet.

Das Wesentliche

Das Problem: Der müde Wachmann im Supermarkt

Stell dir vor, du hast einen riesigen Supermarkt. Um Diebstähle zu verhindern, hängen überall Kameras. Aber wer soll die 24 Stunden am Tag auf die Bildschirme starren? Niemand! Ein menschlicher Wachmann würde nach ein paar Stunden müde werden, den Blick verlieren oder einfach nicht bemerken, dass jemand eine Schokolade in die Jackentasche schiebt.

Bisherige Computer-Programme waren wie starre Schulbücher: Sie wurden einmal im Labor gelernt und dann für immer so eingesetzt. Das Problem: Ein Supermarkt ist kein Labor. Die Lichtverhältnisse ändern sich, die Regale werden umgestellt, und Diebe lernen dazu, wie sie sich besser verstecken. Ein starres Programm verliert schnell den Anschluss und meldet entweder zu viel (jeder, der schnell geht, ist ein Dieb!) oder gar nichts.

Die Lösung: Ein lernender, anpassungsfähiger "Digitaler Assistent"

Die Forscher aus dieser Studie haben ein System entwickelt, das sich wie ein lebendiger Organismus verhält, statt wie ein starrer Roboter. Hier ist, wie es funktioniert, Schritt für Schritt:

1. Der "Geister-Trainer" (Datenschutz durch Skelette)

Statt dass die Kameras Gesichter oder Kleidung aufnehmen (was unangenehm für die Privatsphäre wäre), schaut das System nur auf die Bewegungen der Skelette.

• Die Analogie: Stell dir vor, die Kameras sehen nicht die Menschen, sondern nur leuchtende Strichmännchen, die durch den Laden laufen. Das System weiß nicht, ob du ein Mann oder eine Frau bist, oder wie du aussiehst. Es sieht nur: "Hey, dieses Strichmännchen macht eine seltsame Bewegung, als würde es etwas in die Hosentasche stecken." Das ist sicher und schützt die Privatsphäre.

2. Der "Tüftler", der sich selbst verbessert (Periodische Anpassung)

Das ist der wichtigste Teil. Früher wurde ein System einmal trainiert und dann vergessen. Dieses neue System ist wie ein Sportler, der sich jeden Tag trainiert.

• Wie es läuft: Das System läuft den ganzen Tag im Laden. Es sammelt unauffällige Momente (normales Einkaufen) und speichert sie. Alle paar Stunden (z. B. alle 12 Stunden) nimmt es diese neuen Daten, "schaut sie sich an" und passt sich daran an.
• Der Vergleich: Stell dir vor, du lernst eine neue Sprache. Wenn du nur das alte Lehrbuch nutzt, verstehst du die neuen Slang-Wörter nicht. Dieses System liest aber jeden Abend ein neues Kapitel aus dem aktuellen Leben im Laden und aktualisiert sein "Wörterbuch". So bleibt es immer auf dem neuesten Stand, egal wie sich die Diebe oder der Laden ändern.

3. Der "Filter" (Nicht jeder Alarm ist wichtig)

Ein großes Problem bei solchen Systemen ist, dass sie oft zu viel nerven (falsche Alarme). Wenn das System bei jedem schnellen Schritt Alarm schlägt, wird der Ladenbesitzer es ausschalten.

• Die Lösung: Die Forscher haben einen cleveren "Filter" eingebaut. Das System fragt sich: "Ist diese Bewegung wirklich verdächtig oder nur ein normaler, schneller Gang?" Es nutzt eine spezielle Rechenmethode (genannt HPRS), die sicherstellt, dass es nicht zu viele falsche Alarme gibt, aber echte Diebstähle trotzdem findet. Es ist wie ein sehr erfahrener Türsteher, der weiß, wann er wirklich eingreifen muss und wann er die Leute einfach durchlässt.

4. Der neue "Übungsplatz" (Der RetailS-Datensatz)

Um dieses System zu testen, brauchten die Forscher echte Daten. Bisherige Tests waren oft wie Schauspielübungen in einem leeren Raum.

• Das Neue: Die Forscher haben mit einem echten Supermarkt zusammengearbeitet. Sie haben Tausende von Stunden echtes Videomaterial gesammelt, inklusive echter Diebstähle (die von Sicherheitsleuten aufgezeichnet wurden) und gestellter Szenarien.
• Warum das wichtig ist: Sie haben einen riesigen neuen "Übungsplatz" (den RetailS-Datensatz) geschaffen, der so chaotisch und real ist wie ein echter Supermarkt. Damit konnten sie beweisen, dass ihr System auch im echten, chaotischen Alltag funktioniert und nicht nur im perfekten Labor.

Das Ergebnis: Warum ist das toll?

Das System hat in Tests gezeigt, dass es viel besser funktioniert als die alten, starren Methoden.

• Es ist schnell: Es braucht weniger als 30 Minuten, um sich auf einem kleinen Computer (dem "Edge-Gerät", das direkt im Laden steht) zu aktualisieren.
• Es ist zuverlässig: Es findet Diebe, ohne die Kunden zu belästigen.
• Es ist zukunftssicher: Weil es sich ständig anpasst, wird es nicht altmodisch, wenn sich der Laden verändert.

Zusammenfassend:
Die Forscher haben einen digitalen Wachmann gebaut, der Privatsphäre respektiert (er sieht nur Skelette), nie müde wird (er lernt ständig dazu) und klug genug ist, um nicht bei jedem Husten Alarm zu schlagen. Damit wird die Sicherheit in Supermärkten endlich smart, effizient und für alle akzeptabel.

Technische Zusammenfassung

1. Problemstellung

Der Diebstahl im Einzelhandel (Shoplifting) stellt eine wachsende wirtschaftliche und operative Herausforderung dar, die trotz umfangreicher Videoüberwachung zunimmt. Traditionelle Ansätze scheitern an mehreren Faktoren:

• Menschliche Überwachung: Die kontinuierliche Überwachung riesiger Videomengen ist für Menschen nicht machbar.
• Datenschutz und Privatsphäre: Pixelbasierte Überwachung wirft Datenschutzbedenken auf und ist rechenintensiv.
• Ressourcenbeschränkungen: Edge-Geräte in IoT-Umgebungen haben begrenzte Rechenleistung und Speicher.
• Statische Modelle: Herkömmliche Modelle werden offline trainiert und können sich nicht an Veränderungen in der Umgebung anpassen (z. B. neue Ladenlayouts, wechselnde Beleuchtung, verändertes Kundenverhalten oder Kamera-Drift). Dies führt zu hohen Fehlalarmraten und schlechter Generalisierung in der realen Welt.

Das Ziel ist es, eine automatisierte, datenschutzkonforme und ressourceneffiziente Lösung zu entwickeln, die auf Edge-Geräten läuft und sich kontinuierlich an unscharfe, ungelabelte Datenströme anpasst.

2. Methodik

Die Autoren schlagen einen IoT-orientierten, periodischen Anpassungsrahmen vor, der Shoplifting als unüberwachtes Video-Anomalie-Erkennungsproblem (VAD) auf Basis von Körperhaltungen (Pose) formuliert.

A. Datenrepräsentation: Pose-basiert

Statt roher Pixel werden anonymisierte Skelett-Sequenzen (Pose Keypoints) verwendet.

• Vorteile: Hoher Datenschutz (keine Gesichter erkennbar), geringerer Rechenaufwand, Robustheit gegenüber Lichtwechseln und visuellem Rauschen.
• Pipeline: Videoströme werden an der Edge verarbeitet, um Personen zu detektieren, zu tracken und 17-KP-Pose-Schätzungen (COCO-Format) zu extrahieren.

B. Der Periodische Anpassungs-Rahmen (Periodic Adaptation Framework)

Das System folgt einem dreistufigen Prozess, der auf Edge-Cloud-Architekturen abgestimmt ist:

1. Filterung (Filtering): Ein vortrainiertes Modell bewertet eingehende Frames und berechnet Anomalie-Scores. Adaptive Schwellenwerte (basierend auf F1-Score und HPRS) filtern Frames. Frames mit niedrigen Anomalie-Scores (vermutlich normal) werden als „Pseudo-Labels" für das Training gesammelt.
2. Sammlung (Collection): Gesammelte Frames werden über ein zeitbasiertes Fenster (halbe oder ganze Tage) und über mehrere Kameras hinweg aggregiert, um eine ausgewogene Datendistribution zu gewährleisten und Verzerrungen durch stark frequentierte Kameras zu vermeiden.
3. Training (Training): Sobald ein Puffer eine bestimmte Größe erreicht, wird das Modell auf Edge-Hardware (oder im Backend) mit den neuen Daten nachtrainiert. Die aktualisierten Gewichte werden dann zurück an die Edge-Geräte für den nächsten Zyklus gepusht.

C. Schwellenwert-Strategie

Um Fehlalarme in IoT-Umgebungen zu minimieren, wird nicht nur der F1-Score, sondern auch der HPRS-Score (Harmonisches Mittel aus Precision, Recall und Spezifität) zur Kalibrierung der Schwellenwerte verwendet. Dies stellt sicher, dass die Spezifität (Vermeidung von Fehlalarmen) nicht auf Kosten der Erkennungsrate geht.

3. Wichtige Beiträge

A. Der RetailS-Datensatz

Die Autoren stellen einen neuen, groß angelegten Datensatz namens RetailS vor, der speziell für IoT-Szenarien entwickelt wurde:

• Umfang: Mehr als 19 Millionen normale Frames und tausende Shoplifting-Frames.
• Vielfalt: Daten stammen von 6 Kameras über 10 Tage in einem echten Laden.
• Struktur: Enthält einen Trainingsset (normales Verhalten), einen realen Testset (echte Diebstähle aus Sicherheitslogs über 2 Jahre) und einen inszenierten Testset (kontrollierte Diebstähle mit verschiedenen Versteckstrategien wie in Jacken, Taschen oder Hosen).
• Privatsphäre: Alle Daten sind als Pose-Sequenzen anonymisiert.

B. Periodische Anpassung vs. Offline-Baselines

Das Paper demonstriert, dass statische Offline-Modelle in dynamischen IoT-Umgebungen versagen. Der vorgeschlagene Ansatz mit periodischem Nachtrainieren (Continual Learning) schließt die Lücke zwischen Laborbenchmarks und dem realen Einsatz.

C. Systemarchitektur für Edge-Deployment

Die Arbeit definiert klare Protokolle für die Aufteilung von Inferenz (Edge) und Training (Backend/Edge), einschließlich Zeitfenstern für Updates und Strategien zur Vermeidung von Bias-Akkumulation.

4. Ergebnisse

Die Evaluation umfasste drei State-of-the-Art-Modelle (STG-NF, SPARTA, TSGAD) unter Offline- und Periodic-Adaptation-Bedingungen.

• Leistungssteigerung: Der periodische Anpassungsrahmen übertraf in 91,6 % der Evaluierungen die Offline-Baselines (sowohl bei AUC-ROC als auch bei AUC-PR).
• Schwellenwert-Effizienz: Die Verwendung des HPRS-Schwellenwerts führte in 9 von 12 Fällen zu besseren Ergebnissen als der reine F1-Score, was die Kontrolle von Fehlalarmen in IoT-Systemen verbessert.
• Update-Frequenz: Updates im Halbtages-Takt (alle 6 Stunden) erzielten bessere Ergebnisse als tägliche Updates, da sie schneller auf Drift reagieren, bleiben aber innerhalb der Ressourcenbudgets.
• Effizienz: Training-Updates wurden auf Edge-ähnlicher Hardware in unter 30 Minuten abgeschlossen (z. B. SPARTA: ~2–3 Min., STG-NF: ~3,5–7 Min.). Schwere Modelle wie TSGAD benötigten länger, was ihre Eignung für häufige Updates einschränkt.
• Robustheit: Das System zeigte Stabilität über 10 tägliche bzw. 20 halbtägige Zyklen hinweg, ohne dass die Schwellenwerte nachkalibriert werden mussten.

5. Bedeutung und Fazit

Dieses Paper ist ein Meilenstein für die Anwendung von KI im Einzelhandel, da es den Fokus von reinen Labor-Benchmarks auf praktische IoT-Deployments verlagert.

• Praktische Relevanz: Es beweist, dass Anomalieerkennung in Echtzeit auf Edge-Geräten möglich ist, wenn man Pose-basierte Repräsentationen und periodische Anpassung kombiniert.
• Datenschutz: Durch den Verzicht auf Pixel und den Fokus auf Skelettdaten wird die Privatsphäre der Kunden gewahrt, was für die Akzeptanz in der Öffentlichkeit entscheidend ist.
• Skalierbarkeit: Der Ansatz löst das Problem des „Domain Drift" (Veränderungen im Laden), indem er Modelle kontinuierlich mit neuen, unscharfen Daten aktualisiert, ohne manuelle Neukennzeichnung zu benötigen.

Zusammenfassend bietet die Studie einen robusten, reproduzierbaren Rahmen für die nächste Generation von Sicherheitslösungen im Einzelhandel, die nicht nur genau, sondern auch anpassungsfähig, datenschutzkonform und ressourceneffizient sind.