From Offline to Periodic Adaptation for Pose-Based Shoplifting Detection in Real-world Retail Security

Questo articolo presenta un framework di adattamento periodico per la rilevazione di furti nei negozi basato sulla postura, che utilizza il nuovo dataset reale RetailS per abilitare un rilevamento di anomalie scalabile, a bassa latenza e adattivo su dispositivi IoT di bordo, superando le prestazioni dei metodi offline tradizionali.

L'essenziale

Immagina un grande supermercato come una fiera del mercato affollata. Ci sono centinaia di persone che camminano, guardano gli scaffali e prendono cose. Il problema è che, ogni tanto, qualcuno cerca di nascondere un prodotto nella giacca o in una borsa senza pagare.

Fino a oggi, i negozi provavano a risolvere questo problema in due modi:

1. Guardare i video 24 ore su 24: Impossibile! Nessuno può stare sveglio per giorni a fissare schermi senza distrarsi.
2. Usare telecamere "stupide" con intelligenza artificiale fissa: Queste telecamere imparano una volta sola (ad esempio, "la gente cammina così") e poi si bloccano. Se il negozio cambia disposizione, se la luce cambia o se i ladri imparano nuovi trucchi per nascondere le merci, la telecamera si confonde e fa troppe false allarm (pensando che un cliente che si allaccia le scarpe sia un ladro).

La soluzione proposta: Il "Cane da Pastore" che impara ogni giorno

Gli autori di questo studio hanno creato un sistema intelligente, chiamato RetailS, che funziona come un cane da pastore molto sveglio che lavora in un gregge di telecamere. Ecco come funziona, passo dopo passo:

1. Non guarda i volti (Rispetto della Privacy)

Invece di guardare i volti o i vestiti delle persone (il che sarebbe invadente e richiederebbe computer molto potenti), il sistema guarda solo lo scheletro della persona.

• L'analogia: Immagina di vedere una persona come un "bastoncino articolato" che si muove. Il sistema non sa se sei alto, basso, biondo o bruno; sa solo come ti muovi. Se il tuo braccio si muove in modo strano (come quando nascondi qualcosa sotto la giacca), il sistema lo nota. Questo protegge la privacy e rende il sistema veloce.

2. Non è un libro di testo, è un apprendista (Adattamento Periodico)

La parte più geniale è che il sistema non si ferma dopo il primo esame.

• Il vecchio metodo (Offline): È come studiare un libro di guida una volta sola e poi guidare per anni senza mai aggiornare le regole. Se la strada cambia, ti perdi.
• Il nuovo metodo (Adattamento Periodico): È come avere un allenatore che ti fa fare un allenamento di 30 minuti ogni sera.
  • Durante il giorno, il sistema osserva i clienti.
  • Di notte (o ogni 12 ore), prende i video "normali" che ha visto e dice: "Ok, questo è come ci si comporta oggi".
  • Aggiorna il suo cervello per adattarsi ai cambiamenti (es. "Oggi c'è più folla", "Oggi la luce è diversa").
  • Questo avviene direttamente sulle telecamere stesse (o su piccoli computer vicini), senza dover inviare tutto a un server centrale gigante.

3. Il Filtro Intelligente (Il "Portinaio")

Il sistema deve decidere cosa è normale e cosa è sospetto.

• Gli autori hanno creato un filtro speciale (chiamato HPRS) che funziona come un portinaio molto attento.
• Se il sistema è troppo sensibile, suona l'allarme per ogni movimento (il negoziante diventerebbe pazzo per i falsi allarmi).
• Se è troppo lento, lascia passare i ladri.
• Il loro filtro trova il punto perfetto: suona l'allarme solo quando è davvero sicuro, bilanciando la precisione e la sicurezza.

4. Il Nuovo "Campo di Addestramento" (Dataset RetailS)

Per insegnare a questo sistema, gli autori non hanno usato filmati finti in laboratorio (che sono troppo perfetti e noiosi). Hanno lavorato con un vero negozio americano per 10 giorni.

• Hanno registrato milioni di momenti normali (gente che fa la spesa).
• Hanno aggiunto momenti reali di furto (persone vere che nascondono oggetti in pantaloni, giacche, borse).
• Hanno creato un "campo di addestramento" reale, con luci che cambiano, gente che si sovrappone e telecamere da diverse angolazioni.

Perché è importante?

Immagina di avere un sistema di sicurezza che:

1. Non ti spia: Guarda solo i movimenti, non i volti.
2. Si adatta: Impara ogni giorno come cambia il tuo negozio.
3. È veloce: Funziona su computer piccoli ed economici, non su supercomputer costosi.
4. È preciso: Riduce i falsi allarmi e cattura i ladri reali.

In sintesi, questo paper ci dice che per proteggere i negozi dal furto non serve guardare tutto con occhi umani, ma serve un sistema che impara continuamente guardando solo i "movimenti" delle persone, adattandosi ogni giorno alla realtà del negozio, proprio come un lavoratore esperto che impara i trucchi dei ladri man mano che li vede.

Sommario tecnico

Titolo: Dalla Adattamento Offline all'Adattamento Periodico per il Rilevamento di Furti in Negozio Basato sulla Pose in Ambienti Retail Reali

1. Il Problema

Il furto in negozio (shoplifting) rappresenta una sfida operativa ed economica crescente per i rivenditori, con un aumento del 15% degli incidenti anno su anno e perdite finanziarie stimate in 45 miliardi di dollari nel 2024. Nonostante l'uso diffuso di videosorveglianza, la sorveglianza umana continua è inattuabile a causa del volume di dati.
Le soluzioni attuali di rilevamento delle anomalie video (VAD) presentano limitazioni critiche per il deployment nell'Internet of Things (IoT):

• Dipendenza dai pixel: I metodi basati su pixel grezzi sollevano problemi di privacy, sono sensibili alle variazioni ambientali (luce, layout) e richiedono risorse computazionali elevate, inadatte ai dispositivi edge.
• Mancanza di adattabilità: La maggior parte dei modelli è addestrata offline in condizioni di laboratorio statiche. Non riescono ad adattarsi al "drift" (cambiamento) dei comportamenti dei clienti, delle configurazioni delle telecamere o delle condizioni ambientali nel tempo, portando a tassi di falsi positivi elevati e scarsa scalabilità.
• Carenza di dataset realistici: Esistono pochi dataset su larga scala che combinino dati reali, multi-camera e rappresentazioni basate sulla pose (scheletriche) specifici per scenari IoT in streaming.

2. Metodologia

Gli autori propongono un framework end-to-end orientato all'IoT per il rilevamento di furti come problema di rilevamento di anomalie video non supervisionato basato sulla pose, con un meccanismo di adattamento periodico.

• Pipeline IoT (Fig. 1 e Fig. 2):

  1. Filtraggio: I dati video provenienti da telecamere distribuite vengono elaborati ai margini (edge) per estrarre le pose umane (scheletri 2D) anonimizzate. Un modello pre-addestrato genera punteggi di anomalia.
  2. Selezione Soglia (Thresholding): Vengono utilizzate due strategie di soglia adattiva per bilanciare precisione e falsi allarmi:
     • F1 Score: Massimizza la media armonica tra Precisione e Recall.
     • HPRS (Harmonic Mean of Precision, Recall, Specificity): Introduce la Specificità per penalizzare attivamente i falsi positivi, cruciale per evitare di sovraccaricare il personale del negozio.
  3. Raccolta (Collection): I frame con punteggio di anomalia basso (considerati "normali" o pseudo-etichettati) vengono accumulati in un buffer. Per evitare bias verso telecamere ad alto traffico, viene utilizzata una strategia di raccolta cross-camera con finestre temporali (mezza giornata o giornata intera).
  4. Addestramento Periodico: Quando il buffer raggiunge una certa dimensione o il tempo scade, il modello viene ri-addestrato (fine-tuning) sui dati locali. I nuovi pesi vengono poi spinti nuovamente ai dispositivi edge. Questo ciclo avviene in modo incrementale (continual learning) senza bisogno di annotazioni umane.

• Rappresentazione dei Dati: Invece di usare i pixel RGB, il sistema utilizza sequenze di pose (17 punti chiave COCO). Questo garantisce la privacy, riduce il carico computazionale ed è robusto al rumore visivo.

3. Contributi Chiave

1. Framework di Adattamento Periodico: Un sistema progettato specificamente per l'IoT che passa da un'ottimizzazione offline statica a un adattamento online periodico, gestendo il drift dei dati e le risorse limitate dell'edge.
2. Dataset RetailS: Un nuovo dataset su larga scala e realistico, raccolto in un vero negozio di vendita al dettaglio.
   • Include 19,9 milioni di frame di comportamento normale e oltre 20.000 frame di furti (sia reali che simulati).
   • Copre 6 telecamere, diverse strategie di occultamento (es. nascondere in tasca, giacca, borsa) e scenari multi-view.
   • È progettato specificamente per l'analisi in streaming IoT, con annotazioni basate sulla pose.
3. Benchmark Completo: Una valutazione estesa di tre modelli SOTA (STG-NF, SPARTA, TSGAD) in condizioni offline e di adattamento periodico, includendo analisi di efficienza temporale e stabilità delle soglie.

4. Risultati Sperimentali

• Performance di Adattamento: Il framework di adattamento periodico ha superato i baseline offline nel 91,6% delle valutazioni, mostrando miglioramenti significativi sia nell'AUC-ROC che nell'AUC-PR.
• Gestione dei Falsi Positivi: L'uso della soglia HPRS ha dimostrato di essere superiore alla soglia F1 nel 75% dei casi (9 su 12), fornendo un controllo più rigoroso sui falsi allarmi, essenziale per il deployment reale.
• Efficienza Temporale:
  • I modelli più leggeri (SPARTA, STG-NF) completano gli aggiornamenti di addestramento in meno di 10 minuti su hardware edge-grade.
  • Anche i modelli più pesanti (TSGAD) completano gli aggiornamenti entro finestre di 30 minuti (per finestre di mezza giornata), dimostrando la fattibilità operativa.
• Robustezza al Drift: L'adattamento periodico (aggiornamenti ogni mezza giornata) ha mostrato prestazioni migliori rispetto agli aggiornamenti giornalieri, catturando meglio i cambiamenti locali nel comportamento e nell'ambiente.
• Analisi per Telecamera: L'analisi ha rivelato che le prestazioni variano significativamente in base alla telecamera (fino al 12,78% di differenza nell'AUC-ROC), sottolineando l'importanza dell'adattamento locale rispetto a modelli globali statici.

5. Significato e Impatto

Questo lavoro segna un passaggio fondamentale nella ricerca sulla sicurezza retail:

• Dal Laboratorio al Mondo Reale: Dimostra che i sistemi di rilevamento anomalie possono essere operativi in ambienti IoT reali, gestendo rumore, occlusioni e variazioni temporali senza annotazioni continue.
• Privacy e Efficienza: Conferma che le rappresentazioni basate sulla pose sono una via praticabile per bilanciare privacy, efficienza computazionale e accuratezza, rendendole ideali per l'IoT.
• Strategia Operativa: Introduce una strategia di deployment pragmatica: fissare le soglie di decisione offline per garantire stabilità operativa ai margini, mentre si aggiornano periodicamente i pesi del modello nel backend per adattarsi ai cambiamenti.
• Risorsa per la Comunità: Il rilascio di RetailS fornisce alla comunità di ricerca un benchmark realistico e diversificato per valutare futuri algoritmi di VAD in contesti IoT, colmando il divario tra dataset sintetici/stage e scenari operativi reali.

In sintesi, il paper dimostra che l'adattamento periodico su dispositivi edge, supportato da dati basati sulla pose e da un dataset realistico, è la soluzione chiave per rendere l'intelligenza artificiale per la sicurezza retail scalabile, privata e affidabile nel lungo termine.