People Analytics Framework

Sintesi Tecnica: People Analytics Framework (PAF)

Problematica
I sistemi di sorveglianza automatizzati affrontano sfide significative nell'identificare individui quando i tratti somatici sono oscurati, occlusi o assenti dal campo visivo della telecamera (ad esempio, quando una persona dà le spalle). I sistemi esistenti spesso faticano con immagini a bassa risoluzione, turbolenza atmosferica e condizioni di illuminazione variabile, comuni nella sorveglianza a lungo raggio o indoor. Inoltre, la letteratura attuale indica una lacuna nella gestione di immagini in cui il volto non è visibile, rendendo necessaria una soluzione robusta in grado di identificare gli individui basandosi esclusivamente sull'aspetto. L'obiettivo primario di questa ricerca è sviluppare un People Analytics Framework (PAF) completo, capace di rilevare, tracciare e verificare individui in ambienti chiusi (come università, ospedali e scuole), indipendentemente dalla visibilità del volto.

Metodologia
Il PAF proposto è una pipeline di deep learning end-to-end progettata per elaborare flussi video da più telecamere. Il sistema opera attraverso quattro fasi integrate:

1. Modulo di Rilevamento e Tracciamento (DTM):

   • I fotogrammi video vengono catturati a 30 fps e ridimensionati a 1000x600.
   • Il sistema impiega algoritmi di rilevamento e tracciamento di oggetti per estrarre singole persone.
   • Un processo di "pulizia" filtra le immagini estratte, rimuovendo i fotogrammi con un rapporto persona-immagine inferiore a 2:1 o fotogrammi che contengono più persone.
   • Le immagini estratte sono organizzate in cartelle basate sugli ID dei tracker, creando un database delle traiettorie delle persone.
   • Selezione del Modello: Gli autori hanno confrontato diverse combinazioni di YOLOv5 e YOLOv8 con DeepSort e ByteTrack. YOLOv5 combinato con ByteTrack è stato selezionato come la configurazione ottimale, offrendo un equilibrio tra alta accuratezza di rilevamento (160 box rilevati) e tempi di elaborazione accettabili (2m 52.7s).

2. Modulo di Rilevamento e Riconoscimento Facciale (FDRM):

   • Rilevamento del Volto: Diversi rilevatori (Haar Cascade, SSD, MTCNN, RetinaFace) sono stati valutati. MTCNN è stato scelto come rilevatore primario grazie al suo equilibrio tra accuratezza ed efficienza computazionale, particolarmente nel gestire immagini a bassa risoluzione dove altri modelli fallivano o producevano un numero eccessivo di falsi positivi.
   • Clustering e Verifica Facciale: Il sistema utilizza modelli di deep learning (VGG16, FaceNet, DeepID, SFace, ArcFace) per estrarre vettori di caratteristiche.
   • Funzioni di Perdita (Loss Functions): Il framework impiega la Triplet Loss e la Cluster Loss per raggruppare volti simili e separare quelli dissimili. Per la verifica, viene utilizzata la funzione di perdita ArcFace per aumentare la variazione inter-classe e ridurre la variazione intra-classe.
   • Selezione del Modello: Tra i modelli di riconoscimento, SFace ha dimostrato l'efficienza e l'accuratezza più elevate (tasso di successo del 99,80% con distanza Euclidea e tempo medio di 0,47s), seguito da ArcFace e VGG-Face.

3. Modulo di Re-Identificazione della Persona (PRM):

   • Questo modulo affronta gli scenari in cui i volti non sono visibili, analizzando l'aspetto del corpo intero (abbigliamento, forma del corpo, andatura).
   • Utilizza approcci di Deep Metric Learning (DML), nello specifico l'Omni-Scale Feature Learning (OsNet).
   • Selezione del Modello: OsNet con Triplet Loss è stato selezionato, raggiungendo un'accuratezza Rank-1 del 99,97% e una media precisione media (mAP) del 99,92% sul dataset di test.

4. Integrazione del Sistema:

   • I moduli sono integrati in una pipeline unificata. Quando un utente interroga una persona specifica (tramite immagine o nome), il sistema effettua una ricerca nel database.
   • Se il volto è visibile, viene utilizzata la Verifica Facciale. Se il volto non è visibile, viene impiegata la Re-Identificazione della Persona.
   • Il sistema unisce i dati provenienti da diverse telecamere e intervalli temporali utilizzando gli ID dei tracker per fornire una traiettoria completa dell'individuo.

Contributi Chiave

• Framework Ibrido: Il documento propone un framework unificato che combina fluidamente il riconoscimento basato sul volto con la Re-Identificazione (ReID) basata sull'aspetto, garantendo l'identificazione anche quando i tratti del viso sono occlusi.
• Pipeline Operativa: È stata stabilita una pipeline completa e testata per la sorveglianza in aree chiuse, che va dalla cattura del video grezzo alla registrazione nel database e alla risposta alle query dell'utente.
• Selezione Empirica dei Modelli: Lo studio fornisce un'analisi comparativa di modelli allo stato dell'arte (varianti YOLO, DeepSort/ByteTrack, MTCNN, ArcFace, SFace, OsLet) specificamente per questo contesto di sorveglianza, identificando le combinazioni più efficaci per accuratezza e velocità.
• Architettura del Database: La creazione di un database strutturato che collega ID persona, timestamp, posizioni delle telecamere e dati di traiettoria per rispondere a query su "chi, dove e quando".

Risultati
Il sistema è stato testato utilizzando dati raccolti nell'ambiente del campus degli autori coinvolgendo quattro telecamere.

• Accuratezza Complessiva: Il sistema integrato ha raggiunto un tasso di successo complessivo del 98,7%.
• Verifica Facciale: Il sistema ha ottenuto un tasso di successo del 97,6% nella verifica del volto.
• Prestazioni ReID: Il modello ReID selezionato (OsNet con Triplet Loss) ha dimostrato un'elevata efficacia, con un'accuratezza Rank-1 del 99,97% e un mAP del 99,92%.
• Gestione dell'Occlusione: Il framework ha identificato con successo individui i cui volti non erano visibili nei fotogrammi, facendo affidamento sul modulo ReID con un'accuratezza di corrispondenza fino al 97,6%.

Significatività e Rivendicazioni
Il documento afferma che il PAF affronta con successo i limiti degli attuali sistemi di sorveglianza che falliscono quando i volti non sono visibili. Integrando rilevamento, tracciamento, riconoscimento facciale e ReID in un unico framework operativo, il sistema fornisce una soluzione robusta per il monitoraggio di aree chiuse come campus e ospedali. Gli autori sottolineano che il sistema opera in modo indipendente per eseguire monitoraggio e allerta.

Gli autori riconoscono con modestia che la raccolta e l'etichettatura dei dataset rimangono sfide significative, in particolare riguardo alle variazioni di distanza della telecamera, risoluzione e angoli. Notano che, sebbene l'attuale sistema funzioni bene sul loro specifico dataset, il lavoro futuro potrebbe prevedere l'adattamento del dominio non supervisionato o l'apprendimento semi-supervisionato per migliorare la generalizzazione in ambienti non visti. Il documento non rivendica l'applicabilità universale a tutti gli scenari esterni o a lungo raggio, ma si concentra sulla sua efficacia all'interno di ambienti controllati e di reti private.