People Analytics Framework

Technische Samenvatting: People Analytics Framework (PAF)

Probleemstelling
Geautomatiseerde surveillance-systemen kampen met aanzienlijke uitdagingen bij het identificeren van individuen wanneer gelaatstrekken worden verborgen, geoccludeerd of afwezig zijn uit het camerabeeld (bijvoorbeeld wanneer iemands rug naar de camera is gekeerd). Bestaande systemen hebben vaak moeite met beelden met een lage resolutie, atmosferische turbulentie en variërende lichtomstandigheden die gebruikelijk zijn bij surveillance op lange afstand of binnenshuis. Bov�gens geeft de huidige literatuur aan dat er een tekort is in het omgaan met beelden waar het gezicht niet zichtbaar is, wat de noodzaak voor een robuuste oplossing vereist die individuen uitsluitend op basis van uiterlijk kan identificeren. Het primaire doel van dit onderzoek is het ontwikkelen van een uitgebreid People Analytics Framework (PAF) dat in staat is om individuen te detecteren, te volgen en te verifiëren in gesloten omgevingen (zoals universiteiten, ziekenhuizen en scholen), ongeacht of hun gezichten zichtbaar zijn.

Methodologie
Het voorgestelde PAF is een end-to-end deep learning-pipeline die is ontworpen om videostreams van meerdere camera's te verwerken. Het systeem werkt via vier geïntegreerde fasen:

1. Detectie- en Trackingmodule (DTM):

   • Videoframes worden vastgelegd op 30 fps en geresize naar 1000x600.
   • Het systeem maakt gebruik van objectdetectie- en trackingalgoritmen om individuele personen te extraheren.
   • Een "reinigingsproces" filtert de geëxtraheerde afbeeldingen door frames te verwijderen met een persoon-tot-afbeelding-ratio van minder dan 2:1 of frames die meerdere mensen bevatten.
   • Geëxtraheerde afbeeldingen worden georganiseerd in mappen op basis van tracker-ID's, waardoor een database van persoonstrajecten ontstaat.
   • Modelselectie: De auteurs vergeleken combinaties van YOLOv5 en YOLOv8 met DeepSort en ByteTrack. YOLOv5 gecombineerd met ByteTrack werd gekozen als de optimale configuratie, wat een balans biedt tussen een hoge detectatienauwkeurigheid (160 gedetecteerde boxen) en een acceptabele verwerkingstijd (2m 52.7s).

2. Gezichtsdetectie- en Herkenningsmodule (FDRM):

   • Gezichtsdetectie: Verschillende detectoren (Haar Cascade, SSD, MTCNN, RetinaFace) werden geëvalueerd. MTCNN werd gekozen als de primaire detector vanwege de balans tussen nauwkeurigheid en computationele efficiëntie, met name bij het verwerken van beelden met een lage resolutie waar andere modellen faalden of overmatige fout-positieven produceerden.
   • Gezichtsclustering & Verificatie: Het systeem maakt gebruik van deep learning-modellen (VGG16, FaceNet, DeepID, SFace, ArcFace) om feature-vectoren te extraheren.
   • Loss-functies: Het framework maakt gebruik van Triplet Loss en Cluster Loss om vergelijkbare gezichten te groeperen en ongelijksoortige gezichten te scheiden. Voor verificatie wordt de ArcFace loss-functie gebruikt om de inter-class variatie te vergroten en de intra-class variatie te verminderen.
   • Modelselectie: Onder de herkenningsmodellen demonstreerde SFace de hoogste efficiëntie en nauwkeurigheid (99,80% succespercentage met Euclidische afstand en 0,47s gemiddelde tijd), gevolgd door ArcFace en VGG-Face.

3. Persoons-Re-Identificatie Module (PRM):

   • Deze module adresseert scenario's waarin gezichten niet zichtbaar zijn door het volledige lichaam (kleding, lichaamsvorm, gangwijze) te analyseren.
   • Het maakt gebruik van Deep Metric Learning (DML) benaderingen, specifiek Omni-Scale Feature Learning (OsNet).
   • Modelselectie: OsNet met Triplet Loss werd gekozen, wat een Rank-1 nauwkeurigheid van 99,97% en een mean Average Precision (mAP) van 99,92% behaalde op de testdataset.

4. Systeemintegratie:

   • De modules zijn geïntegreerd in een uniforme pipeline. Wanneer een gebruiker een specifieke persoon opvraagt (via een afbeelding of naam), doorzoekt het systeem de database.
   • Als het gezicht zichtbaar is, wordt Face Verification gebruikt. Als het gezicht niet zichtbaar is, wordt Person Re-Identification toegepast.
   • Het systeem voegt gegevens van verschillende camera's en tijdstippen samen met behulp van tracker-ID's om een volledig traject van het individu te bieden.

Belangrijkste Bijdragen

• Hybride Framework: Het artikel stelt een verenigd framework voor dat naadloos gezichtsgebaseerde herkenning combineert met uiterlijk-gebaseerde Person Re-Identification (ReID), waardoor identificatie zelfs wanneer gelaatstrekken geoccludeerd zijn, gewaarborgd blijft.
• Operationele Pipeline: Er is een volledige, geteste pipeline opgezet voor surveillance in gesloten gebieden, reikend van ruwe videocaptuur tot database-registratie en gebruikersquery-respons.
• Empirische Modelselectie: De studie biedt een vergelijkende analyse van state-of-the-art modellen (YOLO-varianten, DeepSort/ByteTrack, MTCNN, ArcFace, SFace, OsNet), specifiek voor deze surveillancecontext, waarbij de meest effectieve combinaties voor nauwkeurigheid en snelheid zijn geïdentificeerd.
• Database Architectuur: De creatie van een gestructureerde database die persoon-ID's, tijdstempels, cameralocaties en trajectgegevens koppelt om vragen te beantwoorden over "wie, waar en wanneer".

Resultaten
Het systeem is getest met gegevens verzameld uit de campusomgeving van de auteurs, waarbij gebruik is gemaakt van vier camera's.

• Totale Nauwkeurigheid: Het geïntegreerde systeem bereikte een algeheel succespercentage van 98,7%.
• Gezichtsverificatie: Het systeem behaalde een succespercentage van 97,6% bij gezichtsverificatie.
• ReID Prestaties: Het geselecteerde ReID-model (OsNet met Triplet Loss) demonstreerde een hoge effectiviteit, met een Rank-1 nauwkeurigheid van 99,97% en een mAP van 99,92%.
• Omgaan met Occlusie: Het framework identificeerde individuen wiens gezichten niet zichtbaar waren in de beeldframes succesvol, door vertrouwend op de ReID-module met een matchingsnauwkeurigheid tot 97,6%.

Betekenis en Claims
Het artikel claimt dat de PAF succesvol de beperkingen van huidige surveillance-systemen aanpakt die falen wanneer gezichten niet zichtbaar zijn. Door detectie, tracking, gezichtsherkenning en ReID te integreren in één operationeel framework, biedt het systeem een robuuste oplossing voor het monitoren van gesloten gebieden zoals campussen en ziekenhuizen. De auteurs benadrukken dat het systeem onafhankelijk opereert om monitoring en waarschuwingen uit te voeren.

De auteurs erkennen bescheiden dat de verzameling en labeling van datasets aanzienlijke uitdagingen blijven, met name met betrekking tot variaties in cameradistantie, resolutie en hoeken. Zij merken op dat hoewel het huidige systeem goed presteert op hun specifieke dataset, toekomstig werk zich kan richten op unsupervised domain adaptation of semi-supervised learning om generalisatie naar onbekende omgevingen met minimale handmatige labeling te verbeteren. Het artikel claimt geen universele toepasbaarheid voor alle buiten- of lange-afstandsscenario's, maar richt zich op de effectiviteit binnen gecontroleerde, private netwerkomgevingen.