People Analytics Framework

Technisches Resümee: People Analytics Framework (PAF)

Problemstellung
Automatisierte Überwachungssysteme stehen vor erheblichen Herausforderungen bei der Identifizierung von Personen, wenn Gesichtszüge verdeckt, okkludiert oder nicht im Kamerabild vorhanden sind (z. B. wenn eine Person mit dem Rücken zur Kamera steht). Bestehende Systeme haben oft Schwierigkeiten mit niedrig auflösenden Bildern, atmosphärischen Turbulenzen und variierenden Lichtverhältnissen, wie sie bei Fernüberwachung oder in Innenräumen üblich sind. Darüber hinaus deutet die aktuelle Literatur auf eine Lücke bei der Handhabung von Bildern hin, in denen das Gesicht nicht sichtbar ist, was eine robuste Lösung erfordert, die Personen allein basierend auf ihrem Erscheinungsbild identifizieren kann. Das primäre Ziel dieser Forschung ist die Entwicklung eines umfassenden People Analytics Framework (PAF), das in der Lage ist, Personen in geschlossenen Umgebungen (wie Universitäten, Krankenhäusern und Schulen) zu erkennen, zu verfolgen und zu verifizieren, unabhängig davon, ob deren Gesichter sichtbar sind.

Methodik
Das vorgeschlagene PAF ist eine End-to-End-Deep-Learning-Pipeline, die darauf ausgelegt ist, Videoströme von mehreren Kameras zu verarbeiten. Das System arbeitet durch vier integrierte Phasen:

1. Detection and Tracking Module (DTM):

   • Videobilder werden mit 30 fps erfasst und auf 1000x600 skaliert.
   • Das System verwendet Objekterkennungs- und Tracking-Algorithmen, um einzelne Personen zu extrahieren.
   • Ein „Bereinigungsprozess“ filtert die extrahierten Bilder, indem er Frames mit einem Personen-zu-Bild-Verhältnis von weniger als 2:1 oder Frames, die mehrere Personen enthalten, entfernt.
   • Die extrahierten Bilder werden basierend auf Tracker-IDs in Ordnern organisiert, wodurch eine Datenbank von Personen-Trajektorien erstellt wird.
   • Modellauswahl: Die Autoren verglichen Kombinationen von YOLOv5 und YOLOv8 mit DeepSort und ByteTrack. YOLOv5 in Kombination mit ByteTrack wurde als optimale Konfiguration ausgewählt, da sie ein Gleichgewicht zwischen hoher Erkennungsgenauigkeit (160 detektierte Boxen) und akzeptabler Verarbeitungszeit (2m 52,7s) bietet.

2. Face Detection and Recognition Module (FDRM):

   • Gesichtserkennung: Verschiedene Detektoren (Haar Cascade, SSD, MTCNN, RetinaFace) wurden evaluiert. MTCNN wurde als primärer Detektor gewählt, da es eine ausgewogene Balance zwischen Genauigkeit und Recheneffizienz bietet, insbesondere beim Umgang mit niedrig auflösenden Bildern, bei denen andere Modelle versagten oder übermäßige Falsch-Positiv-Ergebnisse lieferten.
   • Face Clustering & Verification: Das System nutzt Deep-Learning-Modelle (VGG16, FaceNet, DeepID, SFace, ArcFace), um Merkmalsvektoren zu extrahieren.
   • Loss-Funktionen: Das Framework verwendet Triplet Loss und Cluster Loss, um ähnliche Gesichter zu gruppieren und unähnliche voneinander zu trennen. Für die Verifizierung wird die ArcFace Loss-Funktion eingesetzt, um die Inter-Class-Variation zu erhöhen und die Intra-Class-Variation zu reduzな.
   • Modellauswahl: Unter den Erkennungsmodellen zeigte SFace die höchste Effizienz und Genauigkeit (99,80 % Erfolgsrate mit euklidischem Abstand und 0,47 s Durchschnittszeit), gefolgt von ArcFace und VGG-Face.

3. Person Re-Identification Module (PRM):

   • Dieses Modul adressiert Szenarien, in denen Gesichter nicht sichtbar sind, indem es das Erscheinungsbild des gesamten Körpers (Kleidung, Körperform, Gangart) analysiert.
   • Es nutzt Deep Metric Learning (DML)-Ansätze, spezifisch Omni-Scale Feature Learning (OsNet).
   • Modellauswahl: OsNet mit Triplet Loss wurde ausgewählt und erreichte eine Rank-1-Genauigkeit von 99,97 % und eine mittlere Average Precision (mAP) von 99,92 % auf dem Testdatensatz.

4. Systemintegration:

   • Die Module werden in eine einheitliche Pipeline integriert. Wenn ein Benutzer eine bestimmte Person abfragt (via Bild oder Name), durchsucht das System die Datenbank.
   • Ist das Gesicht sichtbar, wird die Face Verification genutzt. Ist das Gesicht nicht sichtbar, wird die Person Re-Identification angewendet.
   • Das System führt Daten aus verschiedenen Kameras und Zeitrahmen unter Verwendung von Tracker-IDs zusammen, um eine vollständige Trajektorie der Einzelperson bereitzustellen.

Wesentliche Beiträge

• Hybrides Framework: Die Arbeit schlägt ein einheitliches Framework vor, das gesichtsbasierte Erkennung nahtlos mit erscheinungsbasierter Person Re-Identification (ReID) kombiniert und so die Identifizierung auch bei Okklusion der Gesichtszüge sicherstellt.
• Operative Pipeline: Eine vollständige, getestete Pipeline für die Überwachung geschlossener Bereiche wurde etabliert, die von der Rohvideoaufnahme über die Datenbankregistrierung bis hin zur Antwort auf Benutzeranfragen reicht.
• Empirische Modellauswahl: Die Studie bietet eine vergleichende Analyse von State-of-the-Art-Modellen (YOLO-Varianten, DeepSort/ByteTrack, MTCNN, ArcFace, SFace, OsNet) speziell für diesen Überwachungskontext und identifiziert die effektivsten Kombinationen für Genauigkeit und Geschwindigkeit.
• Datenbankarchitektur: Die Erstellung einer strukturierten Datenbank, die Personen-IDs, Zeitstempel, Kamera-Standorte und Trajektorien-Daten verknüpft, um „Wer, Wo und Wann“-Anfragen zu beantworten.

Ergebnisse
Das System wurde mit Daten getestet, die in der Campus-Umgebung der Autoren mit vier Kameras gesammelt wurden.

• Gesamtgenauigkeit: Das integrierte System erreichte eine Gesamterfolgsrate von 98,7 %.
• Face Verification: Das System erreichte eine Erfolgsrate von 97,6 % bei der Gesichtsverifizierung.
• ReID-Leistung: Das ausgewählte ReID-Modell (OsNet mit Triplet Loss) demonstrierte eine hohe Effektivität mit einer Rank-1-Genauigkeit von 99,97 % und einer mAP von 99,92 %.
• Umgang mit Okklusion: Das Framework identifizierte erfolgreich Personen, deren Gesichter in den Bildrahmen nicht sichtbar waren, wobei das ReID-Modul eine Übereinstimmungsgenauigkeit von bis zu 97,6 % erreichte.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass das PAF erfolgreich die Einschränkungen aktueller Überwachungssysteme adressiert, die versagen, wenn Gesichter nicht sichtbar sind. Durch die Integration von Detektion, Tracking, Gesichtserkennung und ReID in ein einziges operatives Framework bietet das System eine robuste Lösung für die Überwachung geschlossener Bereiche wie Campus-Gelände oder Krankenhäuser. Die Autoren betonen, dass das System unabhängig arbeitet, um Überwachung und Alarmierung durchzuführen.

Die Autoren räumen bescheiden ein, dass Datensammlung und -beschriftung weiterhin signifikante Herausforderungen darstellen, insbesondere hinsichtlich der Variationen in Kameraentfernung, Auflösung und Winkeln. Sie merken an, dass das aktuelle System zwar auf ihrem spezifischen Datensatz gut funktioniert, zukünftige Arbeiten jedoch unüberwachtes Domain Adaptation oder Semi-Supervised Learning beinhalten könnten, um die Generalisierung auf ungesehene Umgebungen mit minimaler manueller Beschriftung zu verbessern. Die Arbeit beansprucht keine universelle Anwendbarkeit auf alle Außenbereiche oder Langstreckenszenarien, sondern konzentriert sich auf die Effektivität innerhalb kontrollierter privater Netzwerkumgebungen.