GaitFace: A Multimodal Dataset for Long-Range Person Identification

Stellen Sie sich vor, Sie versuchen, einen Freund auf einem überfüllten Musikfestival zu erkennen. Wenn er direkt neben Ihnen steht, sehen Sie sein Lächeln, die Farbe seiner Augen und die Art und Weise, wie er den Kopf neigt. So funktioniert der Großteil der heutigen „Gesichtserkennungstechnologie“: Sie benötigt ein klares, nahes Foto, um sicher zu sein, wer Sie sind. Aber was ist, wenn Ihr Freund 90 Meter entfernt hinter einem Zaun steht und die Luft dunstig ist? Plötzlich ist sein Gesicht nur noch ein winziger, verschwommener Fleck. In der Welt der Sicherheit und Grenzkontrolle ist das ein massives Problem. Sicherheitskameras müssen Menschen oft aus der Ferne beobachten, wo die Bildqualität schrecklich ist, das Wetter schlecht ist und die Person vielleicht gerade läuft, eine Tasche trägt oder eine andere Jacke als gewohnt anhat. Wissenschaftler nennen dies „Langstrecken-Personenidentifikation“. Sie untersuchen auch, wie Menschen gehen, bekannt als „Gait“ (Gangmuster), denn selbst wenn man ein Gesicht nicht klar sehen kann, kann die Art und Weise, wie sich die Beine einer Person bewegen, einen manchmal verraten. Die große Frage ist: Können Computer immer noch erkennen, wer wer ist, wenn das Bild körnig, die Distanz riesig und die Person in Bewegung ist?

Dieses Paper stellt ein neues Werkzeug namens GaitFace vor, das wie ein riesiges, realistisches Trainingsgym für Computerprogramme ist, die versuchen, Menschen aus der Ferne zu identifizieren. Die Forscher haben einen speziellen Datensatz (eine Sammlung von Daten) erstellt, um zu testen, wie gut die aktuelle Technologie mit diesen schwierigen „In-the-Wild“-Szenarien umgeht. Sie fanden heraus, dass unsere besten Computermodelle zwar großartig darin sind, Gesichter zu erkennen, wenn sie ein hochwertiges, herangezoomtes Foto haben, aber im Grunde „crash und burn“ – also völlig versagen –, wenn das Bild eine niedrige Auflösung hat und aus der Ferne aufgenommen wurde. Sogar überraschenderweise versagen die Modelle, die normalerweise am „klügsten“ und komplexesten sind, unter diesen Bedingungen am stärksten, während einige einfachere, leichtere Modelle etwas besser standhalten. Das Paper zeigt auch, dass Gehbewegungen (Gait) unglaublich schwer aus der Ferne zu erkennen sind, wenn sich die Kleidung oder die Accessoires der Person ändern. Die Hauptbotschaft ist: Wir haben noch keine perfekte Lösung; aktuelle Systeme sind sehr fragil, wenn die Sicht schlecht ist, und wir brauchen eine viel bessere Technologie, damit Grenzsicherheit und Überwachung zuverlässig funktionieren, ohne perfekte Nahaufnahmen zu benötigen.

Die Geschichte von GaitFace

Betrachten Sie den aktuellen Stand der Sicherheitskameras wie einen Detektiv, der versucht, ein Rätsel anhand eines einzigen verschwommenen Schnappschusses zu lösen. Die Autoren dieses Papers beschlossen, eine „Mystery Box“ aus Daten zu bauen, um genau zu sehen, wie schlecht die Unschärfe ist und wie unsere digitalen Detektive damit umgehen. Sie erschufen GaitFace, einen öffentlichen Datensatz, der zwei Arten von Hinweisen kombiniert: Gesichter und die Art und Weise, wie Menschen gehen (Gait).

Der Aufbau war darauf ausgelegt, einen realen Grenzübergang nachzuahmen, aber mit einem Twist. Stellen Sie sich einen Reisenden vor, der an einer Station ankommt. Zuerst macht er ein Selfie mit seinem eigenen Telefon. Dies ist die „Pre-Enrollment“-Phase – ein hochwertiges, klares Bild davon, wer er ist. Dann geht der Reisende draußen auf einem Pfad entlang. Während er geht, wird er aus zwei verschiedenen Blickwinkeln gefilmt: einmal auf Bodenhöhe (wie ein Sicherheitsbeamter, der in der Nähe steht) und einmal aus dem dritten Stock eines Gebäudes (wie eine Kamera, die hoch oben an einem Mast montiert ist). Er geht diesen Pfad bis zu 100 Meter weit von den Kameras entfernt.

Die Forscher ließen die Teilnehmer nicht einfach nur normal gehen. Um einen echten Test zu schaffen, fügten sie „Chaos“ hinzu. Die Teilnehmer gingen, während sie telefonierten, einen Rucksack trugen, eine andere Jacke anhatten oder einfach nur normal liefen. Dies taten sie an zwei verschiedenen Tagen, die Wochen auseinanderlagen, um zu sehen, ob der Computer sie noch erkennen kann, wenn sich ihr Haar verändert hat oder das Wetter regnerisch statt sonnig war. Insgesamt nahmen sie 70 Personen auf und erstellten etwa 2,7 TB an Video- und Bilddaten.

Der große Test: Was passierte?

Die Forscher nahmen die fortschrittlichsten Gesichtserkennungs- und Gangerkennungs-Computer (genannt „Modelle“) und warfen sie in diese chaotische, realistische Datenmenge. Hier ist, was sie entdeckten:

1. Die Magie des „Zooms“ vs. die Realität der „Unschärfe“
Wenn die Kameras einen leistungsstarken optischen Zoom verwendeten, um ein klares, hochwertiges Bild aus 100 Metern Entfernung zu erhalten, waren die Computer fantastisch. Sie konnten Menschen mit sehr hoher Genauigkeit identifizieren, fast so, als stünde die Person direkt vor ihnen. Sobald sie jedoch den Zoom entfernten und das normale Objektiv der Kamera verwendeten, waren die Ergebnisse katastrophal.

• Ohne Zoom war das Gesicht einer Person in 100 Metern Entfernung nur etwa 18 mal 22 Pixel groß. Das ist kleiner als eine Briefmarke!
• In diesem Modus mit niedriger Qualität hatten selbst die besten Computer Schwierigkeiten, den Unterschied zwischen einer echten Person und einem Fremden zu erkennen. Ihre Genauigkeit sank so stark, dass sie kaum besser als bloßes Raten waren.
• Interessanterweise fanden die Forscher heraus, dass einfachere, leichtere Computermodelle (wie EdgeFace) manchmal besser abschnitten als die massiven, komplexen Modelle. Es scheint, dass die riesigen Modelle durch den Mangel an Details verwirrt werden, während die kleineren Modelle flexibler sind.

2. Die Überraschung beim „Gehen auf die Kamera zu“
Die Forscher testeten auch, was passiert, wenn eine Person von 100 Metern Entfernung bis auf 3 Meter Entfernung auf die Kamera zuläuft.

• Am fernen Ende (100 m) waren die Computer fast blind.
• Als die Person näher kam, wurden die Computer besser, aber die Verbesserung verlief nicht glatt. Selbst wenn die Person relativ nah war, wenn das Sicherheitssystem sehr streng eingestellt war (um Fehlalarme zu vermeiden), erkannten die Computer viele Menschen immer noch nicht.
• Dies zeigte, dass das bloße Warten, bis jemand näher kommt, keine perfekte Lösung ist; das System muss robust genug sein, um auch die verschwommenen Momente zu bewältigen.

3. Das Geh-Rätsel (Gait)
Die Erkennung der Art und Weise, wie jemand geht, soll eigentlich ein Backup-Plan sein, wenn Gesichter zu verschwommen sind. Aber der GaitFace-Test zeigte, dass auch dies sehr schwierig ist.

• Wenn sich der Kamerawinkel änderte (vom Boden in den 3. Stock) oder wenn die Person die Kleidung wechselte oder eine Tasche trug, gerieten die Computer sehr durcheinander.
• Die besten Modelle kamen selbst in den einfachsten Szenarien nur auf etwa 20 % bis 28 % korrekte Ergebnisse, und die Leistung sank noch weiter, wenn die Bedingungen schwierig wurden.
• Die Forscher fanden heraus, dass Modelle, die auf sauberen, kurzen Videos trainiert wurden (wie Menschen, die in einem Studio laufen), bei den unordentlichen, langen Distanz-Videos von GaitFace kläglich scheiterten.

Warum das wichtig ist

Das Paper behauptet nicht, das Problem gelöst zu zu haben. Stattdessen fungiert es wie ein Scheinwerfer, der uns genau zeigt, wo die aktuelle Technologie schwach ist. Es beweist, dass wir zwar eine erstaunliche Gesichtserkennung für Nahaufnahmen haben, aber für die reale Welt der Fernüberwachung noch nicht bereit sind. Die hier aufgedeckten „Schwachstellen“ bedeuten, dass wir, wenn wir uns heute auf diese Systeme für die Grenzkontrolle verlassen, Menschen übersehen oder Fehler machen könnten.

Die Autoren schlagen vor, dass die Zukunft in der Kombination der beiden Hinweise liegt – Gesicht und Gang –, sodass, wenn das Gesicht zu verschwommen ist, das Gangmuster helfen kann und umgekehrt. Aber im Moment ist GaitFace ein harter, ehrlicher Benchmark. Es sagt den Forschern: „Hier ist die echte Herausforderung. Eure aktuellen Werkzeuge sind noch nicht gut genug. Baut etwas Besseres.“ Durch die Veröffentlichung dieser Daten hoffen die Autoren, eine neue Generation smarterer, robusterer Sicherheitssysteme zu inspirieren, die mit der chaotischen Realität der Welt da draußen zurechtkommen können.