WIDER-FAIR: An Annotated Version of the WIDER-FACE Dataset for Fairness Evaluation
Dieses Paper stellt WIDER-FAIR vor, einen neuen Datensatz, der den WIDER-FACE-Benchmark durch manuelle Annotationen für Ethnizität und Geschlecht erweitert, um Fairness-Evaluierungen zu ermöglichen, wobei durch Experimente nachgewiesen wird, dass Gesichtserkennungsmodelle signifikante Leistungsunterschiede aufweisen, insbesondere gegenüber schwarzen Personen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie besitzen ein riesiges, chaotisches Fotoalbum voller Bilder von Menschenmengen, Straßenszenen und Veranstaltungen. Dieses Album trägt den Namen WIDER-FACE und gilt als der „Goldstandard“, um Computern beizubringen, menschliche Gesichter in Fotos zu erkennen. Aber es gibt einen Haken: Das Album enthält keine Etiketten, die verraten, wer auf den Fotos zu sehen ist. Sie wissen nicht, ob die abgebildeten Personen Männer oder Frauen sind oder welchen ethnischen Hintergründen sie angehören.
Aufgrund dieser fehlenden Informationen ist es unmöglich zu überprüfen, ob der Computer fair arbeitet. Ist er gut darin, Gesichter aller Arten von Menschen zu erkennen, oder wird er nur besonders gut darin, Gesichter zu erkennen, die den meisten Fotos ähneln, mit denen er trainiert wurde?
Hier kommt WIDER-FAIR ins Spiel.
Die Autoren dieser Arbeit haben aus diesem riesigen, unbeschrifteten Album eine neue, annotierte Version namens WIDER-FAIR erstellt. Stellen Sie sich das so vor, als hätten Sie einen sehr sorgfältigen Bibliothekar engagiert, der jedes einzelne Foto durchgeht und jedem Gesicht einen Klebezettel anheftet. Der Bibliothekar schrieb für jedes Gesicht, das er klar erkennen konnte, zwei Dinge auf:
- Wahrgenommenes Geschlecht: Ist diese Person männlich oder weiblich?
- Wahrgenommene Ethnizität: Erscheint diese Person als asiatisch, schwarz, indisch oder weiß?
Hinweis: Die Arbeit betont, dass dies „wahrgenommene“ Etiketten sind, basierend auf dem, was der Bibliothekar in dem Foto sieht, und nicht die tatsächliche Identität der Person, da die ursprünglichen Fotos diese Information nicht enthielten.
Der „Qualitätskontroll“-Check
Bevor sie diesem neuen, annotierten Album vertrauten, wollten die Autoren sicherstellen, dass der Bibliothekar kein Chaos angerichtet hat. Sie verwendeten einige Tricks, um die Arbeit zu überprüfen:
- Der „Ähnlichkeits-Test“: Sie nutzten ein Computerprogramm, um Gesichter zu gruppieren, die sich ähnlich sehen. Sie fanden heraus, dass Gesichter, die als „schwarz“ etikettiert wurden, dazu neigten, sich zusammenzufinden, und Gesichter, die als „weiß“ etikettert wurden, ebenfalls, genau wie man es erwarten würde. Dies deutete darauf sich hin, dass der Bibliothekar konsistent arbeitete.
- Das „Ratespiel“: Sie trainierten einen einfachen Computer, um die Etiketten basierend auf den Fotos zu erraten. Der Computer traf die Antworten meistens richtig, was ihnen die Zuversicht gab, dass die Etiketten genau genug waren, um verwendet zu werden.
Das große Experiment: Was passiert, wenn wir Gruppen verstecken?
Der interessanteste Teil der Arbeit war das, was geschah, als sie versuchten, einem Gesichtserkennungsprogramm (speziell einem Modell namens YOLOv5) mithilfe dieses neuen Albums etwas beizubringen. Sie führten eine Reihe von Experimenten durch, bei denen sie ein Spiel von „Verstecken und Suchen“ mit den Daten spielten:
- Die Baseline: Zuerst lehrten sie den Computer unter Verwendung des gesamten Albums (alle Ethnien und Geschlechter). Sie fanden heraus, dass der Computer im Allgemeinen gut war, aber am meisten mit den Gesichtern von schwarzen Individuen zu kämpfen hatte. Es war wie ein Schüler, der hart studiert hat, aber immer wieder die Fragen zu einem bestimmten Kapitel falsch beantwortet.
- Der „Leave One Out“-Test: Als Nächstes versuchten sie, den Computer zu trainieren, ohne bestimmte Gruppen zu berücksichtigen.
- Wenn sie die asiatischen, indischen oder weißen Gesichter aus den Trainingsdaten entfernten, änderte sich die Leistung des Computers für die anderen Gruppen nicht wesentlich.
- Jedoch, als sie die schwarzen Gesichter aus den Trainingsdaten entfernten, sank die Fähigkeit des Computers, schwarze Gesichter zu erkennen, signifikant. Noch schlimmer noch: Die Lücke zwischen der Erkennungsrate von schwarzen Gesichtern im Vergleich zu anderen Gesichtern wurde viel größer.
Die Metapher: Stellen Sie sich einen Koch vor, der lernt, einen Eintopf zu kochen. Wenn er mit Rind, Huhn und Schwein übt, lernt er, mit allen drei Arten umzugehen. Wenn man ihm das Schweinefleisch wegnimmt, kommt er mit Rind und Huhn vielleicht immer noch gut zurecht. Aber wenn man das Rindfleisch komplett entfernt und ihn dann fragt, einen Rindereintopf zu kochen, wird er kläglich scheitern. Die Arbeit fand heraus, dass die Gruppe der „schwarzen Gesichter“ die kritischste Zutat war, damit der Computer lernt, über das Ganze hinweg fair und präzise zu sein.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass man nicht einfach eine Menge Fotos in einen Computer werfen kann und dann hofft, dass es gut geht, um ein faires Gesichtserkennungssystem zu bauen. Man braucht Daten, die explizit diverse Gruppen enthalten.
Die Autoren warnen davor, dass, da ein Mensch das gesamte Labeling durchgeführt hat, es unbeabsichtigte Vorurteile oder Fehler in den Notizen geben könnte. Dennoch glauben sie, dass dieser Datensatz ein lebenswichtiges Werkzeug ist. Er ermöglicht es Forschern, aufzuhören zu raten und stattdessen genau zu messen, wo und warum ihre Gesichtserkennungsmodelle Menschen ungerecht behandeln – wobei sie besonders hervorheben, dass der Ausschluss schwarzer Gesichter aus den Trainingsdaten den größten Rückgang der Fairness verursacht.
Kurz gesagt: WIDER-FAIR ist ein beschriftetes Fotoalbum, das dazu dient, uns dabei zu helfen, die blinden Flecken unserer Technologie aufzuspüren, um sicherzustellen, dass Gesichtserkennungsprogramme für alle funktionieren, nicht nur für einige.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.