WIDER-FAIR: An Annotated Version of the WIDER-FACE Dataset for Fairness Evaluation

Technische Samenvatting: WIDER-FAIR

Probleemstelling
De inzet van gezichtsdetectiemodellen in sectoren met een hoog risico (bijv. wetshandhaving, werving en selectie) roept aanzienlijke zorgen op over eerlijkheid en discriminerende uitkomsten. Een primaire hindernis voor het bestuderen en mitigeren van deze vooroordelen is het gebrek aan datasets voor gezichtsdetectie die voorzien zijn van annotaties voor gevoelige kenmerken zoals etniciteit en geslacht. Hoewel bestaande benchmarks zoals WIDER-FACE breed worden gebruikt, ontbreken daarin demografische informatie, wat het evalueren van prestatieverschillen tussen verschillende groepen verhindert. Bovendien vereist wetgeving zoals de EU AI Act de detectie en mitigatie van bias, wat datasets noodzakelijk maakt die aansluiten bij juridische definities van beschermde klassen (bijv. etnische afkomst in plaats van alleen huidskleur).

Methodologie
Om dit gat te dichten, introduceren de auteurs WIDER-FAIR, een handmatig geannoteerde subset van de WIDER-FACE dataset. De methodologie omvat de volgende stappen:

1. Dataselectie en Filtering: De auteurs selecteerden afbeeldingen uit de WIDER-FACE benchmark. Om de betrouwbaarheid van de annotaties en de detecteerbaarheid door modellen te waarborgen, filterden zij afbeeldingen met gezichten met extreme occlusie (verstopping), extreme onscherpte of extreem kleine bounding boxes (relatieve oppervlakte < 0,15% van de afbeelding) eruit.
2. Annotatieproces: Een enkele menselijke annotator labelde handmatig de waargenomen etniciteit en het geslacht voor elk gezicht.
   • Etniteitscategorieën: Aziatisch, Zwart, Indiaas en Wit.
   • Geslachtscategorieën: Man en Vrouw.
   • Uitsluitingscriteria: Als een gezicht te moeilijk te classificeren was of de gevoelige waarde onduidelijk was, werd het gelabeld als "Onbepaald". Als een afbeelding een dergelijk gezicht bevatte, werd de gehele afbeelding verwijderd om onzekere labels te voorkomen.
   • Omvang: De uiteindelijke dataset bestaat uit 16.256 afbeeldingen die de vier etnische groepen en twee geslachten beslaan.
3. Kwaliteitsborging: De consistentie van de annotaties werd gevalideerd met behulp van:
   • Gezichts-embeddings: Een gezichtsherkenningsmodel genereerde 128-dimensionale embedding-vectoren.
   • Classificatie: Een K-Nearest Neighbors (KNN) classifier werd getraind op deze embeddings om gevoelige kenmerken te voorspellen. Een hoge nauwkeurigheid in deze classificatietaak suggereerde de coherentie van de annotaties.
   • Visualisatie: t-SNE-visualisatie toonde aan dat gezichten met dezelfde gevoelige attributen samen clusterden in de embedding-ruimte.
4. Experimentele Evaluatie: De auteurs trainden een YOLOv5 gezichtsdetectiemodel om de bruikbaarheid van de dataset te evalueren. Zij voerden ablatie-studies uit met een "Leave One Out"-benadering:
   • Leave One Ethnicity Out (LOEO): Modellen trainen terwijl één etnische groep uit de trainingsset wordt weggelaten.
   • Leave One Sex Out (LOSO): Modellen trainen terwijl één geslacht uit de trainingsset wordt weggelaten.
   • Metrieken: Prestaties werden gemeten met behulp van Recall bij variërende Intersection over Union (IoU) drempelwaarden. Eerlijkheid werd geëvalueerd met behulp van Equal Opportunity, gekwantificeerd door de discrepantie (standaarddeviatie) van de recall over de gevoelige groepen.

Belangrijkste Resultaten

• Annotatiekwaliteit: De KNN-classifier bereikte een hoge nauwkeurigheid in het voorspellen van de geannoteerde gevoelige kenmerken, en t-SNE-visualisaties bevestigden dat groepen duidelijke clusters vormden, wat wijst op de coherentie van de annotaties.
• Basale Prestatieverschillen: Wanneer getraind op de volledige dataset, vertoonde het model een lagere detectieprestatie (recall) voor zwarte individuen vergeleken met Aziatische, Indiase en witte individuen. Witte individuen vertoonden een iets lagere prestatie dan de Aziatische en Indiase groepen. Een kleinere prestatiekloof werd waargenomen tussen de geslachten, waarbij mannelijke gezichten iets moeilijker te detecteren waren dan vrouwelijke gezichten.
• Ablatiebevindingen:
  • Etniciteit: Het uitsluiten van de zwarte groep uit de training resulteerde in de meest significante daling van de prestaties voor die specifieke groep en veroorzaakte de grootste toename in discrepantie vergeleken met andere LOEO-scenario's. Dit suggereert dat de aanwezigheid van zwarte gezichten in de trainingsdata cruciaal is voor de generalisatie en eerlijkheid van het model.
  • Geslacht: Het uitsluiten van vrouwelijke gezichten verminderde de discrepantie, maar verlaagde het vermogen van het model om vrouwen te detecteren. Het uitsluiten van mannelijke gezichten verhoogde de discrepantie, wat suggereert dat mannelijke gezichten ook belangrijk zijn voor generalisatie.

Betekenis en Claims
Het artikel claimt dat WIDER-FAIR een noodzakelijke bron biedt voor de gemeenschap om bias in gezichtsdetectiemodellen te evalueren en te begrijpen, voortbouwend op een bekende benchmark. De auteurs benadrukken dat de dataset bedoeld is om taken rond de evaluatie van eerlijkheid te ondersteunen door het bieden van demografische annotaties die aansluiten bij de juridische definities van beschermde kenmerken.

De auteurs hanteren een bescheiden toon met betrekking tot de beperkingen van de dataset, waarbij zij expliciet vermelden:

• De annotaties werden uitgevoerd door een enkele mens op basis van waargenomen etniciteit en geslacht, niet op basis van grondwaarheid via zelfidentificatie.
• De dataset kan niet gegarandeerd vrij zijn van onbedoelde bias of annotatiefouten.
• Het uitsluiten van moeilijke afbeeldingen (onscherpte/occlusie) omvatte arbitraire drempelwaarden.

Consequent positioneert het artikel WIDER-FAIR als een instrument om onderzoek naar eerlijkheid in gezichtsdetectie te initiëren, waarbij toekomstige onderzoekers worden aangemoedigd de dataset met de gepaste voorzichtigheid te behandelen, terwijl zij wel de potentie ervan benutten om prestatieverschillen te identificeren, zoals het opvallende nadeel dat zwarte individuen ondervinden in huidige detectiemodellen.