Demographic Fairness in Multimodal LLMs: A Benchmark of Gender and Ethnicity Bias in Face Verification

Probleemstelling

Multimodale Large Language Models (MLLMs) worden steeds vaker onderzocht voor taken die traditioneel door gespecialiseerde systemen worden uitgevoerd, zoals gezichtverificatie (het bepalen of twee gezichten tot dezelfde persoon behoren). In tegenstelling tot traditionele systemen die gebaseerd zijn op embeddings (vaste numerieke representaties), benaderen MLLMs deze taak via visuele prompten en vertrouwen ze op hun algemene visuele en redeneervermogens.

Hoewel de prestaties van MLLMs op algemene taken indrukwekkend zijn, is de demografische eerlijkheid (fairness) van deze modellen voor gezichtverificatie grotendeels onbestudeerd. Traditionele gezichtsherkenningssystemen staan bekend om hun ongelijke prestaties over verschillende demografische groepen (bijv. etniciteit en geslacht), wat leidt tot hogere foutpercentages voor bepaalde groepen. Het is onduidelijk of MLLMs dezelfde biaspatronen vertonen of dat hun fundamenteel andere aanpak (vragen-antwoorden in plaats van embedding-vergelijking) leidt tot nieuwe vormen van bias.

Methodologie

De auteurs hebben een uitgebreide benchmarkstudie opgezet om de eerlijkheid van MLLMs te evalueren.

• Modellen: Er werden negen open-source MLLMs geëvalueerd, afkomstig uit zes verschillende model families (variërend van 2B tot 8B parameters). Dit omvatte zowel algemene vision-language modellen (zoals Qwen2-VL, LLaVA, Idefics) als één gespecialiseerd model voor gezichtsanalyse (FaceLLM-8B). Alle evaluaties vonden plaats in een zero-shot setting (zonder fijnafstemming of voorbeelden in de context).
• Datasets en Protocollen:
  • IJB-C: Bevat 31.334 afbeeldingen en videoframes. De auteurs gebruikten een gesubsamplede set van 10.000 template-paren, gelabeld naar geslacht (Man/Vrouw) en etniciteit (Afrikaans, Oost-Aziatisch, Zuid-Aziatisch, Kaukasisch).
  • RFW (Racial Faces in-the-Wild): Een gebalanceerde benchmark specifiek voor etnische bias, met 24.000 paren verdeeld over vier etnische groepen. Dit dataset bevat geen genderannotaties.
• Prompting: Voor elk paar gezichten werd het model gevraagd om een similariteitscore te genereren op een schaal van 0 tot 100 via een tekstuele prompt ("Hoe waarschijnlijk is het dat deze twee gezichten tot dezelfde persoon behoren?").
• Scoring: Omdat templates meerdere afbeeldingen kunnen bevatten, werden alle mogelijke paar-combinaties binnen een template-paar beoordeeld en werd het rekenkundig gemiddelde van de scores gebruikt als de uiteindelijke template-score.
• Metingen:
  • Nauwkeurigheid: Gemeten via Equal Error Rate (EER) en True Match Rate (TMR) bij verschillende drempels.
  • Eerlijkheid (Fairness): Gekwantificeerd met vier op FMR (False Match Rate) gebaseerde metrics:
    1. Maximum FMR-differentie ($\Delta_F$): Het absolute verschil tussen de groep met de hoogste en laagste fout.
    2. Maximum FMR-ratio ($R_F$): De verhouding tussen de ergste en beste groep.
    3. Ratio tot geometrisch gemiddelde ($M_F$).
    4. Gini-coëfficiënt ($G_F$): Een maat voor ongelijkheid over alle groepen.
  • Ook werd de Decidability Index ($d'$) berekend om de scheiding tussen 'genuine' en 'impostor' scoreverdelingen te meten.

Belangrijkste Resultaten

1. Prestatieverschil:

   • FaceLLM-8B (het enige gespecialiseerde model) presteerde aanzienlijk beter dan alle algemene MLLMs op beide benchmarks (EER van 5,13% op IJB-C versus ~8-33% voor de anderen).
   • Algemene MLLMs presteerden vaak slecht, met sommige modellen die dicht bij willekeurig gissen (50% EER) zaten, vooral op het RFW-dataset.
   • De prestaties op IJB-C waren over het algemeen beter dan op RFW, waarschijnlijk omdat IJB-C-template's gemiddeld meer afbeeldingen bevatten (20,3 vs 3,6), waardoor het MLLM meer informatie had om te verwerken.

2. Biaspatronen (Etniciteit):

   • De biaspatronen in MLLMs verschilde fundamenteel van traditionele embedding-systemen. In veel traditionele systemen hebben donkerhuidige groepen hogere foutpercentages.
   • Op IJB-C bleek de Kaukasische groep in vijf van de acht modellen de meest benadeelde groep te zijn (hoogste EER), wat het tegenovergestelde is van wat vaak bij traditionele systemen wordt gezien.
   • Op RFW was de Afrikaanse groep echter de meest benadeelde groep over alle modellen heen. FaceLLM-8B had bijvoorbeeld een EER van 21,23% voor Aziaten maar 35,25% voor Afrikanen.

3. Biaspatronen (Geslacht):

   • Geslachtsbias was consistent kleiner dan etnische bias over alle modellen en drempels heen.
   • FaceLLM-8B vertoonde zeer lage geslachtsongelijkheid ($G_F = 0,004$ bij EER).

4. Nauwkeurigheids-Fairness Trade-off:

   • De meest accurate modellen waren niet noodzakelijk de eerlijkste.
   • Modellen met een slechte algehele nauwkeurigheid (zoals Ovis1.5) konden "eerlijk" lijken omdat ze over alle demografische groepen heen uniform hoge foutpercentages produceerden (geen scheiding tussen genuine en impostor scores).
   • FaceLLM-8B combineerde echter de beste nauwkeurigheid met de laagste geslachtsongelijkheid, wat aantoont dat nauwkeurigheid en eerlijkheid niet per se tegenstrijdig zijn als de scoreverdelingen goed gescheiden zijn.

Bijdragen

• Eerste Benchmark: Dit paper biedt de eerste systematische evaluatie van demografische eerlijkheid voor MLLMs in de context van gezichtverificatie.
• Uitgebreide Metingen: Het introduceert een reeks eerlijkheidsmetrics (FMR-differentie, ratio's, Gini) toegepast op MLLMs, wat een nieuw perspectief biedt op bias in generatieve modellen.
• Inzicht in Bias: Het onthult dat bias in MLLMs niet lineair overneemt vanuit traditionele systemen; de groep die het meest benadeeld wordt, hangt af van het dataset en het specifieke model.
• Praktische Implicatie: Het benadrukt dat "eerlijkheid" in modellen met slechte prestaties misleidend kan zijn en dat gespecialiseerde fine-tuning (zoals bij FaceLLM) nodig is voor bruikbare prestaties zonder grote eerlijkheidskosten.

Betekenis en Conclusie

De studie concludeert dat huidige MLLMs nog niet klaar zijn voor praktische gezichtverificatie vanwege hun lagere nauwkeurigheid en onvoorspelbare biaspatronen vergeleken met gespecialiseerde embedding-systemen. Hoewel FaceLLM-8B een grote stap voorwaarts is, blijft de eerlijkheid een complex probleem. De auteurs waarschuwen dat een model dat "eerlijk" lijkt door uniforme hoge fouten, in werkelijkheid nutteloos kan zijn. Toekomstig werk moet zich richten op het testen van grotere modellen, het analyseren van intersectie (etniciteit × geslacht) en het bestuderen van de invloed van prompt-ontwerp op de bias.

De paper is een cruciale bijdrage aan het ethische gebruik van AI in biometrie, omdat het aantoont dat de overstap naar multimodale modellen nieuwe uitdagingen met zich meebrengt die niet zomaar kunnen worden opgelost met de bestaande kennis over traditionele gezichtsherkenning.