Technische Samenvatting: Bias-mitigatie in Gezichtsherkenning via Demografische Supervised Contrastive Learning

1. Probleemstelling

Gezichtsherkenningssystemen (FR), met name die gebaseerd op deep learning, vertonen aanzienlijke bias over demografische groepen (bijv. geslacht, leeftijd, etniciteit). Deze bias manifesteert zich als uiteenlopende foutpercentages, waarbij bepaalde groepen te maken krijgen met hogere False Match Rates (FMR) of False Non-Match Rates (FNMR). Hoewel onbalans in de trainingsdata een bekende bijdrager is, mitigeert het simpelweg balanceren van de trainingsdataset het probleem niet volledig.

De kernuitdaging ligt in de operationele inzet van FR-systemen, die doorgaans functioneren bij zeer lage false match rates (de "staart" van de non-match scoreverdeling). Standaard technieken voor klasse-balancering verbeteren vaak het gemiddelde van de scoreverdelingen, maar falen in het aanpakken van het gedrag in de staart, waar eerlijkheid (fairness) het meest kritiek is. Bovs staat bestaande mitigatiestrategieën vaak voor een trade-off: methoden die gevoelige demografische informatie uit embeddings verwijderen om bias te voorkomen, verslechteren vaak de algehele verificatieprestaties, terwijl post-hoc score-normalisatie demografische informatie tijdens de inzet vereist, wat niet altijd beschikbaar of wenselijk is.

2. Methodologie: DeSCon

De auteurs stellen Demographic-based Supervised Contrastive loss (DeSCon) voor, een framework dat supervised contrastive learning integreert in standaard margin-gebaseerde softmax-frameworks (bijv. ArcFace). De aanpak beoogt de eerlijkheid te verbeteren door expliciet de staart van de non-match scoreverdeling aan te pakken zonder het onderscheidend vermogen op te offeren.

Kernmechanisme

DeSCon combineert twee complementaire doelstellingen:

1. Centroid-gebaseerde Loss (bijv. ArcFace): Trekt embeddings naar hun klasse-centrum en duwt ze weg van andere klasse-centra om inter-klasse scheidbaarheid te garanderen.
2. Supervised Contrastive Loss (SupCon): Werkt direct op embeddings door "mated" paren (dezelfde identiteit) bij elkaar te trekken en "non-mated" paren (verschillende identiteiten) uit elkaar te duwen.

De belangrijkste innovatie is de demografisch-bewuste paarselectie binnen de SupCon-component. In tegen tegenstelling tot standaard contrastive learning, dat alle non-mated paren gelijk behandelt, stuurt DeSCon de selectie van negatieve paren aan op basis van demografische labels om specifiek de intra-groep scheiding te targeten.

Samplingstrategieën

Het artikel onderzoekt drie specifie�k strategieën voor het selecteren van non-mated paren ($N(a)$) voor de contrastive loss denominator:

• DeSCon-All: Past contrastive loss toe op alle non-mated paren in de batch, ongeacht de demografische groep.
• DeSCon-WG (Within-Group): Beperkt de sampling van non-mated paren tot monsters die tot dezelfde demografische groep behoren als de anchor. Dit versterkt de lokale balans en intra-groep scheiding.
• DeSCon-Hard: Richt zich op de moeilijkste non-mated paren binnen dezelfde demografische groep (de top $K$ meest gelijkaardige non-mated samples). Deze strategie richt zich specifisch op de staart van de non-match verdeling, met als doel de hardheid van de fairness-regularisatie te maximaliseren waar deze het meest nodig is.

Trainingsdoelstelling

De totale loss-functie combineert ArcFace en de demografisch-gewogen SupCon:
$$L_{total} = \frac{1}{B} \sum_{b=1}^{B} w_d [L_{arc}(x_b) + \lambda \cdot L_{sup}(x_b)]$$
Waarbij $w_d$ een groep-bewuste weging is om demografische onbalans in de trainingsdata te compenseren, en $\lambda$ de twee doelstellingen balanceert. Het framework is ontworpen om compatibel te zijn met diverse backbones en margin-gebaseerde losses (bijv. ArcFace, AdaFace).

3. Belangrijkste Bijdragen

• Introductie van DeSCon: Een fairness-bewuste loss functie die centroid-gebaseerde losses aanvult met supervised contrastive learning om gezamenlijk accuratesse en eerlijkheid te verbeteren.
• Strategische Paar-sampling: De exploratie van drie samplingstrategieën (All, WG, Hard) om globale scheiding, binnen-groep consistentie en hard negative regularisatie te balanceren.
• Uitgebreide Evaluatie: Uitgebreide experimenten met diverse backbones (IResNet50, IResNet100) en benchmarks (RFW, BFW, VGGFace2, IJB-C) onder zowel gebalanceerde als ongebalanceerde trainingsregimes.
• Gestandaardiseerde Metrieken: Een rigoureuze evaluatie conform ISO/IEC 19795-10 standaarden, waarbij de Gini-coëfficiënt wordt gebruikt om de ongelijkheid in FMR (FPD) en FNMR (FND) over groepen te meten, in plaats van enkel te vertrouwen op per-groep accuratesse met afzonderlijke drempelwaarden.

4. Experimentele Resultaten

De auteurs evalueerden DeSCon tegen state-of-the-art bias mitigatie methoden (bijv. RamFace, MixFairFace, DeFT, ScoreNorm) en baselines.

• Fairness vs. Prestaties: DeSCon-varianten verbeterden consistent de fairness-metrieken (verminderde FPD en FND) terwijl ze concurrerende verificatieprestaties (TMR) behielden.
• Superioriteit van DeSCon-Hard: In zowel gebalanceerde als ongebalanceerde trainingsscenario's kwam DeSCon-Hard als de meest robuuste variant uit de bus. Het bereikte de beste balans tussen verificatieprestaties en eerlijkheid, en leverde consistente reducties in zowel FPD als FND.
  • Op de RFW dataset (gebalanceerde test) verminderde DeSCon-Hard de FPD significant vergeleken met de ArcFace baseline.
  • Op VGGFace2 (ongebalanceerde test) behield DeSCon-Hard robuuste verbeteringen in eerlijkheid waar andere methoden gemengde resultaten lieten zien.
• Ablatie-bevindingen:
  • Het vervangen van SupCon door andere pairwise losses (bijv. Triplet, Multi-Similarity) verslechterde de prestaties, wat de noodzaak van de SoftMax-gebaseerde aggregatie over alle non-mated paren bevestigt voor het vormgeven van de staart van de distributie.
  • Hard negative mining (DeSCon-Hard) werd geïdentificeerd als de meest effectieve samplingstrategie.
  • De methode generaliseerde goed naar sterkere margin-gebaseerde losses zoals AdaFace.
• Benchmark Prestaties: Op standaard verificatie benchmarks (LFW, CPLFW, AgeDB, IJB-C) behielden DeSCon-varianten een accuratesse die vergelijkbaar is met de ArcFace baseline, met enkele verbeteringen waargenomen op de uitdagende IJB-C dataset.

5. Betekenis en Claims

Het artikel claimt dat DeSCon een praktische oplossing biedt voor de trade-off tussen fairness en prestaties in gezichtsherkenning. De betekenis ligt in:

1. Maatwerk voor Fairness: Door zich te richten op de "harde" non-mated paren binnen demografische groepen, adresseert de methode direct de operationele staart van de scoreverdeling, wat cruciaal is voor real-world inzet.
2. Geen Inference Overhead: In tegenstelling tot post-hoc normalisatiemethoden vereist DeSCon geen demografische informatie of extra berekeningen tijdens de inference (verificatie) fase.
3. Robuustheid: De aanpak blijft effectief, zelfs wanneer de trainingsdata demografisch ongebalanceerd is, een veelvoorkomend scenario in de echte wereld.
4. Methodologische Rigor: De auteurs benadrukken het belang van het naleven van internationale standaarden (ISO/IEC 19795-10) voor de evaluatie van eerlijkheid, en stellen dat veel bestaande metrieken (zoals per-groep accuratesse met afzonderlijke drempelwaarden) een te optimistische en onrealistische beoordeling van eerlijkheid geven.

De auteurs concluderen dat hoewel DeSCon-Hard de meest robuuste verbeteringen in eerlijkheid biedt, de keuze van de samplingstrategie en de base loss cruciale ontwerpbeslissingen zijn voor fairness-bewuste training. Ze merken op dat toekomstig werk zich moet richten op het uitbreiden van deze aanpak naar grootschalige datasets (zoals WebFace-260M) waar demografische annotaties momenteel niet beschikbaar of onbetrouwbaar zijn.