🤖 AI

Adaptive Calibration for Fair and Performant Facial Recognition

Dit artikel introduceert Adaptive Calibration, een nieuwe strategie die zowel de nauwkeurigheid als de eerlijkheid van gezichtsherkenningssystemen verbetert door cosinus-gelijkenissen te mappen naar goed gekalibreerde waarschijnlijkheden met behulp van lokale context, waardoor een even evenredige prestatie over diverse groepen wordt bereikt zonder dat demografische metadata vereist zijn.

Oorspronkelijke auteurs: Ryan Brown, Chris Russell

Gepubliceerd 2026-06-04

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ryan Brown, Chris Russell

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme beveiligingsbeambte hebt die uitblinkt in het herkennen van gezichten. Deze bewaker kijkt niet alleen naar een gezicht; ze vertalen elk gezicht naar een unieke set coördinaten in een gigantische, onzichtbare 3D-kaart. Wanneer twee mensen op elkaar lijken, liggen hun coördinaten dicht bij elkaar. Wanneer ze verschillend zijn, liggen de coördinaten ver uit elkaar.

Het probleem is dat deze bewaker een simpele regel gebruikt: "Als twee coördinaten binnen een bepaalde afstand liggen, zijn ze dezelfde persoon."

De gebreken in het huidige systeem
Het artikel wijst op een verborgen gebrek in deze regel. Stel je voor dat de kaart twee soorten buurten heeft:

Het drukke stadscentrum (Dichte regio): Dit gebied is vol gepakt met mensen (voornamelijk de meerderheidsgroepen in de trainingsdata). Hier liggen de coördinaten dicht op elkaar gepakt. Een kleine afstand tussen twee punten kan betekenen dat het eigenlijk verschillende mensen zijn die toevallig dicht bij elkaar staan in de menigte.
Het rustige platteland (Schaarse regio): Dit gebied is leeg en heeft minder mensen (vaak vertegenwoordigers van minderheidsgroepen). Hier is het, als twee punten dezelfde afstand hebben als in de stad, veel waarschijnlijker dat ze dezelfde persoon zijn, omdat er zo weinig mensen rond zijn om voor verwarring te zorgen.

Momenteel behandelt de beveiligingsbeambte de afstand op dezelfde manier in beide buurten. Ze gebruiken één enkele "afkaplijn" voor iedereen. Dit betekent dat:

In de Stad ze misschien te laks zijn, waardoor vreemden binnenkomen (valse alarmen).
In het Platteland ze misschien te streng zijn, waardoor de juiste mensen worden geweigerd (valse afwijzingen).

Dit creëert een onrechtvaardig systeem waarbij sommige groepen vaker worden afgewezen, zelfs als ze net zo erg op de persoon lijken als zij beweren te zijn.

De Oplossing: Adaptive Calibration (AC)
De auteurs stellen een nieuwe methode voor genaamd Adaptive Calibration. Zie dit als het geven van een "lokale context"-kaart aan de beveiligingsbeambte.

In plaats van alleen naar de afstand tussen twee gezichten te kijken, vraagt het nieuwe systeem: "Waar bevinden deze twee gezichten zich precies op de kaart?"

De Analogie: Stel je een weervorsteller voor. Een globale voorspelling kan zeggen: "Het is 21°C." Maar dat is niet erg nuttig als je in een woestijn bent (waar 21°C koud aanvoelt) of in een moeras (waar 21°C warm aanvoelt).
Hoe AC werkt: Het Adaptive Calibration-systeem kijkt naar de "buurt" van de gezichten. Als de gezichten zich in een druk, levendig deel van de kaart bevinden, past het systeem zijn vertrouwen aan. Als de gezichten zich in een rustig, schaars deel bevinden, past het anders aan. Het leert dat de zelfde afstand andere dingen betekent afhankelijk van de locatie.

Hoe ze het doen
Ze hoeven de ras, het geslacht of de etniciteit van de mensen niet te kennen om dit te doen. Ze kijken simpelweg naar de geometrie van de kaart zelf.

Ze nemen de twee gezichtscoördinaten.
Ze vinden de "gemiddelde" plek tussen hen in.
Ze voeren deze locatie en de afstand in bij een kleine, slimme rekenmachine (een eenvoudig machine learning-model).
Deze rekenmachine geeft een waarschijnlijkheid (een percentage kans) dat de twee gezichten daadwerkelijk dezelfde persoon zijn, in plaats van alleen een ruwe afstandsscore.

De Resultaten
Het artikel beweert dat deze methode een "win-win" is:

Rechtvaardigheid: Het lost de onrechtvaardigheid op. Mensen uit ondervertegenwoordigde groepen (het "platteland" van de kaart) worden niet langer onterecht afgewezen omdat het systeem is gekalibreerd voor de "stad". De waarschijnlijkheid van een match is nu accuraat voor iedereen, ongeacht hun groep.
Prestaties: Het maakt het systeem in het algemeen zelfs beter, niet alleen eerlijker. Het vermijdt de veelvoorkomende valkuil van "leveling down", waarbij je rechtvaardigheid bereikt door het systeem voor iedereen slechter te maken. In plaats daarvan tilt het de prestaties van de groepen die het moeilijk hadden naar een hoger niveau, zonder de groepen die het al goed deden te schaden.

In een notendop
Het artikel introduceert een "slimme vertaler" voor gezichtsherkenning. Het neemt de ruwe, verwarrende afstandsscores van moderne gezichtsscannende AI en vertaalt deze naar duidelijke, eerlijke en nauwkeurige waarschijnlijkheden. Dit doen ze door de "lokale buurt" van de data te begrijpen, wat ervoor zorgt dat het systeem een match in een druk gebied op dezelfde manier behandelt als een match in een leeg gebied, wat leidt tot een systeem dat zowel nauwkeuriger als rechtvaardiger is voor iedereen.

Technische Samenvatting: Adaptieve Kalibratie voor Eerlijke en Presterende Gezichtsherkenning

Probleemstelling

Moderne gezichtsherkenningssystemen mappen gezichtsafbeeldingen naar hoogdimensionale embeddings en maken gebruik van cosinusgelijkenis als een match-score. Hoewel deze systemen een hoge nauwkeurigheid hebben bereikt, vertonen ze aanzienlijke demografische verschillen, waarbij de foutpercentages voor individuen met een donkere huidskleur vaak een orde van grootte hoger liggen dan voor die met een lichtere huid.

Het kernprobleem dat is geïdentificeerd, is een fundamentele mismatch tussen het trainingsdoel en de operationele inzet van het systeem. Training maakt doorgaans gebruik van afstand-gebaseerde doelstellingen (bijv. contrastieve of angular-margin losses) die ervoor zorgen dat correcte matches dichter bij elkaar liggen dan incorrecte matches, maar die geen aannames doen over absolute afstanden. Als gevolg hiervan kan dezelfde cosinusafstand corresponderen met verschillende waarschijnlijkheden van een correcte match, afhankelijk van de regio in de embedding-ruimte. Ondervertegenwoordigde demografische groepen bezetten vaak regio's met een lagere dichtheid in deze ruimte, waar het gedrag van de embeddings minder strikt wordt gecontroleerd. Wanneer een globale drempelwaarde wordt toegepast op ruwe cosinusafstanden, houdt dit geen rekening met deze lokale variaties, wat leidt tot disproportionele fouten (valse afwijzingen of valse acceptaties) voor minderheidsgroepen. Bestaande post-processing methoden vertrouwen vaak op globale monotone mapping (zoals Platt scaling) of discrete clustering-heuristieken die geen rekening houden met continue, regio-specifieke kalibratiebehoeften, of ze vereisen demografische metadata tijdens de inferentie, wat in real-world implementaties vaak niet beschikbaar is.

Methodologie: Adaptieve Kalibratie (AC)

De auteurs stellen Adaptieve Kalibratie (AC) voor, een post-hoc kalibratiestrategie die cosinusgelijkenissscores en de lokale embedding-context mapt naar goed gekalibreerde waarschijnlijkheden zonder dat demografische groepsannotaties nodig zijn tijdens training of inferentie.

Kernconcept

AC adresseert de mismatch door een continue, lokaal variërende kalibratiefunctie te leren. Het stelt dat de waarschijnlijkheid van een match niet alleen afhangt van de cosinusgelijkenis ( $s$ ), maar ook van de locatie van het paar binnen de embedding-ruimte.

Paarrepresentatie

Om de lokale context te vangen, gebruikt AC de genormaliseerde gemiddelde embedding ( $\bar{z}$ ) van een gezichtspaar:
$\bar{z} = \frac{z_1 + z_2}{\|z_1 + z_2\|_2}$
waarbij $z_1$ en $z_2$ de genormaliseerde embeddings van de twee gezichten zijn. Deze representatie is gekozen omdat:

Het symmetrisch is (de volgorde van probe/gallery maakt niet uit).
Het zich op dezelfde eenheids-hypersfeer bevindt als de backbone-embeddings, waardoor geometrische eigenschappen behouden blijven.
Het continu varieert, waardoor de discrete sprongen die geassocieerd worden met cluster-gebaseerde methoden worden vermeden.

Modelvarianten

AC traint een secundaire classifier om de match-waarschijnlijkheid $p$ te voorspellen op basis van de paarrepresentatie en de gelijkenissscore. Drie varianten worden voorgesteld:

AC-MLP: Een lichtgewicht Multi-Layer Perceptron die de geconcateneerde vector $[\bar{z}, s]$ mapt naar een waarschijnlijkheid via een sigmoid output.
AC-Linear: Een logistische regressie op $[\bar{z}, s]$ . Dit behoudt de lokale rangorde van de gelijkenissscore terwijl het regio-specifieke verschuivingen mogelijk maakt.
AC-Density: Een hybride aanpak die een lokale dichtheidsmaat incorporeert. Het berekent de gemiddelde Euclidische afstand tot de $k$ -dichtstbijzijnde buren in de trainingsset ( $\rho(\bar{z})$ ) om ijle regio's te identificeren. Vervolgens past het een ridge regressie toe om de residuele fout van een basis Platt-gekalibreerde score te voorspellen, waarbij de basisscore, lokale dichtheid en lineaire kenmerken worden gecombineerd.

Training en Inferentie

De methode wordt getraind op een kalibratiesplit met behulp van binary cross-entropy om het verschil tussen voorspelde waarschijnlijkheden en grondwaarheid match-labels te minimaliseren. Cruciaal is dat het geen demografische labels vereist tijdens training of inferentie. Theoretisch gezien, als de groepen herstelbaar zijn vanuit de embedding-ruimte, zal een voldoende expressief model dat getraind is om cross-entropy te minimaliseren, gegarandeerd groep-gekalibreerd zijn voor elke dergelijke groep.

Belangrijkste Bijdragen

Nieuwe Kalibratiestrategie: Introductie van Adaptieve Kalibratie, die lokale embedding-context en gelijkenissscores mapt naar gekalibreerde match-waarschijnlijkheden, waarmee tekortkomingen in zowel nauwkeurigheid als eerlijkheid worden aangepakt.
Superieure Prestaties: Demonstratie dat AC bestaande post-hoc kalibratietechnieken (zoals FairCal, FALCON en FRAPP´E) domineert over een breed scala aan datasets (RFW, BFW, LFW) en backbones (ArcFace, AdaFace, MagFace, FaceNet).
Label-Vrije Eerlijkheid: De methode bereikt een rechtvaardige kalibratie zonder demografische groepsannotaties nodig te hebben tijdens de inferentie, wat het praktisch maakt voor implementaties waar dergelijke metadata niet beschikbaar is.
Vermijden van "Leveling Down": In tegenstelling tot sommige fairness interventies die de prestaties voor meerderheidsgroepen verlagen om uitkomsten gelijk te trekken, verbetert AC de algehele kalibratie en nauwkeurigheid, met name voor de groepen waar het systeem het slechtst presteert.
Generaliseerbaarheid: De aanpak biedt groep-kalibratie voor elke groep die herstelbaar is uit de embedding-ruimte (bijv. etniciteit, geslacht of andere attributen zoals hoofddeksels), niet alleen voor vooraf gedefinieerde demografische assen.

Resultaten

Het paper evalueert AC tegen state-of-the-art baselines op drie standaard benchmarks:

Datasets: Racial Faces in-the-Wild (RFW), Bias in Face Verification (BFW), en Labeled Faces in the Wild (LFW).
Backbones: ArcFace (R50, R100), AdaFace, MagFace, en FaceNet.
Metrieken:
- Nauwkeurigheid: Globale True Positive Rate (TPR) bij een False Positive Rate (FPR) van $10^{-3}$ .
- Eerlijkheid: Worst-group Area Under the ROC Curve (AUROC) en Worst-group Brier Score.
- Leveling-Down: Een metriek (LU-AUROC) die meet hoeveel van de slechtst presterende groepen verbeteren zonder anderen te schaden.

Belangrijkste bevindingen:

Nauwkeurigheid en Eerlijkheid: AC-Linear en AC-Density behalen consistent de beste of bijna-beste label-vrije resultaten. Bijvoorbeeld, op RFW met MagFace verbeterde AC-Density de worst-group AUROC van 94.19 naar 96.02 (een reductie van ~30% in residuele fout) zonder andere groepen te verslechteren.
Kalibratiekwaliteit: AC vermindert de Brier score voor de slechtst gekalibreerde groepen aanzienlijk vergeleken met baselines zoals FairCal en FSN.
Leveling-Down: AC-varianten behalen frequent de maximale "Leveling-Up" score (waarbij alle groepen verbeteren), terwijl methoden zoals FRAPP´E en FSN vaak falen om de slechtste groepen te verbeteren zonder anderen te schaden.
Vergelijking met Demografisch-Bewuste Methoden: Hoewel methoden die echte demografische labels vereisen (Oracle, GST, DemoNorm) dienen als bovengrens, benadert AC in veel settings hun prestaties zonder die labels tijdens de inferentie nodig te hebben.

Betekenis en Claims

Het paper claimt dat Adaptieve Kalibratie een praktische oplossing biedt voor rechtvaardige gezichtsherkenning. Door afstanden om te zetten in gekalibreerde waarschijnlijkheden met behulp van een lokaal variërende functie, corrigeert AC de fundamentele mismatch tussen trainingsdoelstellingen en operationele drempelwaarden.

De auteurs benadrukken dat hun aanpak:

De Algehele Prestaties Verbetert: Het herverdeelt niet enkel fouten, maar verbetert vaak de globale nauwkeurigheid.
"Leveling Down" Vermijdt: Het verbetert de prestaties voor de slechtst bediende groepen zonder de prestaties van de beter bediende groepen op te offeren, wat een veelvoorkomende foutmodus bij fairness interventies aanpakt.
Inzetbaar Is: Het vereist geen demografische metadata tijdens de inferentie, wat het geschikt maakt voor real-world toepassingen waar dergelijke data niet beschikbaar is.
Flexibel Is: Het kan worden geïntegreerd in bestaande verificatie-pipelines met minimale aangepaste code, met name de lineaire varianten.

Het werk suggereert dat door te focussen op de lokale embedding-context, systemen tegelijkertijd robuuste eerlijkheid en nauwkeurigheid kunnen bereiken, wat een pad biedt naar een meer rechtvaardige inzet van gezichtsherkenningstechnologie.