🤖 machine learning

Reducing Biases in Record Matching Through Scores Calibration

Deze paper introduceert een drempel-onafhankelijke maatstaf voor scorebias in recordmatching en presenteert twee model-onafhankelijke post-processing methoden, Calib en C-Calib, die bestaande matchers calibreren om groepsbias te verminderen zonder de nauwkeurigheid significant te verlagen.

Oorspronkelijke auteurs: Mohammad Hossein Moslemi, Mostafa Milani

Gepubliceerd 2026-02-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mohammad Hossein Moslemi, Mostafa Milani

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Probleemstelling: De "Onzichtbare" Partij in de Match

Stel je voor dat je een grote database hebt met miljoenen mensen, en je wilt weten wie van elkaar is (bijvoorbeeld: zijn dit dezelfde persoon op Facebook en LinkedIn?). Computers doen dit door een match-score te geven: een cijfer tussen 0 en 100.

100 betekent: "Zeker dezelfde persoon!"
0 betekent: "Zeker niet dezelfde persoon."
50 betekent: "Twijfelgeval."

Meestal stelt de computer een drempelwaarde (bijvoorbeeld 70). Alles boven 70 is een "match", alles eronder is "geen match".

Het probleem:
Onderzoekers ontdekten dat deze computersystemen vaak vooringenomen zijn. Ze geven bijvoorbeeld vrouwen (een minderheidsgroep) systematisch lagere scores dan mannen, zelfs als ze eigenlijk wel een match zijn.

De valkuil van de oude manier van kijken:
Tot nu toe keken mensen alleen naar de uitslag (Match of Geen Match) bij één specifieke drempelwaarde.

Vergelijking: Het is alsof je een leraar beoordeelt alleen op basis van wie een 6 haalt. Als de leraar iedereen een 6 geeft, lijkt hij eerlijk. Maar als je kijkt naar de hele klas, zie je dat hij de meisjes gemiddeld een 5,5 gaf en de jongens een 6,5. Hij is dus niet eerlijk, maar dat zag je niet als je alleen keek naar wie "geslaagd" was.

Dit paper zegt: "Kijk niet alleen naar het eindresultaat, maar naar het hele cijfer!" Als de scores zelf scheef liggen, is het systeem onrechtvaardig, ongeacht waar je de streep trekt.

De Oplossing: Twee Nieuwe "Score-Regelaars"

De auteurs van het paper hebben twee slimme methoden bedacht om deze onrechtvaardige scores te corrigeren, zonder de onderliggende computerprogramma's opnieuw te hoeven leren. Ze noemen dit Calib en C-Calib.

1. Calib: De "Gelijkheids-Regelaar" (Voor Demografische Pariteit)

Het idee:
Stel je voor dat je twee bakken met ballen hebt.

Bak A (Minderheid) heeft ballen die over het algemeen wat lichter van kleur zijn (lagere scores).
Bak B (Meerderheid) heeft ballen die wat donkerder zijn (hogere scores).

Calib pakt alle ballen, mengt ze en maakt een nieuwe, perfecte bak (een zogenaamde Wasserstein barycenter). Dit is een ideale verdeling die precies in het midden ligt tussen de twee oorspronkelijke bakken. Vervolgens worden de ballen uit Bak A en Bak B opnieuw ingedeeld zodat ze precies die nieuwe, gemiddelde verdeling hebben.

Het resultaat: De scores van de minderheidsgroep worden iets omhoog getrokken en die van de meerderheid iets omlaag, zodat ze op hetzelfde niveau liggen.
De analogie: Het is alsof je twee groepen mensen hebt die verschillende hoogtes hebben. Je laat ze allemaal op een platform staan dat precies in het midden ligt, zodat ze allemaal even hoog zijn. Niemand wordt "gebroken", maar ze worden wel op één lijn gebracht.

2. C-Calib: De "Slimme Regelaar" (Voor Gelijke Kansen)

Het probleem met Calib:
Soms is het niet genoeg om alleen de scores gelijk te maken. Soms moet je kijken naar of het een echte match is.

Vergelijking: Als je alleen kijkt naar de lengte van de ballen (de score), maar je vergeet dat sommige ballen eigenlijk "gebroken" zijn (geen echte match), dan help je niet echt. Je wilt dat de kans om een echte match te vinden voor iedereen gelijk is.

C-Calib doet iets slimmers. Het kijkt eerst even snel of een paar waarschijnlijk een match is of niet (zonder de echte antwoorden te kennen, maar door slim te gokken op basis van de score).

Als het een "waarschijnlijke match" is, past het de scores aan voor die groep.
Als het een "waarschijnlijke geen-match" is, doet het hetzelfde voor die andere groep.
Het resultaat: Dit zorgt ervoor dat de kans om een echte match te vinden voor de minderheidsgroep precies even groot is als voor de meerderheidsgroep.
De analogie: Stel je voor dat je twee teams hebt die een wedstrijd spelen. Calib zorgt dat beide teams evenveel punten krijgen. C-Calib kijkt echter eerst naar de kwaliteit van de speler. Als een speler van het minderheidsteam een goede speler is (een echte match), zorgt C-Calib dat hij net zo veel kans krijgt om te scoren als een goede speler van het meerderheidsteam. Het is een "slimme" correctie die rekening houdt met de context.

Wat zijn de resultaten?

De auteurs hebben deze methoden getest op echte databases (zoals DBLP voor wetenschappelijke artikelen en Amazon voor producten).

Het werkt: De methoden verminderen de onrechtvaardigheid enorm. De "kloof" in scores tussen groepen verdwijnt bijna volledig.
Geen schade: Het mooie is dat ze dit doen zonder de nauwkeurigheid van het systeem te verpesten. De computer maakt niet ineens meer fouten; hij is gewoon eerlijker.
Zwart-wit doosje: Je hoeft niet te weten hoe de oorspronkelijke computerprogramma's werken. Je kunt ze gewoon als een "zwarte doos" gebruiken, de scores eruit halen, en ze met Calib of C-Calib opknappen.

Samenvatting in één zin

Dit paper introduceert twee slimme methoden om de "cijfers" die computers geven bij het matchen van gegevens eerlijker te maken, zodat minderheidsgroepen niet systematisch benadeeld worden, zonder dat de computer zijn vaardigheid om juiste matches te vinden verliest.

Titel: Reduceren van Bias in Record Matching via Score-calibratie

Auteurs: Mohammad Hossein Moslemi en Mostafa Milani (Western University, Canada)

1. Probleemstelling

Record matching (het koppelen van records uit verschillende datasets die verwijzen naar dezelfde entiteit) wordt vaak geformuleerd als een binaire classificatieopgave ("match" of "geen match"). In de praktijk genereren moderne methoden, vooral diep leermodellen, echter eerst een reële matching-score (een waarde tussen 0 en 1) die later wordt omgezet naar een binaire beslissing via een drempelwaarde (threshold) of gebruikt voor ranking.

Het huidige onderzoek naar eerlijkheid (fairness) in record matching richt zich voornamelijk op binaire uitkomsten bij een vaste drempelwaarde. De auteurs identificeren twee kritieke tekortkomingen in deze aanpak:

Drempelafhankelijkheid: Een model kan eerlijk lijken bij één specifieke drempelwaarde, maar systematische ongelijkheden vertonen bij andere drempels.
Verlies van informatie: Metingen zoals de AUC (Area Under the Curve) kunnen ongelijkheden maskeren. Twee groepen kunnen een vergelijkbare AUC hebben, terwijl hun ROC-curves (True Positive Rate vs. False Positive Rate) op specifieke drempels sterk verschillen, wat leidt tot onrechtvaardige uitkomsten in de praktijk.

De kernvraag is: hoe kunnen we bias in de scores zelf meten en verhelpen, ongeacht de uiteindelijke drempelwaarde die wordt gebruikt?

2. Methodologie

De auteurs introduceren een nieuwe, drempel-onafhankelijke definitie van bias en twee model-agnostische post-processing algoritmen om deze bias te verminderen zonder het onderliggende model opnieuw te hoeven trainen.

A. Nieuwe Meting voor Bias

In plaats van bias te meten bij één drempel, definiëren ze de bias als de geïntegreerde kloof tussen de prestatiemetrieken van de minderheidsgroep en de meerderheidsgroep over alle mogelijke drempelwaarden (van 0 tot 1).

Score DP (Demographic Parity): De integraal van het verschil in Positive Rate (PR) tussen groepen.
Score EO (Equal Opportunity): De integraal van het verschil in True Positive Rate (TPR).
Score EOD (Equalized Odds): De som van de integraal van verschillen in TPR en FPR.

Dit geeft een totaalbeeld van de onrechtvaardigheid in de scoreverdeling, ongeacht waar de beslissingsdrempel ligt.

B. Algoritme 1: Calib (voor Demographic Parity)

Dit algoritme richt zich op het verminderen van DP-bias. Het is gebaseerd op Optimal Transport en Wasserstein Barycenters.

Principe: De scoreverdelingen van de minderheidsgroep en de meerderheidsgroep worden gemapt naar een gemeenschappelijke "barycenter" (een gemiddelde verdeling die de kenmerken van beide behoudt).
Implementatie: Het gebruikt een kwantielgebaseerde methode. Voor een gegeven score wordt de positie in de cumulatieve verdelingsfunctie (CDF) bepaald. Vervolgens wordt een nieuwe score gegenereerd als een gewogen gemiddelde van de scores op diezelfde kwantielposities in beide groepen.
Vereisten: Het vereist alleen een set van ongelabelde records (calibratieset) om de scoreverdelingen te schatten. Geen ground-truth labels zijn nodig.
Theoretische garantie: Het algoritme convergeert naar de optimale eerlijke score met een snelheid van $O_p(n^{-1/2})$ , waarbij $n$ de steekproefgrootte is.

C. Algoritme 2: C-Calib (voor Equal Opportunity / Equalized Odds)

Omdat DP-bias niet voldoende is voor criteria die afhankelijk zijn van de ware label (zoals EO en EOD), introduceren de auteurs Conditionele Calibratie.

Principe: C-Calib past de barycenter-alignatie toe binnen strata die zijn gedefinieerd op basis van een geschatte label (match of geen match), in plaats van op de ware label (die vaak onbekend is tijdens calibratie).
Schatting van Labels: Omdat er geen labels zijn, gebruiken ze een niet-parametrisch clustering-algoritme (Mean Shift) op de scoreverdeling om een drempelwaarde ( $\gamma$ ) te vinden die de scores in twee clusters (match/non-match) splitst.
Werking: Het algoritme splitst de data in "geschatte matches" en "geschatte non-matches". Binnen elke groep wordt vervolgens de Calib-methode toegepast.
Theoretische garantie: De fout hangt af van zowel de steekproefgrootte als de kwaliteit van de label-schatting (de "irreducible thresholding error"). Als de klassen goed scheidbaar zijn, convergeert de bias eveneens naar nul.

3. Belangrijkste Bijdragen

Formulering van Score-bias: Een nieuwe, drempel-onafhankelijke metriek die cumulatieve prestatieverschillen tussen groepen over het volledige scorebereik kwantificeert. Dit lost het probleem op dat traditionele AUC-metingen subtiele onrechtvaardigheden kunnen maskeren.
Calib (DP-calibratie): Een model-agnostische post-processing methode die scoreverdelingen aligneert via een Wasserstein barycenter, wat DP-bias significant reduceert met minimale vervorming van de oorspronkelijke scores.
C-Calib (EO/EOD-calibratie): Een uitbreiding die conditioneel calibratie toepast op basis van geschatte labels. Dit maakt het mogelijk om label-afhankelijke eerlijkheidscriteria (zoals gelijke kansen) te bereiken zonder toegang tot ground-truth labels tijdens de calibratiefase.
Empirische Validatie: Uitgebreide experimenten op standaard benchmarks (zoals DBLP-ACM, AMZ-GOO) met state-of-the-art deep learning matchers (zoals DeepMatch, HierMatch, DITTO).

4. Resultaten

De experimenten tonen de volgende resultaten:

Bestaande Bias: Zelfs geavanceerde deep learning-modellen vertonen aanzienlijke score-bias die niet zichtbaar is bij het analyseren van één vaste drempelwaarde.
Effectiviteit Calib: Het Calib-algoritme reduceert DP-bias drastisch (vaak tot bijna nul) over alle geteste datasets en modellen.
Effectiviteit C-Calib: Waar Calib faalt of zelfs bias verergert bij EO en EOD (omdat het geen rekening houdt met labels), slaagt C-Calib erin deze bias aanzienlijk te verminderen. Bijvoorbeeld, op de AMZ-GOO dataset werd de EOD-bias van een model van 19,50% teruggebracht tot 7,39% met C-Calib, terwijl Calib deze zelfs verhoogde.
Behoud van Nauwkeurigheid (Risk): De calibratie introduceert een minimale vervorming van de scores. De daling in AUC (een proxy voor prestatiebehoud) is verwaarloosbaar (meestal < 1%). Dit betekent dat de eerlijkheid wordt verbeterd zonder de bruikbaarheid van het model voor de eindtoepassing significant te schaden.
Gevoeligheid voor Dataset: De kwaliteit van de calibratie hangt af van de representativiteit van de calibratieset (dataset D). Het gebruik van dezelfde testdata als calibratieset werkt het beste; het gebruik van trainingsdata kan leiden tot minder effectieve calibratie door distributieverschillen.

5. Betekenis en Conclusie

Dit werk is significant omdat het de focus verschuift van binaire beslissingen naar scores als het primaire object van eerlijkheidsonderzoek in record matching.

Praktische Toepasbaarheid: De voorgestelde methoden zijn "post-processing" technieken. Ze vereisen geen toegang tot de trainingsdata of het interne model, wat ze zeer geschikt maakt voor het corrigeren van bestaande, zwarte-kas systemen (black-box models).
Theoretische Onderbouwing: De auteurs bieden wiskundige garanties voor de convergentie van hun methoden, wat zeldzaam is in het gebied van eerlijkheid in record matching.
Toekomstperspectief: De studie benadrukt dat eerlijkheid in record matching complexer is dan in standaard classificatie, omdat zowel de score als de daaruit voortvloeiende binaire beslissing relevant zijn. De voorgestelde aanpak biedt een robuuste basis voor het bouwen van eerlijkere systemen voor data-integratie, gezondheidszorg en sociale media matching.

Samenvattend bieden Moslemi en Milani een praktische en theoretisch onderbouwde oplossing om systematische onrechtvaardigheden in matching-scores te detecteren en te elimineren, zonder in te leveren op de nauwkeurigheid van de onderliggende modellen.