Reducing Biases in Record Matching Through Scores Calibration

1. Problemstellung

Das Record Matching (Datensatzabgleich) ist die Aufgabe, Datensätze aus einer oder mehreren Quellen zu identifizieren, die sich auf dieselbe reale Entität beziehen. In der Praxis geben Matching-Modelle oft einen realwertigen Matching-Score (z. B. zwischen 0 und 1) aus, der die Wahrscheinlichkeit eines Matches angibt, anstatt direkt eine binäre Entscheidung („Match" oder „Kein Match") zu treffen. Eine binäre Entscheidung wird erst durch das Anwenden eines Schwellenwerts (Threshold) auf diesen Score getroffen.

Das Hauptproblem, das in diesem Paper adressiert wird, ist die Fairness in diesen Matching-Scores. Bisherige Forschung hat Fairness in Record Matching meist als binäre Klassifikationsaufgabe behandelt und Fairness nur bei einem festen Schwellenwert bewertet (z. B. durch Vergleich von True Positive Rates bei $\theta = 0.5$).

Die Autoren zeigen jedoch, dass diese schwellenwertabhängigen Metriken irreführend sein können:

• Ein Modell kann bei einem bestimmten Schwellenwert fair erscheinen, aber bei anderen Schwellenwerten systematische Verzerrungen (Bias) aufweisen.
• Selbst schwellenwertunabhängige Metriken wie die AUC (Area Under the Curve) können Bias übersehen, wenn sich die ROC-Kurven der Gruppen in verschiedenen Bereichen schneiden und sich die Unterschiede im Gesamtwert aufheben.
• Da Scores direkt für Ranking, menschliche Überprüfung oder zur Feinabstimmung von Präzision/Recall verwendet werden, können Verzerrungen in der gesamten Score-Verteilung zu unfairen Ergebnissen für Minderheitengruppen führen, selbst wenn die binäre Entscheidung an einem Punkt „fair" wirkt.

2. Methodik

Die Autoren schlagen einen neuen Ansatz vor, der Bias nicht nur als binäre Diskrepanz, sondern als Verteilungsunterschied über den gesamten Score-Bereich betrachtet.

A. Neue Metrik: Schwellenwertunabhängiger Score-Bias

Statt nur einen Schwellenwert zu betrachten, definieren die Autoren den Bias als das Integral über die Differenz von Leistungsmetriken (wie Positive Rate, TPR, FPR) zwischen zwei Gruppen über alle möglichen Schwellenwerte $\theta \in [0, 1]$.

• Definition: $\text{bias}(s, \Phi) = \int_0^1 |\Phi_b(s, \theta) - \Phi_a(s, \theta)| d\theta$
• Dies erweitert Konzepte wie Demographic Parity (DP), Equal Opportunity (EO) und Equalized Odds (EOD) von binären Ausgaben auf Score-Funktionen.

B. Post-Processing-Lösungen (Modellagnostisch)

Um diese Verzerrungen zu reduzieren, ohne die zugrunde liegenden Modelle neu zu trainieren, werden zwei Post-Processing-Algorithmen vorgeschlagen, die nur eine Kalibrierungsmenge (unlabeled) benötigen:

1. Calib (für Demographic Parity - DP):

   • Ziel: Die Score-Verteilungen der Minderheits- und Mehrheitsgruppe so anpassen, dass sie identisch sind (DP erfüllen).
   • Methode: Nutzung des Wasserstein-Baryzentrums (Wasserstein Barycenter). Die Algorithmen berechnen eine gemeinsame Zielverteilung (Baryzentrum) basierend auf den Quantilfunktionen der beiden Gruppen.
   • Umsetzung: Ein Quantil-basierter optimaler Transport-Map wird verwendet, um Scores der ursprünglichen Verteilung auf das Baryzentrum abzubilden. Dies geschieht durch eine gewichtete Interpolation der Quantilwerte beider Gruppen.
   • Theorie: Es wird bewiesen, dass dieser Ansatz den DP-Bias mit einer Rate von $O_p(n^{-1/2})$ reduziert, wobei $n$ die Stichprobengröße ist, und dabei die Verzerrung der Scores (Risk) minimiert.

2. C-Calib (für Equal Opportunity / Equalized Odds - EO/EOD):

   • Herausforderung: EO und EOD hängen von den wahren Labels (Match/Non-Match) ab, die zur Kalibrierungszeit oft nicht verfügbar sind.
   • Lösung: Conditionale Kalibrierung. Der Algorithmus schätzt zunächst die Labels der Datensätze (sowohl der Kalibrierungsmenge als auch der Query-Paare) mittels eines nicht-parametrischen Clustering-Algorithmus (z. B. Mean Shift), um einen Entscheidungsschwellenwert $\gamma$ zu finden.
   • Prozess: Die Score-Kalibrierung wird dann stratifiziert durchgeführt: Innerhalb der Gruppe der vorhergesagten „Matches" wird eine Baryzentrum-Ausrichtung für EO durchgeführt, und innerhalb der Gruppe der vorhergesagten „Non-Matches" für FPR (und damit EOD).
   • Theorie: Die Konvergenz hängt von der Qualität der Label-Schätzung ab. Wenn die Klassen trennbar sind, konvergiert der Bias ebenfalls mit $O_p(n^{-1/2})$.

3. Wichtige Beiträge

1. Formulierung von Score-Bias: Einführung einer neuen, schwellenwertunabhängigen Metrik, die systematische Verzerrungen in der gesamten Score-Verteilung erfasst und über die Grenzen traditioneller AUC- oder Schwellenwert-Metriken hinausgeht.
2. Baryzentrum-basierte Kalibrierung (Calib): Entwicklung eines modellagnostischen Algorithmus zur Reduzierung von DP-Bias durch optimale Transport-Methoden (Wasserstein-Baryzentrum) mit theoretischen Garantien für Bias-Reduktion und geringem Risiko.
3. Conditionale Kalibrierung (C-Calib): Erweiterung des Ansatzes auf label-abhängige Fairness-Metriken (EO/EOD) durch Schätzung der Labels und stratifizierte Kalibrierung, was ein neues theoretisches Rahmenwerk für die Analyse von Fehlern bei der Label-Schätzung bietet.
4. Umfassende Evaluation: Empirische Bestätigung auf mehreren Standard-Benchmarks (z. B. DBLP-ACM, AMZ-GOO) und mit verschiedenen State-of-the-Art Deep-Learning-Matchern (z. B. DeepMatch, HierMatch, DITTO).

4. Ergebnisse

Die Experimente zeigen folgende Ergebnisse:

• Erkennung von Bias: Die neuen Score-Bias-Metriken decken signifikante Verzerrungen auf, die von traditionellen Metriken (wie AUC oder Bias bei einem festen Schwellenwert) übersehen werden. Viele State-of-the-Art-Modelle weisen erhebliche Score-Bias auf.
• Effektivität von Calib: Der Calib-Algorithmus reduziert den DP-Bias in fast allen Fällen drastisch, oft bis auf nahezu Null, ohne die Genauigkeit (AUC) signifikant zu beeinträchtigen (Reduktion meist < 1%).
• Effektivität von C-Calib: Im Gegensatz zu Calib, das bei EO/EOD oft versagt oder den Bias sogar verschlimmert, reduziert C-Calib diese label-abhängigen Metriken signifikant.
  • Beispiel: Auf dem AMZ-GOO-Datensatz reduzierte C-Calib den EOD-Bias für das Modell HierGAT von 19,50 % auf 7,39 %, während Calib den Bias sogar auf 30,92 % erhöhte.
• Risikominimierung: Beide Algorithmen bewahren die Nützlichkeit (Utility) der Scores. Die Änderungen im AUC sind minimal, was bedeutet, dass die Rangfolge der Matches weitgehend erhalten bleibt.
• Robustheit: Die Kalibrierung funktioniert auch, wenn die Kalibrierungsmenge (D) aus den Testdaten selbst besteht, was den Einsatz in Black-Box-Szenarien ermöglicht.

5. Bedeutung und Fazit

Dieses Paper ist ein wichtiger Schritt für die Fairness in Datenintegration und Record Matching. Es zeigt, dass die Betrachtung von Fairness nur auf binären Entscheidungen unzureichend ist, da die zugrunde liegenden Scores oft verzerrt sind und diese Verzerrungen in downstream-Anwendungen (Ranking, menschliche Review) zu unfairen Ergebnissen führen.

Die vorgeschlagenen Methoden (Calib und C-Calib) bieten einen praktischen, modellagnostischen Weg, um Fairness nachträglich herzustellen, ohne teures Neu-Training von Deep-Learning-Modellen oder Zugriff auf Trainingsdaten zu benötigen. Dies ist besonders relevant für den Einsatz von KI-Systemen in sensiblen Bereichen wie dem Gesundheitswesen oder der Personalbeschaffung, wo Record Matching eine kritische Vorstufe ist. Die Arbeit legt den Grundstein für eine umfassendere Analyse von Bias in der gesamten Entity-Resolution-Pipeline.