Reducing Biases in Record Matching Through Scores Calibration

1. Il Problema: Bias nei Punteggi di Matching

Il record matching (o entity resolution) è il compito di identificare record provenienti da diversi dataset che si riferiscono alla stessa entità del mondo reale. Sebbene spesso formulato come un problema di classificazione binaria ("match" o "non-match"), nella pratica la maggior parte dei modelli moderni (specialmente quelli basati sul deep learning) produce un punteggio di matching continuo (es. tra 0 e 1) che indica la probabilità di corrispondenza.

Il problema centrale affrontato dal paper è il bias nei punteggi di matching rispetto ad attributi sensibili (es. genere, etnia).

• Limitazione delle metriche attuali: La valutazione della fairness nel record matching si è tradizionalmente basata su decisioni binarie a una soglia fissa (es. $\theta = 0.5$). Tuttavia, un modello può apparire equo a una specifica soglia ma mostrare disparità sistematiche in altre parti della distribuzione dei punteggi.
• Inadeguatezza dell'AUC: Anche le metriche indipendenti dalla soglia come l'AUC (Area Under the Curve) possono essere fuorvianti, poiché medie diverse di performance possono cancellarsi a vicenda, nascondendo bias significativi in intervalli specifici di soglia.
• Conseguenze: Un bias nella distribuzione dei punteggi porta a decisioni ingiuste (es. fusione errata di record o perdita di collegamenti reali) che colpiscono sproporzionatamente i gruppi minoritari, indipendentemente dalla soglia scelta dall'applicazione finale.

2. Metodologia Proposta

Gli autori introducono un approccio in due fasi: una nuova definizione di bias e due algoritmi di post-processing per mitigarlo.

A. Nuova Definizione di Bias Indipendente dalla Soglia

Il paper propone una misura di bias che estende i criteri di fairness standard (Demographic Parity - DP, Equal Opportunity - EO, Equalized Odds - EOD) dalle uscite binarie alle funzioni di punteggio.

• Definizione: Il bias di una funzione di punteggio $s$ rispetto a una metrica di performance $\Phi$ (es. TPR, PR) è definito come l'integrale della differenza assoluta tra le metriche dei gruppi minoritari e maggioritari su tutte le possibili soglie da 0 a 1:
  $$\text{bias}(s, \Phi) = \int_{0}^{1} |\Phi_b(s, \theta) - \Phi_a(s, \theta)| \, d\theta$$
  Questa metrica cattura le differenze cumulative nelle distribuzioni dei punteggi, non solo in un punto specifico.

B. Algoritmi di Calibrazione (Post-Processing)

Per mitigare questi bias senza riaddestrare i modelli sottostanti (model-agnostic), gli autori propongono due metodi basati sull'ottimale trasporto (Optimal Transport) e sui baricentri di Wasserstein.

1. Calib (Per Demographic Parity - DP):

   • Obiettivo: Allineare le distribuzioni dei punteggi dei gruppi minoritari e maggioritari a un baricentro comune di Wasserstein.
   • Meccanismo: Utilizza una mappa di trasporto ottimale basata sulle funzioni quantiliche. Per ogni punteggio di un gruppo, viene mappato sul baricentro calcolato come media pesata delle funzioni quantiliche dei due gruppi.
   • Requisiti: Richiede solo un set di dati di calibrazione (non etichettato) con i punteggi generati dal modello. Non necessita delle etichette vere (match/non-match).
   • Garanzie: Offre garanzie teoriche sulla convergenza del bias residuo e sulla distorsione del punteggio (risk) al tasso parametrico $O_p(n^{-1/2})$.

2. C-Calib (Per Equal Opportunity - EO e Equalized Odds - EOD):

   • Obiettivo: Estendere la calibrazione a criteri dipendenti dall'etichetta (EO/EOD), che richiedono di allineare i tassi di veri/falsi positivi tra i gruppi.
   • Sfida: Le etichette vere non sono disponibili al momento della calibrazione.
   • Meccanismo:
     1. Stima una soglia decisionale $\gamma$ (usando un algoritmo non parametrico come MeanShift) per generare etichette predette ($\hat{Y}$) sui dati di calibrazione.
     2. Applica l'algoritmo Calib separatamente all'interno di ciascun strato definito dall'etichetta predetta (gruppo dei "match predetti" e gruppo dei "non-match predetti").
   • Garanzie: L'analisi teorica mostra che il bias e il rischio dipendono sia dalla dimensione del campione che dall'errore di stima delle etichette ($\epsilon_n$). Se la stima della soglia è accurata, il metodo converge rapidamente.

3. Contributi Chiave

1. Formulazione del Bias nei Punteggi: Introduzione di una metrica di bias indipendente dalla soglia che integra le differenze di performance su tutto lo spettro dei punteggi, superando i limiti delle valutazioni binarie fisse e dell'AUC.
2. Algoritmi di Calibrazione Model-Agnostic: Sviluppo di Calib e C-Calib, metodi di post-processing che non richiedono accesso ai dati di training o alla struttura interna del modello, rendendoli applicabili a qualsiasi matcher (inclusi i deep matchers).
3. Garanzie Teoriche: Dimostrazione che i metodi proposti convergono al punteggio equo ottimale con un tasso parametrico, controllando sia il bias residuo che la distorsione dei punteggi (risk).
4. Validazione Empirica: Dimostrazione che i modelli state-of-the-art (come HierMatch, DITTO, DeepMatch) presentano bias significativi nei punteggi, anche quando appaiono equi a soglie specifiche.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su diversi benchmark standard (DBLP-ACM, AMZ-GOO, BEER, ecc.) e su cinque diversi modelli di deep learning.

• Rilevamento del Bias: Le metriche tradizionali a soglia fissa mostrano risultati variabili e spesso nascondono bias. La nuova metrica di bias sui punteggi rivela disparità sistematiche significative in quasi tutti i modelli testati.
• Riduzione del Bias:
  • Calib: Riduce drasticamente il bias di Demographic Parity (DP), spesso portandolo vicino allo zero, senza compromettere l'accuratezza.
  • C-Calib: Risulta superiore a Calib per la riduzione di EO ed EOD. Mentre Calib può talvolta peggiorare o non influenzare EO/EOD, C-Calib riduce sistematicamente questi bias (es. riduzione dell'EOD dal 19.5% al 7.4% su AMZ-GOO con HierGAT).
• Preservazione delle Prestazioni (Rischio):
  • La calibrazione introduce una minima distorsione nei punteggi.
  • La variazione dell'AUC (Area Under the Curve) dopo la calibrazione è trascurabile (solitamente < 1%, spesso < 0.3% per C-Calib), indicando che la qualità del ranking e la capacità di discriminazione del modello originale sono preservate.
• Sensibilità al Dataset di Calibrazione: L'efficacia è massima quando il dataset di calibrazione ($D$) proviene dalla stessa distribuzione dei dati di query (es. set di test). L'uso di dati di training come $D$ riduce l'efficacia ma mantiene comunque una riduzione del bias.

5. Significato e Impatto

Questo lavoro è significativo perché sposta il paradigma della fairness nel record matching dalla valutazione binaria statica alla gestione dinamica delle distribuzioni di punteggio.

• Praticità: Offre una soluzione pratica per sistemi esistenti (spesso "black-box") dove il riaddestramento non è possibile o desiderabile.
• Robustezza: Fornisce equità non solo per una specifica soglia operativa, ma per l'intero spettro di possibili decisioni, rendendo i sistemi più robusti a cambiamenti nei requisiti di business (es. cambio del trade-off precisione/recall).
• Fondazione Teorica: Collega il campo del record matching alla teoria dell'ottimale trasporto e della regressione equa, fornendo basi matematiche solide per la mitigazione del bias.

In sintesi, il paper dimostra che è possibile correggere sistematicamente le ingiustizie nei punteggi di matching attraverso una calibrazione basata sulla distribuzione, garantendo equità senza sacrificare l'accuratezza del sistema.