Reducing Biases in Record Matching Through Scores Calibration

Resumen Técnico: Calibración de Puntuaciones para Reducir Sesgos en la Coincidencia de Registros

1. El Problema: Sesgos Ocultos en las Puntuaciones de Coincidencia

La coincidencia de registros (record matching) es la tarea de identificar pares de registros que se refieren a la misma entidad del mundo real. Tradicionalmente, la equidad en este campo se ha evaluado tratándolo como un problema de clasificación binaria (emparejar/no emparejar) utilizando un umbral fijo.

Sin embargo, los modelos modernos de coincidencia (especialmente los basados en aprendizaje profundo) generan puntuaciones de coincidencia (valores reales en [0, 1]) en lugar de etiquetas binarias directas. Estas puntuaciones se utilizan para:

• Ajustar umbrales según la precisión o el recall deseado.
• Clasificar candidatos (ranking).
• Priorizar revisiones humanas.

La limitación crítica: Las evaluaciones de equidad basadas en umbrales fijos (como la Paridad Demográfica o la Igualdad de Oportunidades en un umbral específico) pueden ser engañosas. Un modelo puede parecer justo en un umbral (ej. 0.5) pero exhibir sesgos significativos en otros rangos de puntuación. Además, métricas independientes del umbral como el AUC (Área bajo la curva ROC) pueden ocultar disparidades sistemáticas si las curvas de diferentes grupos se cruzan o compensan entre sí. El artículo demuestra que incluso los modelos más avanzados pueden tener distribuciones de puntuaciones sesgadas que perjudican a grupos minoritarios, independientemente del umbral elegido.

2. Metodología Propuesta

Los autores proponen un enfoque de post-procesamiento (no requiere reentrenar el modelo subyacente) que se basa en la alineación de distribuciones mediante el Transporte Óptimo y los Baricentros de Wasserstein.

A. Nueva Definición de Sesgo (Independiente del Umbral)

Se introduce una medida de sesgo que integra las brechas de rendimiento entre grupos a través de todos los umbrales posibles, en lugar de uno solo.

• Definición: El sesgo de una función de puntuación $s$ con respecto a una métrica $\Phi$ (ej. Tasa de Verdaderos Positivos - TPR) se define como la integral de la diferencia absoluta entre los grupos a lo largo de todo el rango de umbrales $[0, 1]$:
  $$\text{bias}(s, \Phi) = \int_{0}^{1} |\Phi_b(s, \theta) - \Phi_a(s, \theta)| d\theta$$
  Esto extiende conceptos como Paridad Demográfica (DP), Igualdad de Oportunidades (EO) y Odds Igualados (EOD) de salidas binarias a funciones de puntuación.

B. Algoritmo Calib (Para Paridad Demográfica - DP)

Para eliminar el sesgo de Paridad Demográfica (donde la tasa de puntuaciones positivas debe ser independiente del grupo), se propone Calib:

• Mecanismo: Calcula el baricentro de Wasserstein de las distribuciones de puntuaciones de los grupos minoritario y mayoritario.
• Implementación: Utiliza un mapa de transporte óptimo basado en cuantiles. Transforma las puntuaciones de cada grupo hacia una distribución objetivo común (el baricentro) mediante una combinación ponderada de sus funciones cuantílicas.
• Requisitos: Solo necesita un conjunto de datos de calibración (pares de registros) con puntuaciones, pero no requiere etiquetas verdaderas (ground truth). Es agnóstico al modelo.
• Garantía Teórica: Se demuestra que el algoritmo converge a la solución óptima de riesgo mínimo a una tasa paramétrica $O_p(n^{-1/2})$, minimizando la distorsión de las puntuaciones originales mientras elimina el sesgo DP.

C. Algoritmo C-Calib (Para EO y EOD)

Para criterios que dependen de las etiquetas verdaderas (como Igualdad de Oportunidades y Odds Igualados), donde el modelo no tiene acceso a las etiquetas reales durante la calibración, se propone C-Calib:

• Mecanismo: Realiza una calibración condicional. Primero estima las etiquetas (emparejar/no emparejar) utilizando un umbral no supervisado (obtenido mediante el algoritmo MeanShift sobre la distribución de puntuaciones).
• Estratificación: Divide los datos en estratos basados en la etiqueta estimada (positiva/negativa) y aplica el algoritmo Calib por separado dentro de cada estrato.
• Garantía Teórica: El sesgo resultante depende de dos factores: la tasa de error de estimación de la etiqueta y la tasa de convergencia estadística. Si la separación de clases es buena y la estimación de la etiqueta es precisa, el algoritmo reduce el sesgo EOD/EO manteniendo un riesgo bajo.

3. Contribuciones Clave

1. Formulación de Sesgo de Puntuación: Introducción de una métrica de sesgo independiente del umbral que captura disparidades acumulativas en toda la distribución de puntuaciones, superando las limitaciones de las métricas binarias fijas y el AUC.
2. Calibración Basada en Baricentros (Calib): Un algoritmo de post-procesamiento agnóstico al modelo que alinea distribuciones de puntuaciones hacia un baricentro de Wasserstein para eliminar el sesgo DP, con garantías teóricas de convergencia.
3. Calibración Condicional (C-Calib): Una extensión que permite abordar métricas dependientes de etiquetas (EO/EOD) en escenarios sin etiquetas verdaderas, utilizando una estratificación basada en etiquetas estimadas.
4. Evaluación Empírica: Validación exhaustiva en múltiples conjuntos de datos estándar (DBLP-ACM, AMZ-GOO, etc.) y modelos de estado del arte (DeepMatch, HierMatch, etc.), demostrando la eficacia de los métodos.

4. Resultados Experimentales

• Detección de Sesgo: Los experimentos confirman que modelos de vanguardia exhiben sesgos significativos en sus distribuciones de puntuaciones que no son detectados por métricas binarias tradicionales en umbrales comunes.
• Reducción de Sesgo:
  • Calib: Reduce drásticamente el sesgo de Paridad Demográfica (DP), a menudo eliminándolo casi por completo, sin necesidad de etiquetas.
  • C-Calib: Supera a Calib en la reducción de sesgos EO y EOD. Mientras que Calib a veces aumenta el sesgo EO/EOD al ignorar las etiquetas, C-Calib logra reducciones significativas (ej. reduciendo EOD del 19.5% al 7.4% en un caso de prueba).
• Preservación de la Precisión (Riesgo):
  • La calibración introduce una distorsión mínima en las puntuaciones originales.
  • La caída en el AUC (precisión general) es insignificante (generalmente < 1%), lo que indica que la utilidad del modelo se preserva casi intacta.
  • C-Calib muestra una estabilidad ligeramente superior en el AUC en comparación con Calib.
• Sensibilidad al Conjunto de Datos: La calidad de la calibración depende de que el conjunto de datos de calibración ($D$) tenga una distribución similar a los datos de consulta. Usar datos de prueba como $D$ funciona mejor que usar datos de entrenamiento.

5. Significado e Impacto

Este trabajo es fundamental porque cambia el paradigma de evaluación de equidad en la coincidencia de registros:

• De Binario a Continuo: Reconoce que la equidad en sistemas de puntuación no puede evaluarse solo en un punto de corte, sino en toda la distribución.
• Solución Práctica: Ofrece herramientas de post-procesamiento que pueden aplicarse a cualquier modelo existente (incluso cajas negras) sin necesidad de reentrenamiento costoso o acceso a datos de entrenamiento.
• Versatilidad: Proporciona soluciones tanto para escenarios donde no se tienen etiquetas (Calib) como para aquellos donde se necesitan métricas condicionales a la verdad (C-Calib), llenando un vacío en la literatura de equidad en entity resolution.
• Aplicabilidad: Los métodos son teóricamente sólidos y empíricamente efectivos, permitiendo construir sistemas de integración de datos más justos sin sacrificar la precisión operativa.

En conclusión, el artículo demuestra que es posible mitigar sistemáticamente los sesgos en las puntuaciones de coincidencia mediante la alineación de distribuciones, ofreciendo un marco robusto para la equidad en sistemas de datos críticos.