Reducing Biases in Record Matching Through Scores Calibration

Título: Redução de Vieses em Correspondência de Registros Através de Calibração de Scores

Autores: Mohammad Hossein Moslemi e Mostafa Milani (Western University, Canadá)

1. O Problema

A correspondência de registros (record matching) é a tarefa de identificar pares de registros de diferentes conjuntos de dados que se referem à mesma entidade do mundo real. Embora a maioria dos métodos modernos de correspondência produza um score de correspondência contínuo (um valor real entre 0 e 1 que indica a probabilidade de correspondência), a avaliação de justiça (fairness) neste domínio tem sido tradicionalmente tratada como um problema de classificação binária.

Limitações das Abordagens Atuais:

• Dependência de Limiar (Threshold): As métricas de justiça atuais (como Paridade Demográfica - DP, Igualdade de Oportunidade - EO e Odds Igualizados - EOD) são geralmente calculadas aplicando um limiar fixo ao score para gerar uma decisão binária (corresponde/não corresponde).
• Falha na Detecção de Vieses Sistêmicos: Um modelo pode parecer justo em um limiar específico, mas exibir disparidades significativas em outros limiares ou em toda a distribuição de scores. Métricas baseadas apenas em AUC (Área sob a Curva ROC) podem mascarar essas diferenças, pois agregam o desempenho em todos os limiares, cancelando disparidades locais.
• Impacto Prático: Em aplicações reais, os scores são frequentemente usados diretamente para ranking, revisão humana ou ajuste dinâmico de limiares. Vieses na distribuição do score podem levar a tratamentos desiguais para grupos minoritários, mesmo que a precisão geral seja alta.

2. Metodologia Proposta

Os autores propõem uma abordagem em duas etapas: uma nova definição de viés independente de limiar e dois algoritmos de pós-processamento para mitigação.

A. Nova Definição de Viés (Score Bias)

O artigo introduz uma medida de viés independente de limiar que estende as noções de justiça de classificações binárias para funções de score.

• Definição: O viés de um score $s$ em relação a uma métrica de desempenho $\Phi$ (como Taxa de Verdadeiros Positivos - TPR ou Taxa de Positivos - PR) é definido como a integral da diferença absoluta entre as métricas dos grupos minoritário e majoritário ao longo de todos os limiares possíveis ($\theta \in [0, 1]$):
  $$\text{bias}(s, \Phi) = \int_{0}^{1} |\Phi_b(s, \theta) - \Phi_a(s, \theta)| d\theta$$
• Interpretação: Isso captura a disparidade cumulativa de desempenho entre os grupos em toda a faixa de scores, em vez de apenas em um ponto de corte.

B. Algoritmos de Calibração (Pós-processamento)

Para mitigar esses vieses sem re-treinar os modelos subjacentes (que podem ser "caixas pretas"), os autores propõem dois métodos baseados em Transporte Ótimo e Baricentro de Wasserstein. Ambos operam apenas em um conjunto de calibração (que pode ser não rotulado).

1. Calib (Para Paridade Demográfica - DP):

   • Objetivo: Alinhar as distribuições de scores dos grupos minoritário e majoritário para que sejam idênticas, eliminando o viés de DP.
   • Mecanismo: Calcula o Baricentro de Wasserstein das duas distribuições de scores. Utiliza um mapa de transporte ótimo baseado em quantis para mapear os scores originais de cada grupo para uma distribuição alvo comum (o baricentro).
   • Garantia: O método possui garantias teóricas de que o viés residual e a distorção do score convergem na taxa paramétrica $O_p(n^{-1/2})$.

2. C-Calib (Para Igualdade de Oportunidade - EO e Odds Igualizados - EOD):

   • Objetivo: Atender critérios de justiça que dependem do rótulo verdadeiro (se os registros realmente correspondem ou não), como EO e EOD.
   • Desafio: Os rótulos verdadeiros geralmente não estão disponíveis no momento da calibração.
   • Mecanismo:
     1. Estima um limiar de decisão $\gamma$ (usando, por exemplo, o algoritmo MeanShift nos scores) para prever rótulos nos dados de calibração e na consulta.
     2. Aplica a calibração condicionalmente: estratifica os dados em "prováveis correspondências" e "prováveis não correspondências".
     3. Dentro de cada estrato (predito), aplica o algoritmo Calib para alinhar as distribuições entre grupos.
   • Garantia: O viés e o risco convergem dependendo do tamanho da amostra e do erro de estimação do rótulo. Se os grupos forem separáveis e o limiar estimado for preciso, a convergência é rápida.

3. Principais Contribuições

1. Formulação de Viés de Score: Introdução de uma métrica de viés independente de limiar que generaliza DP, EO e EOD para funções de score, demonstrando que métricas baseadas em AUC ou limiares fixos são insuficientes.
2. Algoritmo Calib: Um método de pós-processamento agnóstico ao modelo que reduz o viés de DP alinhando distribuições via baricentro de Wasserstein, com garantias teóricas de convergência.
3. Algoritmo C-Calib: Uma extensão condicional que permite atingir EO e EOD mesmo na ausência de rótulos verdadeiros, utilizando estimativas de rótulos para estratificação.
4. Validação Empírica: Demonstração de que os métodos reduzem significativamente o viés em benchmarks padrão (como DBLP-ACM, Amazon-Google) com perda mínima de acurácia.

4. Resultados Experimentais

Os autores avaliaram os métodos em diversos conjuntos de dados de correspondência de registros e modelos de Deep Learning (DeepMatch, HierGAT, DITTO, etc.):

• Detecção de Viés: Os experimentos confirmaram que modelos de última geração exibem vieses substanciais em suas distribuições de scores, mesmo quando parecem justos em limiares específicos. A métrica proposta capturou essas disparidades que as métricas tradicionais ignoravam.
• Redução de Viés (DP): O algoritmo Calib reduziu drasticamente o viés de Paridade Demográfica (DP), muitas vezes eliminando-o quase completamente, sem comprometer a acurácia.
• Redução de Viés (EO/EOD): O algoritmo Calib padrão falhou em reduzir consistentemente EO e EOD (às vezes até aumentando o viés). O C-Calib, por outro lado, mostrou-se altamente eficaz, reduzindo significativamente os vieses de EO e EOD em todos os modelos e datasets testados.
• Preservação de Desempenho (Risco): A calibração causou uma redução mínima na AUC (Área sob a Curva ROC). Em todos os casos, a redução na AUC foi inferior a 1%, indicando que a qualidade de ranking e a utilidade do modelo foram preservadas.
• Sensibilidade ao Conjunto de Calibração: A escolha do conjunto de dados $D$ para calibração é crucial. Usar os próprios pontos de consulta (testes) como conjunto de calibração funcionou melhor do que usar dados de treinamento, devido a possíveis deslocamentos de distribuição (distribution shift).

5. Significância e Conclusão

Este trabalho é significativo porque:

• Muda o Paradigma de Avaliação: Demonstra que a justiça em correspondência de registros não pode ser avaliada apenas através de decisões binárias; a distribuição contínua do score é fundamental.
• Solução Prática e Eficiente: Oferece métodos de pós-processamento que não exigem acesso aos dados de treinamento ou re-treinamento de modelos complexos de Deep Learning, tornando-os aplicáveis a sistemas legados ou proprietários.
• Equilíbrio entre Justiça e Utilidade: Prova que é possível mitigar vieses sistêmicos em scores sem sacrificar a precisão do modelo, resolvendo o dilema comum entre justiça e desempenho.
• Fundação Teórica: Fornece garantias teóricas rigorosas sobre a convergência dos algoritmos, conectando a teoria de transporte ótimo à justiça algorítmica em tarefas de correspondência.

Em resumo, o artigo estabelece que a calibração de scores baseada em baricentro de Wasserstein é uma ferramenta poderosa e necessária para garantir a equidade em sistemas de correspondência de registros modernos.