Resumo Técnico: MESD – Uma Métrica Sensível ao Risco para Equidade Explicativa em Subgrupos Interseccionais

Declaração do Problema

A avaliação atual de equidade em aprendizado de máquina é predominantemente orientada a resultados, dependendo de métricas como Paridade Demográfica e Odds Igualitárias para garantir consistência estatística nas previsões entre grupos protegidos. No entanto, essas métricas falham em detectar injustiça processual: situações em que um modelo produz resultados estatisticamente justos, mas utiliza processos de raciocínio sistematicamente diferentes, instáveis ou enviesados para diferentes grupos demográficos.

Esse problema é exacerbado pela interseccionalidade. Modelos podem parecer justos quando avaliados em atributos únicos (por exemplo, raça ou gênero independentemente), enquanto exibem disparidades significativas para subgrupos interseccionais (por exemplo, mulheres negras), um fenômeno conhecido como gerrymandering de equidade. Além disso, as métricas existentes de equidade processual frequentemente dependem de comparações contrafactuais ou de atributos protegidos únicos, falhando em abordar a estabilidade das explicações sob perturbação através de interseções complexas de subgrupos multidimensionais.

Metodologia

O artigo propõe a Disparidade de Estabilidade de Explicação Multicategoria (MESD), uma métrica de equidade processual projetada para quantificar disparidades na qualidade das explicações entre subgrupos interseccionais. A MESD é integrada a um framework de otimização multiobjetivo chamado UEF (Utilidade, Explicabilidade e Equidade).

1. A Métrica MESD

A MESD opera através de um procedimento robusto de três etapas:

• Construção de Subgrupos Interseccionais: A métrica constrói subgrupos via o produto cartesiano de múltiplos atributos protegidos ($G = A_1 \times A_2 \times \dots \times A_m$). Isso captura as experiências únicas de indivíduos múltiplamente marginalizados.
• Avaliação de Estabilidade via Perturbação: Para medir a consistência da explicação, o método gera versões perturbadas de instâncias de entrada usando um framework híbrido de ruído gaussiano e mascaramento estocástico de características. Calcula-se um vetor de atribuição de conjunto (combinando múltiplos explicadores como SHAP e LIME) para as entradas originais e perturbadas. A estabilidade é quantificada pelo inverso da distância euclidiana entre essas explicações; uma explicação estável gera uma pontuação próxima de 1, enquanto as inconsistentes aproximam-se de 0.
• Agregação Consciente de Rótulo com Encolhimento Bayesiano Empírico: Para evitar estimativas de disparidade enganosas causadas por tamanhos de amostra pequenos em grupos interseccionais, a MESD agrega pontuações de estabilidade condicionalmente ao rótulo verdadeiro ($y$). Emprega encolhimento Bayesiano Empírico (EB) para puxar estimativas instáveis de grupos pequenos em direção à média por rótulo, reduzindo a variância sem mascarar disparidades reais.
• Medição de Risco Ponderada por CVaR: Para abordar o gerrymandering de equidade, a MESD utiliza o Valor Condicional em Risco (CVaR). Em vez de calcular a média das disparidades, foca na cauda de "pior caso" da distribuição de disparidades. Calcula disparidades de estabilidade em pares ($D_{ij}$) e atribui pesos maiores a pares envolvendo grupos com baixa equidade processual (alto risco), garantindo que a métrica seja sensível à instabilidade extrema de subgrupos.

2. O Framework de Otimização UEF

Para gerar modelos que sejam justos tanto em resultados quanto em processo, os autores introduzem o UEF, um framework de otimização multiobjetivo que utiliza o NSGA-II (Algoritmo Genético de Classificação Não Dominada II). O UEF otimiza simultaneamente três objetivos:

1. Utilidade ($F_{perf}$): Desempenho preditivo (AUC maximizado).
2. Equidade de Resultados ($F_{out}$): Lacuna de Paridade Demográfica minimizada entre grupos interseccionais.
3. Equidade Processual ($F_{proc}$): Pontuação MESD minimizada.

Uma escalarização de Chebyshev é aplicada pós-otimização para selecionar um único modelo a partir da frente de Pareto que equilibre esses objetivos concorrentes.

Contribuições Principais

1. Métrica MESD: A introdução de uma métrica de equidade processual que combina explicitamente análise de subgrupos interseccionais, estabilidade da explicação (robustez à perturbação) e agregação sensível ao risco (CVaR) para detectar gerrymandering de equidade.
2. Framework UEF: Uma abordagem de otimização multiobjetivo que otimiza conjuntamente utilidade, equidade de resultados e equidade processual, demonstrando que essas dimensões podem ser equilibradas em vez de tratadas como mutuamente exclusivas.
3. Validação Abrangente: Evidência empírica mostrando que a equidade orientada a resultados não garante equidade processual, e que a otimização para MESD revela disparidades invisíveis para métricas padrão.

Resultados Experimentais

Os autores avaliaram a MESD e o UEF em três conjuntos de dados de referência (Renda Adulta, Recidiva, Crédito Alemão) contra quatro baselines: Minimização de Risco Empírico (ERM), Reponderação (RW), Reduções (RD) e Debiasing Adversarial (ADL).

• Desempenho Equilibrado: O UEF alcançou consistentemente o desempenho mais equilibrado entre os três objetivos. No conjunto de dados Renda Adulta (o mais complexo, com três atributos protegidos), o UEF alcançou as maiores pontuações de AUC e F1, enquanto simultaneamente alcançou as menores pontuações de Paridade Demográfica (DP) e MESD.
• Eficiência de Pareto: O UEF produziu 12 de 15 soluções não dominadas em todos os conjuntos de dados e dobras. Notavelmente, foi o único método a alcançar soluções não dominadas em todas as 5 dobras do conjunto de dados Renda Adulta, onde o gerrymandering de equidade interseccional é mais prevalente.
• Detecção de Disparidades Ocultas: Métodos baseline otimizados para equidade de resultados (como RD) frequentemente alcançaram lacunas baixas de DP, mas altas pontuações de MESD, confirmando que falharam em garantir raciocínio consistente entre grupos.
• Estudos de Ablação:
  • CVaR: Remover o ponderamento por CVaR (usando variância ou lacuna máxima em vez disso) mascarou disparidades de pior caso em pequenos subgrupos.
  • Encolhimento EB: Sem encolhimento, pequenos grupos interseccionais exibiram pontuações de estabilidade artificialmente baixas devido à alta variância; o encolhimento regularizou essas estimativas.
  • Hiperparâmetros: A MESD mostrou-se robusta a baselines de perturbação e estabiliza com contagens de perturbação suficientes ($K \ge 20$).

Significado e Alegações

O artigo posiciona a MESD como um componente necessário para a justiça processual em IA, fundamentado na distinção teórica entre justiça distributiva (resultados) e justiça processual (processo). Os autores afirmam que:

• A Equidade Processual é Distinta: Um modelo pode ser estatisticamente justo, mas processualmente injusto se depender de raciocínios diferentes e instáveis para diferentes grupos. Essa divergência mina a legitimidade do sistema de decisão.
• A Interseccionalidade é Crítica: A análise de equidade de eixo único obscurece as experiências de indivíduos múltiplamente marginalizados. A MESD está entre as primeiras métricas a abordar explicitamente a estabilidade da explicação na interseção de múltiplos atributos protegidos.
• Compensações de Otimização: A otimização conjunta para utilidade, resultados e equidade processual produz modelos superiores àqueles otimizados para objetivos únicos, particularmente em paisagens de equidade complexas e de alta dimensão.
• Relevância Regulatória: O trabalho apoia a conformidade com frameworks regulatórios emergentes (por exemplo, Ato de IA da UE) fornecendo um mecanismo para auditar o processo de tomada de decisão, não apenas o resultado.

Os autores reconhecem limitações, observando que a MESD depende de explicadores post-hoc (que são aproximações) e é atualmente limitada a dados tabulares com atributos protegidos binários. Eles sugerem que trabalhos futuros devem explorar explicabilidade in-processing e extensões para modalidades contínuas ou não tabulares.