Resumo Técnico: GESD – Além da Justiça Orientada a Resultados

Declaração do Problema

Algoritmos de aprendizado de máquina (ML) são cada vez mais implantados em domínios de alto risco, como contratação, aprovação de empréstimos e justiça criminal. Embora as métricas de justiça existentes (por exemplo, paridade estatística, odds igualizadas) quantifiquem efetivamente disparidades nos resultados do modelo, elas falham em abordar vieses inerentes ao procedimento de tomada de decisão ou à estabilidade das explicações do modelo. Os métodos atuais dependem fortemente de estatísticas de previsão, potencialmente negligenciando cenários em que um modelo produz resultados equitativos, mas se baseia em raciocínios internos discriminatórios ou instáveis. Existe uma lacuna crítica na medição de saber se membros de diferentes subgrupos protegidos recebem explicações de qualidade, estabilidade e robustez comparáveis.

Metodologia

1. Disparidade de Estabilidade de Explicação em Nível de Grupo (GESD)

Os autores propõem o GESD, uma métrica de justiça orientada a procedimentos projetada para quantificar disparidades na estabilidade, robustez e sensibilidade das explicações do modelo entre subgrupos protegidos. Diferentemente de medidas anteriores que comparam a importância média de características, o GESD avalia a confiabilidade das explicações sob perturbações de entrada.

O cálculo envolve cinco etapas:

• Agregação de Explicação: Para garantir robustez contra inconsistências individuais de explicadores, o método agrega explicações SHAP e LIME em um único vetor: $E_{agg}(f, x) = \frac{1}{2}(E_{SHAP} + E_{LIME})$.
• Perturbação: Para cada ponto de dados, versões perturbadas são geradas usando ruído gaussiano e mascaramento de características (substituindo características por valores de base). Isso simula flutuações naturais de entrada e dados ausentes.
• Medição de Estabilidade: A distância entre a explicação original e a explicação da entrada perturbada é calculada usando a norma $L_1$. Uma distância menor indica maior estabilidade. Isso é convertido em uma pontuação de estabilidade $S(x)$ (por exemplo, $1/(1+\Delta(x))$).
• Agregação por Grupo: As pontuações de estabilidade são médias para cada grupo sensível (por exemplo, gênero, raça).
• Cálculo de Disparidade:
  • Para dois grupos ($K=2$), o GESD é a diferença absoluta entre as pontuações médias de estabilidade do grupo: $|S_0 - S_1|$.
  • Para $K > 2$ grupos, é a variância das pontuações de estabilidade do grupo em torno da média global.

2. Framework de Otimização FEU

Para abordar a natureza multiobjetivo de equilibrar utilidade, justiça de resultados e justiça de explicações, os autores introduzem o framework Justiça–Explicabilidade–Utilidade (FEU).

• Função Objetivo: O problema é formulado como uma minimização de três objetivos sem restrições:
  1. Justiça ($L_f$): Diferença de Paridade Demográfica (DP) minimizada.
  2. Explicabilidade ($L_e$): GESD minimizado.
  3. Utilidade ($L_u$): Área sob a Curva (AUC) maximizada, convertida em minimização via negação.
• Algoritmo: O framework utiliza o Algoritmo Genético de Ordenação Não Dominada II (NSGA-II) para evoluir uma população de configurações de modelo (hiperparâmetros como taxa de aprendizado, épocas e limiares de decisão).
• Seleção: A partir do conjunto Pareto-óptimo resultante, um modelo final é selecionado usando escalarização de Chebyshev para garantir desempenho equilibrado em todos os três objetivos, sem degradação extrema em qualquer métrica individual.

Contribuições Principais

1. Formulação do GESD: O artigo define uma nova métrica orientada a procedimentos que quantifica disparidades em nível de grupo na robustez, estabilidade e sensibilidade das explicações, independentemente dos resultados do modelo.
2. Framework FEU: Os autores propõem um framework de otimização multiobjetivo evolutivo que otimiza conjuntamente a utilidade, a justiça baseada em resultados e a justiça baseada em explicações.
3. Validação Empírica: O estudo demonstra que o GESD pode detectar vieses ocultos de explicação em nível de grupo em modelos lineares e não lineares que métricas baseadas em resultados ignoram.
4. Compensações de Desempenho: O trabalho mostra que o FEU alcança compensações superiores entre utilidade e justiça em comparação com baselines de última geração (Aprendizado Adversarial, Redução e Reponderação).

Resultados Experimentais

Experimentos foram conduzidos em quatro conjuntos de dados de referência: Crédito Alemão, Recidiva, Matemática e Português. O método FEU proposto foi comparado com Aprendizado Adversarial (ADL), Redução (Red) e Reponderação (RW).

• Utilidade e Justiça de Resultados: O FEU geralmente superou ou permaneceu competitivo com as baselines em termos de pontuações AUC e F1. Também alcançou resultados competitivos em métricas de justiça orientadas a resultados (DP e EOD), frequentemente superando as baselines nos conjuntos de dados Crédito Alemão e Recidiva.
• Justiça Procedural (GESD): Embora o FEU tenha mostrado valores de GESD ligeiramente mais altos do que as baselines lineares (Red, RW) em alguns conjuntos de dados, isso foi atribuído à complexidade dos modelos de rede neural utilizados. Crucialmente, os resultados destacaram que modelos com alta utilidade e justiça de resultados ainda podem exibir disparidades significativas de explicação.
• Sensibilidade do Modelo: O estudo descobriu que modelos não lineares (como FEU e ADL) tendem a gerar explicações menos estáveis entre subgrupos em comparação com modelos lineares. Além disso, a escolha do explicador (SHAP vs. LIME) impactou significativamente a detecção de viés; agregar ambos os explicadores (como feito no GESD) foi necessário para capturar robustamente disparidades que explicadores únicos poderiam ignorar.
• Optimalidade de Pareto: No conjunto de dados Crédito Alemão, o FEU gerou soluções não dominadas, equilibrando efetivamente os três objetivos, enquanto as baselines lineares frequentemente sacrificavam utilidade significativa por ganhos marginais de justiça.

Significado e Alegações

O artigo alega que o GESD oferece uma ferramenta abrangente para diagnosticar viés, preenchendo a lacuna entre justiça baseada em resultados e justiça baseada em explicações. Seu significado principal reside em:

• Insight Procedural: Expõe vieses procedimentais que métricas tradicionais ignoram, garantindo que o raciocínio por trás das decisões seja tão justo quanto os resultados.
• Utilidade Agnóstica ao Modelo: O GESD é compatível com vários algoritmos de aprendizado e métodos de interpretabilidade post-hoc.
• Otimização Holística: O framework FEU demonstra que é possível otimizar simultaneamente para utilidade, justiça e explicabilidade, proporcionando uma visão mais holística da modelagem equitativa.

Os autores observam que, embora o FEU funcione bem, atualmente carece de intervenções específicas de mitigação de viés (como desviés adversarial) para conjuntos de dados extremamente enviesados, o que é identificado como uma direção para trabalhos futuros. Além disso, propõem estender o GESD para lidar com múltiplas categorias protegidas (interseccionalidade) e migrar para algoritmos de otimização de muitos objetivos (por exemplo, NSGA-III) para gerenciar a complexidade aumentada.