Resumo Técnico: Neyman-Pearson e Igualdade de Oportunidades

1. Definição do Problema

O artigo aborda a tensão fundamental entre eficiência econômica e equidade social em sistemas de tomada de decisão automatizados. Embora as organizações dependam cada vez mais de algoritmos estatísticos para tarefas críticas (ex: aprovações de empréstimos, contratações), esses sistemas frequentemente exibem vieses sistemáticos contra grupos sociais desfavorecidos. As abordagens existentes à equidade algorítmica frequentemente priorizam restrições de equidade em detrimento da precisão preditiva ou da eficiência econômica. Inversamente, modelos padrão focados em eficiência frequentemente ignoram impactos díspares sobre grupos sensíveis.

Os autores identificam uma lacuna específica: os frameworks atuais têm dificuldade em satisfazer simultaneamente prioridades de eficiência assimétricas (onde um tipo de erro é mais custoso que o outro, ex: risco financeiro em empréstimos) e restrições de equidade (especificamente, Igualdade de Oportunidades) com garantias estatísticas rigorosas. O desafio central é um trade-off tripartido entre o Erro Tipo I (falsos positivos), o Erro Tipo II (falsos negativos) e as restrições de equidade (disparidade nas taxas de erro entre grupos).

2. Metodologia: O Paradigma NP-EO

O artigo propõe um novo framework de classificação chamado Neyman-Pearson Equal Opportunity (NP-EO). Este framework integra duas restrições distintas:

A. O Componente de Eficiência (Restrição Neyman-Pearson)

Em vez de minimizar o erro total ou utilizar aprendizado sensível ao custo (que exige a especificação de custos de classificação incorreta arbitrários), os autores adotam o paradigma Neyman-Pearson (NP).

• Objetivo: Controlar o Erro Tipo I (probabilidade de classificar incorretamente uma instância negativa como positiva) para que seja inferior a um nível $\alpha$ especificado pelo usuário com alta probabilidade.
• Objetivo de otimização: Minimizar o Erro Tipo II (probabilidade de classificar incorretamente uma instância positiva como negativa) sujeito à restrição do Tipo I.
• Justificativa: Isso permite que as organizações limitem explicitamente o risco do erro mais consequente (ex: aprovar um empréstimo com inadimplência) enquanto maximizam as oportunidades de negócio (minimizando rejeições de bons candidatos).

B. O Componente de Equidade (Restrição de Igualdade de Oportunidades)

O framework incorpora uma versão relaxada da Igualdade de Oportunidades (Equal Opportunity - EO).

• Objetivo: Garantir que as taxas de Erro Tipo II sejam aproximadamente iguais entre diferentes grupos sensíveis (ex: raça, gênero).
• Restrição: $L_1(\phi) = |R^a_1(\phi) - R^b_1(\phi)| \le \varepsilon$, onde $\varepsilon$ é uma tolerância pré-especificada.
• Justificativa: Isso garante que candidatos qualificados de diferentes grupos tenham oportunidades iguais de receber o resultado favorável (ex: aprovação de empréstimo), sem exigir igualdade absoluta, o que é estatisticamente inviável em amostras finitas.

C. Fundamentação Teórica: O Oráculo NP-EO

Os autores derivam um classificador oráculo NP-EO, que é a solução ótima para o problema de otimização restrita:
$$\min_{\phi} R_1(\phi) \quad \text{sujeito a} \quad R_0(\phi) \le \alpha \quad \text{e} \quad L_1(\phi) \le \varepsilon$$
Utilizando o Lema de Neyman-Pearson Generalizado, eles provam que o classificador oráculo assume a forma de um teste de razão de verossimilhança com dois limiares distintos ($c_a$ e $c_b$) para os dois grupos sensíveis:
$$\phi^*(X, S) = \mathbb{I}\left\{ \frac{f_{1,a}(X)}{f_{0,a}(X)} > c_a \right\}\mathbb{I}\{S=a\} + \mathbb{I}\left\{ \frac{f_{1,b}(X)}{f_{0,b}(X)} > c_b \right\}\mathbb{I}\{S=b\}$$
A existência de tais limiares é garantida sob condições de regularidade suaves, assegurando que as restrições de NP e EO sejam simultaneamente viáveis.

D. Implementação Algorítmica: Algoritmos "Umbrella"

Como as densidades reais são desconhecidas, os autores propõem dois algoritmos "umbrella" baseados em amostras finitas que funcionam com qualquer classificador de pontuação base (ex: regressão logística, florestas aleatórias, redes neurais) sem exigir suposições distributivas. Esses algoritmos utilizam estatísticas de ordem para determinar os limiares.

1. NP-EOOP (Um Par de Pivôs):

   • Uma abordagem conservadora que seleciona um único par de pivôs (limiares) para garantir o controle de alta probabilidade do Erro Tipo I para cada grupo individualmente.
   • Em seguida, ajusta esses limiares para satisfazer a restrição de EO.
   • Garantia: Fornece controle de alta probabilidade estrito tanto para o NP quanto para o EO.

2. NP-EOMP (Múltiplos Pares de Pivôs):

   • Uma abordagem mais flexível que relaxa o requisito de controlar os erros Tipo I de cada grupo individualmente. Em vez disso, controla o Erro Tipo I agregado.
   • Ele busca sobre múltiplos pares de pivôs para encontrar um classificador que minimize o Erro Tipo II enquanto satisfaz as restrições.
   • Vantagem: Geralmente alcança um Erro Tipo II menor (maior poder) do que o NP-EOOP, embora com garantias teóricas ligeiramente relaxadas sobre o controle exato da probabilidade do Erro Tipo I (controle aproximado).

Ambos os algoritmos utilizam o teorema de Bernstein-von Mises para aproximar a distribuição das taxas de erro, permitendo a seleção de limiares que satisfaçam as restrições com alta probabilidade ($1-\delta$ para NP, $1-\gamma$ para EO).

3. Principais Contribuições

1. Novo Framework: A introdução do paradigma NP-EO, que desacopla explicitamente a eficiência econômica (via restrições NP) da equidade (via restrições EO), indo além do tradicional trade-off entre precisão e equidade.
2. Derivação do Oráculo: Derivação teórica do classificador oráculo NP-EO, provando que a viabilidade simultânea das restrições NP e EO é possível e caracterizando a forma da solução ótima.
3. Algoritmos de Amostra Finita: Desenvolvimento de dois algoritmos práticos e não paramétricos (NP-EOOP e NP-EOMP) que fornecem garantias de alta probabilidade para ambas as restrições. Diferente dos métodos de plug-in, estes não dependem da convergência assintótica do classificador base.
4. Garantias Teóricas: Estabelecimento de limites rigorosos mostrando que os classificadores propostos satisfazem as restrições de NP e EO com altas probabilidades pré-especificadas, uma característica que falta em muitos métodos de equidade existentes.
5. Validação Empírica: Demonstração através de simulações e dados do mundo real (previsão de inadimplência de cartão de crédito) de que os classificadores NP-EO são os únicos métodos capazes de satisfazer simultaneamente ambas as restrições com alta probabilidade, enquanto métodos existentes (FairBayes, Aprendizado Sensível ao Custo) falham em manter o controle do Erro Tipo I ou os níveis de equidade.

4. Resultados

• Simulações: Em configurações Gaussianas controladas, o NP-EOOP e o NP-EOMP mantiveram com sucesso as taxas de violação do Erro Tipo I próximas de 0 e as taxas de violação de EO próximas do alvo $\gamma$ (ex: 0,05). Em contraste, o FairBayes falhou em controlar o Erro Tipo I (taxa de violação $\approx 1), e o Aprendizado Sensível ao Custo (CSL) exibiu altas taxas de violação para ambas as restrições, apesar de minimizar o risco empírico.
• Aplicação no Mundo Real (Dados de Cartão de Crédito): Aplicado a um conjunto de dados de cartões de crédito de Taiwan, os algoritmos NP-EO controlaram com sucesso o risco de inadimplência (Erro Tipo I) para o nível alvo ($\alpha=0,1$) enquanto mantiveram a equidade de gênero (taxa de violação de EO $< 0,05$). Classificadores clássicos falharam em controlar o risco de inadimplência (taxa de violação = 1), e classificadores apenas de NP falharam em garantir a equidade (taxa de violação de EO $\approx 0,46$).
• Análise de Trade-off: Os resultados ilustram que satisfazer ambas as restrições acarreta um custo na forma de aumento do Erro Tipo II (mais oportunidades de negócio perdidas) em comparação com modelos de restrição única ou sem restrições. No entanto, esse custo é apresentado como um trade-off necessário para alcançar a conformidade regulatória e a gestão de riscos simultaneamente.

5. Significância e Alegações

O artigo posiciona-se como uma resposta à necessidade prática de algoritmos que possam navegar no conflito entre objetivos organizacionais privados (lucro, controle de risco) e requisitos regulatórios sociais (equidade).

• Perspectiva Regulatória: Os autores argumentam que sua abordagem se alinha a uma perspectiva regulatória onde os tomadores de decisão devem perseguir objetivos após obedecer a restrições específicas, em vez de modelar uma função complexa de bem-estar social.
• Controle Estatístico: A significância reside em fornecer uma "maneira fundamentada de redistribuir erros específicos" para alcançar garantias estatísticas de alta probabilidade. Isso aborda a incerteza inerente aos erros preditivos e aos tamanhos de amostra finitos.
• Modéstia: Os autores declaram explicitamente que não alegam que o NP-EO seja superior a todos os outros paradigmas em todos os contextos. Em vez disso, ele é oferecido como um framework alternativo especificamente projetado para cenários onde prioridades de eficiência assimétrica e restrições de equidade devem ser atendidas simultaneamente com confiança estatística rigorosa.
• Direções Futuras: O artigo sugere potenciais extensões para múltiplos atributos sensíveis, modelos paramétricos para amostras pequenas e outras métricas de eficiência/equidade, mas nota estas como trabalhos futuros e não contribuições atuais.

Em resumo, o artigo fornece uma solução matematicamente rigorosa e praticável para organizações que precisam equilibrar o risco de perda financeira com o imperativo do tratamento não discriminatório, ofereando um framework onde ambos os objetivos podem ser alcançados com certeza estatística quantificável.