Fair Decisions from Calibrated Scores: Achieving Optimal Classification While Satisfying Sufficiency

Resumo Técnico: Decisões Justas a partir de Pontuações Calibradas

Definição do Problema
No aprendizado de máquina supervisionado, a classificação binária baseada em probabilidades previstas (pontuações) é fundamental. Embora a aplicação de um único limiar determinístico às pontuações seja Bayes-ótima em configurações não restritas, isso geralmente viola restrições de justiça estatística de grupo. Especificamente, o artigo aborda o desafio de alcançar a suficiência (também conhecida como paridade preditiva ou calibração de grupo) na classificação binária.

A suficiência exige que, condicionalmente ao resultado da decisão, a prevalência do rótulo positivo seja a mesma entre grupos protegidos. Um insight crítico destacado no artigo é que a suficiência não é preservada sob pós-processamento simples. Mesmo que uma pontuação seja perfeitamente calibrada por grupo (ou seja, $P(Y=1|S=s, A=a) = s$), a aplicação de um único limiar para converter essas pontuações em decisões binárias normalmente resulta em uma violação da suficiência. Isso contrasta com outros critérios de justiça como independência (paridade demográfica) ou separação (igualdade de oportunidades), onde um único limiar é suficiente se a própria pontuação satisfizer o critério.

Abordagens existentes para impor a suficiência geralmente dependem de pressupostos fortes, como distribuições de pontuação contínuas com suporte total, ou envolvem o relaxamento da restrição para objetivos aproximados. Muitos sistemas práticos, no entanto, operam com pontuações discretas de valores finitos, tornando esses pressupostos inválidos.

Metodologia
Os autores propõem uma solução exata para a classificação binária (aleatória) ótima sob suficiência, assumindo um conjunto finito de pontuações calibradas por grupo. A metodologia procede em três estáções principais:

1. Caracterização Geométrica da Região Viável:
   Os autores primeiro caracterizam o conjunto de todos os pares alcançáveis de Valor Preditivo Positivo (PPV) e Taxa de Omissão Falsa (FOR) para um único grupo usando uma pontuação calibrada de valor finito. Eles definem a "região viável" $C$ no plano $(p, q)$ (onde $p$ é o PPV e $q$ é o FOR).

   • Eles provam que esta região é estrela-convexa em relação ao ponto $(\pi, \pi)$, onde $\pi$ é a taxa de base.
   • A fronteira desta região, $\partial C$, é mostrada como uma curva contínua e não decrescente composta por arcos hiperbólicos por partes e segmentos retos.
   • A fronteira é parametrizada pela taxa de seleção $\mu$ (a probabilidade de prever 1). Os pontos de fronteira ótimos são alcançados por regras de limiarização "suave" (soft thresholding), que preveem deterministicamente 1 para pontuações acima de um determinado intervalo (bin), 0 para pontuações abaixo, e aleatoriedade no intervalo de fronteira.

2. Interseção para Múltiplos Grupos:
   Para satisfazer a suficiência entre múltiplos grupos (por exemplo, $A=0$ e $A=1$), a regra de decisão deve gerar o mesmo par $(p, q)$ para todos os grupos. Isso corresponde a encontrar a interseção das regiões viáveis individuais, $C_0 \cap C_1$.

   • Os autores caracterizam a fronteira desta interseção, $\partial(C_0 \cap C_1)$, como o máximo pontual das fronteiras dos grupos individuais: $q(p) = \max\{q_0(p), q_1(p)\}$.
   • Eles demonstram que esta fronteira de interseção também é definida por partes e pode ser rastreada eficientemente iterando sobre os intervalos definidos pelos intervalos de pontuação discretos de cada grupo.

3. Algoritmo de Otimização:
   Com base na caracterização geométrica, os autores derivam o Algoritmo 1, um procedimento de pós-processamento.

   • O algoritmo recebe como entrada apenas as pontuações calibradas por grupo e a membresia de grupo.
   • Ele itera sobre os segmentos da fronteira de interseção $\partial(C_0 \cap C_1)$.
   • Dentro de cada segmento, ele avalia uma função objetivo arbitrária (por exemplo, minimização de perda ou desvio de separação) para encontrar o ponto ideal.
   • O algoritmo constrói o classificador ótimo como uma mistura de regras de limiar determinísticas e variáveis de Bernoulli independentes, garantindo que a saída satisfaça a suficiência exatamente.

Principais Contribuições

• Caracterização Exata: O artigo fornece uma descrição geométrica completa dos pares $(PPV, FOR)$ viáveis para classificadores baseados em pontuações calibradas por grupo de valores finitos, identificando a fronteira como uma curva por partes de arcos hiperbólicos.
• Pós-processamento Ótimo: Apresenta um algoritmo simples e exato para construir o classificador suficiente ótimo para uma ampla classe de objetivos (incluindo minimização de perda) sem retreinar o preditor subjacente ou acessar características brutas.
• Tratamento de Pontuações Discretas: Ao contrário de trabalhos anteriores que exigem distribuições de pontuação contínuas, este método é especificamente projetado para o cenário praticamente relevante de pontuações finitas e discretas.
• Análise de Trade-off: O framework permite a otimização explícita de classificadores que satisfazem a suficiência enquanto minimizam o desvio da separação (igualdade de oportunidades), reconhecendo a incompatibilidade geral entre esses dois critérios.

Resultos
Os autores validam seu método através de três estudos de caso empíricos:

1. Pontuações FICO: Usando dados de solvência de crédito, o algoritmo produz um classificador que satisfaz a paridade preditiva (PPV e FOR comuns) com uma acurácia de 0,8676, comparada a 0,8819 para um classificador Bayesiano consciente de grupo não restrito. A regra ótima para um grupo exigiu aleatoriedade (interior da região viável), enquanto o outro utilizou um limiar determinístico.
2. Pontuações COMPAS: Usando dados de reincidência criminal, o método atinge uma acurácia de 0,6563 enquanto satisfaz a suficiência. O ponto ótimo reside em um ponto de quebra para o grupo "negro" (limiar determinístico), mas no interior para o grupo "branco".
3. Renda ACS: Em uma implementação de ponta a ponta sobre previsão de renda, o classificador pós-processado alcançou uma acurácia de 0,8167 (vs. 0,8190 não restrito) enquanto reduziu o gap médio absoluto de PPV de $3,6 \times 10^{-2}$ para $4,8 \times 10^{-3}$ e o gap de FOR de $3,3 \times 10^{-2}$ para $3,7 \times 10^{-3}$.

Adicionalmente, uma análise de robustez mostra que, se as pontuações de entrada forem apenas aproximadamente calibradas, as violações de paridade preditiva resultantes são limitadas linearmente por duas vezes o erro máximo de calibração.

Significância e Alegações
O artigo afirma fornecer uma solução rigorosa e exata para um problema onde a simples aplicação de limiares falha em preservar a justiça. Ao alavancar a estrutura geométrica da região viável, os autores permitem que os tomadores de decisão encontrem o trade-off ideal entre acurácia e suficiência usando apenas pontuações pós-processadas.

Os autores enfatizam que seu método não requer acesso a características brutas, rótulos adicionais ou retreinamento do preditor, tornando-o uma ferramenta prática para implantar decisões justas em domínios de alto risco. Eles reconhecem uma limitação: à medida que o número de grupos protegidos aumenta, o requisito de uma interseção não vazia de regiões viáveis torna-se mais restritivo, potencialmente tornando a suficiência exata inviável. Consequentemente, sugerem que trabalhos futuros possam focar em relaxar a suficiência estrita para minimizar as diferenças entre mais de dois grupos. O artigo conclui que sua abordagem oferece uma nova ferramenta para equilibrar a acurácia com desejos sociais no processo de tomada de decisão algorítmica.