Proxy Discrimination After Students for Fair Admissions

1. O Problema

O artigo aborda o desafio legal e técnico de combater a discriminação indireta (ou disparate impact) em sistemas de decisão automatizados e humanos, especialmente após a decisão da Suprema Corte dos EUA no caso Students for Fair Admissions v. Harvard (SFFA).

• A Lacuna Legal: Embora a lei proíba a discriminação direta baseada em classes protegidas (raça, sexo, etc.), algoritmos e comitês de decisão podem contornar essas proibições utilizando variáveis de proxy (variáveis neutras na superfície, mas altamente correlacionadas com classes protegidas). Exemplos incluem usar "código postal" ou "escola de ensino médio" para inferir raça, ou "histórico militar" para inferir estado civil.
• A Ambiguidade: A lei atual não possui um teste claro para regular o uso de variáveis que atuam como proxies. A Corte SFFA permitiu que universidades considerassem como a raça afetou a vida de um candidato (ex: superação de discriminação), mas proibiu o uso direto da raça. Isso cria um espaço onde variáveis neutras, mas correlacionadas, podem ser usadas para atingir objetivos de diversidade ou lucro, potencialmente mascarando discriminação.
• O Dilema da Eficiência vs. Equidade: Existe uma tensão entre a precisão preditiva de um modelo (ex: prever inadimplência de empréstimos ou desempenho acadêmico) e a discriminação indireta que ele pode gerar. A questão central é: como determinar quando o uso de um proxy é justificável e quando deve ser eliminado em favor de uma alternativa menos discriminatória?

2. Metodologia e Conceitos Fundamentais

O autor desenvolve uma estrutura teórica baseada em estatística e economia do direito para quantificar e regular a discriminação por proxy.

• Definição de Proxy Power (Poder de Proxy): O artigo define o "poder de proxy" de um modelo como a medida de quanto uma variável proibida (ex: raça) explica indiretamente a variação no resultado (ex: aprovação de empréstimo) através de variáveis neutras.
  • Substitutos Perfeitos: Variáveis que preveem a classe protegida em 100% dos casos (ex: um código postal que corresponde exatamente a uma escola segregada).
  • Substitutos Imperfeitos: Variáveis com correlação parcial. O autor sugere medir isso usando R-quadrado (R²) ou R-quadrado parcial em análises de regressão.
• Cálculo do Poder Total de Proxy: A metodologia envolve:
  1. Rodar um modelo preditivo com variáveis neutras.
  2. Adicionar a variável protegida (raça/sexo) ao modelo.
  3. Medir o aumento no R² (a variação adicional explicada).
  4. Se a adição da variável protegida aumenta significativamente o poder explicativo do modelo, isso indica que as variáveis neutras originais estavam atuando como proxies fortes.
• Abordagem Comparativa: A metodologia não busca um padrão absoluto de "zero discriminação", mas sim uma comparação relativa entre diferentes modelos ou políticas que visam o mesmo objetivo legítimo.

3. Principais Contribuições

O artigo propõe três testes legais específicos para regular o uso de proxies, além de discutir a alocação de ônus da prova:

A. Regra de Proibição de Proxy (The No Proxy Rule)

Aplicável apenas a substitutos perfeitos ou quase perfeitos. Se uma variável neutra substitui uma classe protegida com alta precisão e não há outra variável disponível que atinja o mesmo objetivo sem essa correlação, seu uso deve ser proibido, pois equivale a discriminação direta disfarçada.

B. Padrão de Poder de Proxy Mínimo Comparativo (The Comparative Minimum Proxy Power Standard)

Esta é a contribuição central. A lei deve exigir que, entre dois modelos que alcançam o mesmo objetivo legítimo (ex: lucro, diversidade, risco de crédito) com a mesma precisão preditiva, o modelo com o menor poder de proxy total seja escolhido.

• Mecanismo: Se um modelo usa "código postal" e outro usa "histórico militar" para prever risco de crédito, e ambos têm 95% de precisão, mas o primeiro tem um poder de proxy racial de 0,08 e o segundo de 0,05, o segundo deve ser adotado.
• Flexibilidade: Se a remoção do proxy reduzir ligeiramente a precisão, o autor sugere que a perda deve ser ponderada contra o ganho de equidade.

C. Regra de Teto de Poder de Proxy (The Capped Proxy Power Rule)

Para lidar com a dificuldade de medir pequenas diferenças de precisão e o custo administrativo de análises caso a caso, o autor propõe o estabelecimento de tetos (caps) de poder de proxy.

• Se a diferença no poder de proxy entre dois modelos estiver abaixo de um limiar estatístico aceitável (ex: 5% de variação no R²), o modelo com menos variáveis ou menor complexidade pode ser aceito.
• Isso reduz os custos de litígio e incentiva os agentes a parar de buscar alternativas infinitas, desde que o modelo esteja dentro do limite seguro.

D. O Desafio de Objetivos Não Medidos

O autor argumenta que a minimização de proxies só é possível se o objetivo do modelo for explícito e mensurável.

• Em empréstimos, o objetivo é claro (reembolso).
• Em admissões universitárias, objetivos como "liderança" ou "diversidade de ideias" são vagos. O artigo sugere que a lei deve exigir que instituições definam objetivos mensuráveis para permitir a comparação técnica de modelos.

E. Ônus da Prova e Competição de Algoritmos

O artigo defende que o ônus de produzir uma alternativa menos discriminatória deve permanecer com o autor da ação (plaintiff), mas com uma condição crucial: o acesso aos dados de teste.

• Competição de Algoritmos: Em vez de o réu ter que provar que não há alternativas (o que é caro e propenso a má-fé), o autor deve desenvolver seu próprio algoritmo usando dados de teste (sintéticos ou públicos) e demonstrar que ele atinge o mesmo objetivo com menos poder de proxy.
• Isso transforma o litígio em uma competição técnica onde o "melhor" algoritmo (mais preciso e menos discriminatório) vence.

4. Resultados e Implicações Práticas

• Viabilidade Técnica: O artigo demonstra que, com grandes conjuntos de dados e poder computacional, é tecnicamente viável identificar variáveis de proxy e medir seu impacto exato (via R² parcial), tornando a discriminação indireta quantificável.
• Solução para Opacidade: Para decisões humanas (comitês) ou algoritmos de "caixa preta" onde os inputs não são visíveis, a metodologia de competição de algoritmos permite que o autor proponha um modelo transparente que replique o resultado do réu. Se o modelo do autor tiver o mesmo resultado com menos proxy, o modelo do réu é considerado ilegal, independentemente de como a decisão foi tomada internamente.
• Prevenção de "Retrofitting": O autor alerta que instituições podem tentar "reconstruir" (retrofit) justificativas após o fato para parecerem menos discriminatórias. A solução proposta é a pré-comprometimento (anunciar o algoritmo antes da decisão) ou limitar o número de variáveis permitidas.

5. Significado

O artigo é significativo porque:

1. Moderniza a Lei Antidiscriminação: Transita de uma análise baseada em intenção subjetiva para uma análise baseada em eficiência estatística e custo social.
2. Responde ao Caso SFFA: Oferece um caminho legal para universidades e empresas buscarem diversidade ou lucro sem violar a proibição de uso direto de raça, desde que utilizem os métodos "menos discriminatórios" disponíveis.
3. Proporciona Segurança Jurídica: Ao sugerir o uso de "tetos" e padrões comparativos, o autor oferece uma estrutura que reduz a incerteza judicial e os custos de litígio, incentivando a inovação em algoritmos justos.
4. Muda o Foco da Prova: Desloca o foco da descoberta de "provas de intenção" para a demonstração de "alternativas tecnicamente viáveis", alinhando a lei com a realidade da ciência de dados moderna.

Em suma, Fagan argumenta que a discriminação por proxy não deve ser combatida apenas com proibições cegas, mas através de uma otimização comparativa, onde a sociedade exige que os decisores utilizem a ferramenta menos discriminatória possível para atingir seus objetivos legítimos.