Confronting Label Indeterminacy in Automated Bail Decisions

Resumo Técnico: Enfrentando a Indeterminação de Rótulos em Decisões Automatizadas de Liberdade Provisória

Declaração do Problema
Sistemas automatizados de apoio à decisão para liberdade provisória enfrentam uma limitação fundamental de dados conhecida como indeterminação de rótulos. Em contextos de julgamento prévio, o resultado contrafactual — se o réu teria comparecido ao tribunal se tivesse sido liberado — não é observado quando a liberdade provisória é negada e o réu é detido. Consequentemente, os conjuntos de dados históricos contêm indeterminação estrutural: o resultado observado (comparecimento ao tribunal) é uma consequência direta da decisão de detenção, e não da propensão subjacente do réu de comparecer. Treinar modelos de aprendizado de máquina com tais dados sem abordar essa indeterminação corre o risco de incorporar vieses estruturais e reforçar ciclos de retroalimentação, uma vez que os modelos aprendem com resultados que são parcialmente determinados pelas próprias decisões que visam prever.

Metodologia
Os autores conduziram um estudo de caso utilizando 90.732 processos judiciais anonimizados do Sistema Judicial Unificado da Pensilvânia (2016–2020). A variável alvo é a Falta de Comparecimento (FTA). O estudo define rótulos "indeterminados" como casos em que uma intervenção (detenção prévia) altera o resultado observado, tornando a verdadeira propensão do réu inobservável. Isso inclui casos em que a liberdade provisória foi negada, fixada mas não paga, parcialmente garantida, ou onde as fianças foram encerradas por motivos outros que não a não-aparência.

Para investigar o impacto do tratamento desses rótulos, os autores:

1. Definiram Cinco Estratégias de Imputação:

   • Rótulos corretos ($corr$): Mantém os rótulos originais (comparecimento) para réus detidos, assumindo que teriam comparecido se liberados.
   • Detenção como falha ($daf$): Atribui um rótulo de FTA a todos os réus detidos, assumindo que a detenção reflete uma previsão precisa de não-aparência.
   • Apenas observado ($obs$): Exclui todos os casos indeterminados, treinando apenas em casos em que a liberdade provisória foi concedida.
   • Observado + Inverso da Propensão ($obs\_ip$): Treina em casos observados, mas aplica ponderação por propensão inversa para corrigir o viés da amostra, assumindo que todos os fatores que influenciam as decisões de liberdade provisória estão capturados nos dados.
   • Vizinho mais próximo ($nn$): Imputa rótulos para réus detidos com base nos resultados dos casos mais semelhantes em que a liberdade provisória foi concedida ($k=52$).

2. Configuração Experimental:

   • Três modelos de aprendizado de máquina foram treinados: Regressão Logística, Random Forest e XGBoost.
   • O conjunto de dados foi dividido em um conjunto de teste (20%) e 25 subconjuntos de treinamento balanceados (via subamostragem da classe minoritária FTA).
   • Atributos sensíveis (raça, sexo) foram mantidos para refletir distribuições de dados do mundo real, enquanto características pós-decisão (valor da fiança, status) foram excluídas.
   • Um total de 348 modelos foi treinado (3 modelos × 5 métodos × 25 subconjuntos).

3. Avaliação:

   • O desempenho preditivo foi medido usando o Coeficiente de Correlação de Matthew (MCC) em casos de teste determináveis e indeterminados.
   • O comportamento preditivo foi analisado por meio de distribuições de previsão (gráficos de violino) e distâncias de Wasserstein.
   • Processos internos de tomada de decisão foram examinados usando técnicas de IA Explicável (XAI), especificamente pontuações de importância de características (métrica de ganho) para o modelo XGBoost.

Principais Resultados

• Impacto da Imputação vs. Escolha do Modelo: A escolha do método de imputação de rótulos teve um impacto mais substancial no comportamento do modelo e nas distribuições de previsão do que a escolha do próprio algoritmo de aprendizado de máquina. Testes estatísticos (distância de Wasserstein, Kolmogorov–Smirnov) confirmaram que métodos como $corr$, $daf$e$nn$ produziram distribuições significativamente distintas em comparação com $obs$e$obs_ip$.
• Variância de Desempenho:
  • Os métodos $obs$, $obs\_ip$ e $nn$ apresentaram melhor desempenho em casos de teste determináveis, mas pior desempenho em casos indeterminados.
  • O método $corr$ apresentou o pior desempenho em casos determináveis, mas o melhor em casos indeterminados, pois é o único método que preserva os rótulos originais para réus detidos.
• Tomada de Decisão Interna: A análise XAI revelou que diferentes métodos de imputação alteraram as classificações internas de importância das características. Embora características centrais (por exemplo, crime principal, tipo de advogado) permanecessem significativas entre os métodos, a importância relativa de outras características mudou dependendo da estratégia de imputação, indicando que o tratamento de rótulos altera fundamentalmente como os modelos utilizam as informações do caso.
• Mudanças de Distribuição: Os métodos $obs$e$obs_ip$ produziram distribuições de previsão semelhantes, sugerindo que a ponderação por propensão inversa não alterou significativamente a saída do modelo neste contexto específico em comparação com a simples exclusão.

Significado e Alegações
O artigo argumenta que a indeterminação de rótulos não é meramente uma questão técnica de dados, mas uma questão normativa. Os autores afirmam que:

1. Escolhas Técnicas são Normativas: Cada método de imputação codifica uma concepção específica de justiça e governança de risco. Por exemplo, $corr$ valida implicitamente a detenção preventiva como substituto para avaliação individualizada de risco, enquanto $daf$ trata decisões passadas de detenção como evidência confiável de risco, potencialmente criando profecias autorrealizáveis.
2. Suposições Inverificáveis: Todos os métodos dependem de suposições inverificáveis sobre resultados contrafactuais. Nenhuma abordagem única pode ser definitivamente provada como correta, no entanto, cada uma influencia significativamente o comportamento preditivo e a equidade.
3. Riscos de Prestação de Contas: Ajustes estatísticos (como $obs\_ip$ e $nn$) podem criar uma "confiança tecnocrática" onde inferências probabilísticas substituem observações legais ausentes, potencialmente minando a capacidade dos réus de contestar decisões baseadas em rótulos contrafactuais.
4. Implicações de Design: O estudo demonstra que escolhas metodológicas relativas ao tratamento de rótulos podem ser mais críticas do que a seleção do modelo. Portanto, desenvolvedores de sistemas de apoio à decisão de liberdade provisória devem reconhecer explicitamente as implicações legais e filosóficas de como tratam rótulos indeterminados, em vez de considerá-los meros problemas algorítmicos.

Os autores concluem que abordar adequadamente a indeterminação de rótulos é crucial para a legitimidade, equidade e prestação de contas dos sistemas automatizados de liberdade provisória, incentivando uma mudança de ver essas questões como lacunas técnicas para reconhecê-las como locais de discurso legal e moral.