The Likelihood Ratio Wall: Structural Limits on Accurate Risk Assessment for Rare Violence

1. Declaração do Problema

O artigo aborda uma barreira estatística fundamental no uso de ferramentas algorítmicas de avaliação de risco pré-processual (como COMPAS, PSA) para prever reincidências violentas raras. Embora essas ferramentas classifiquem milhões de réus anualmente, sua utilidade para decisões de detenção de alto risco é comprometida pela baixa taxa base de reincidência violenta (tipicamente 2–5%).

O problema central é o déficit do Valor Preditivo Positivo (VPP). Juízes e formuladores de políticas frequentemente interpretam um sinal de "alto risco" como implicando uma alta probabilidade de que o indivíduo cometerá violência. No entanto, o artigo argumenta que, devido à raridade do desfecho, mesmo ferramentas com métricas de classificação respeitáveis (como AUC) produzem sinais de "alto risco" que estão incorretos na maioria das vezes. O artigo busca quantificar os limites estruturais da precisão e demonstrar que correções post-hoc (como recalibração) não podem superar esses limites.

2. Metodologia

O artigo emprega uma combinação de dedução teórica, modelagem estatística e validação empírica:

• Dedução Bayesiana: O autor deriva um limite universal que liga a Razão de Verossimilhança (RV), a taxa base ($\pi$) e o VPP usando o teorema de Bayes.
• Provas Teóricas:
  • Invariância de Recalibração: Provar que transformações monótonas de pontuações de risco (usadas na recalibração) preservam a Razão de Verossimilhança e, portanto, não podem melhorar a separação de verdadeiros positivos de falsos positivos.
  • Modelo de Teto de Vigilância: Desenvolver um modelo estilizado de classificadores de "limiar de contagem" (comuns em ferramentas de risco) para demonstrar como a vigilância desigual (superpoliciamento) infla as taxas de falsos positivos em grupos específicos, reduzindo estruturalmente o VPP máximo alcançável para esses grupos, mesmo que as taxas base sejam iguais.
• Validação Empírica:
  • Meta-análise: Revisar a literatura existente sobre AUC e traduzi-la em Razões de Verossimilhança estimadas.
  • Análise de Conjunto de Dados: Utilizar o conjunto de dados COMPAS da ProPublica (Condado de Broward, FL) para calcular sensibilidade real, taxas de falsos positivos e RVs para reincidência violenta.
  • Análise Estratificada: Comparar métricas de desempenho entre grupos raciais para testar a hipótese do "Teto de Vigilância".

3. Principais Contribuições

A. A Parede da Razão de Verossimilhança (Teorema 1)

O artigo formaliza um limite universal de precisão. Ele prova que, para um classificador atingir um VPP específico ($\alpha$) em uma dada taxa base ($\pi$), deve satisfazer uma Razão de Verossimilhança mínima:
$$RV \geq \frac{\alpha}{1-\alpha} \cdot \frac{1-\pi}{\pi}$$

• Implicação: À medida que a taxa base ($\pi$) diminui, a RV necessária aumenta hiperbolicamente.
• Exemplo: Com uma taxa base de 3%, atingir um VPP de 50% (o padrão de "preponderância de evidências") requer uma RV de 32,3. As ferramentas atuais tipicamente alcançam uma RV de apenas 2–6.

B. Invariância de Recalibração (Teorema 3)

O artigo prova que recalibrar pontuações (por exemplo, escalonamento de Platt, regressão isotônica) para corresponder às frequências observadas preserva a ordenação dos indivíduos. Como a Razão de Verossimilhança depende apenas da classificação (sensibilidade versus taxa de falsos positivos) e não dos valores de probabilidade absolutos, a recalibração não pode corrigir o déficit de VPP. Ela melhora a calibração de probabilidade, mas não o poder discriminativo da ferramenta.

C. O Teto de Vigilância (Teorema 4)

O artigo introduz um modelo formal mostrando que o superpoliciamento degrada a precisão preditiva.

• Mecanismo: Em comunidades superpoliciadas, indivíduos acumulam "marcadores de risco" administrativos (por exemplo, prisões anteriores, não comparecimentos) em taxas mais altas devido ao aumento da vigilância, mesmo que não cometam crimes (inflando a distribuição da classe negativa).
• Resultado: Isso aumenta a Taxa de Falsos Positivos (TFP) desproporcionalmente. O teorema prova que, para classificadores de limiar de contagem, a RV máxima alcançável (e, portanto, o VPP) é estruturalmente menor para grupos superpoliciados em comparação com grupos menos policiados, mesmo que as taxas reais de infração subjacentes sejam idênticas.

D. Métrica de Política: Número Necessário para Detenção (NND)

O autor traduz as descobertas estatísticas em uma métrica relevante para políticas públicas: NND = 1/VPP. Isso representa o número de réus que devem ser detidos para prevenir uma ofensa violenta.

• Descoberta: Nos níveis atuais de desempenho, o NND varia de 6 a 13, o que significa que 5 a 12 pessoas inocentes são detidas para cada um ofensor violento prevenido.

4. Principais Resultados

• A "Regra 99 para 1": Com uma taxa base de 1%, uma ferramenta deve ser aproximadamente 99 vezes mais propensa a sinalizar um verdadeiro positivo do que um falso positivo para atingir um VPP de 50%. Dados atuais sugerem que nenhum tal sinal existe em registros de histórico criminal.
• Lacuna Empírica de RV: A análise do conjunto de dados COMPAS mostra uma RV de 4,3 para reincidência violenta. Com uma taxa base realista de 3%, isso resulta em um VPP de apenas 12% (ou seja, 88% de chance de que o sinal de "alto risco" esteja errado).
• Disparidade de Vigilância: Nos dados do COMPAS, réus negros tinham, em média, 1,8 vezes mais fatores de risco do que réus brancos, mas sua Taxa de Falsos Positivos foi 2,9 vezes maior. Essa amplificação superlinear confirma o mecanismo do Teto de Vigilância.
• AUC Enganosa: O artigo demonstra que uma ferramenta pode manter um AUC constante (por exemplo, 0,70) em diferentes taxas base, enquanto o VPP prático de um sinal de "alto risco" cai de ~70% (em taxa base de 50%) para ~10% (em taxa base de 3%).

5. Significado e Implicações

• Impossibilidade Estrutural: A incapacidade das ferramentas atuais de apoiar decisões de detenção individualizadas de alta confiança não é um defeito de algoritmos específicos, mas uma limitação estrutural dos dados. Os recursos disponíveis (histórico criminal) não contêm sinal suficiente para superar a taxa base da violência rara.
• Justiça Além das Métricas: O artigo argumenta que debates focados exclusivamente em métricas de justiça (por exemplo, equalizar taxas de falsos positivos entre grupos) são incompletos. Mesmo que os grupos sejam tratados igualmente pelo algoritmo, a vigilância desigual cria um "Teto de Vigilância" que torna a previsão de alta precisão impossível para grupos superpoliciados.
• Recomendações de Política:
  1. Transparência: Relatórios de risco devem divulgar explicitamente a incerteza (por exemplo, "Este sinal está correto apenas 1 em 9 vezes").
  2. Mudança de Métrica: A divulgação deve migrar do AUC para VPP, RV e NND.
  3. Rotulagem: Rótulos de "Alto Risco de Violência" não devem ser usados para apoiar decisões de detenção de alta confiança quando o VPP estiver abaixo de 20%.
  4. Cautela com Dados: O artigo alerta contra o uso dessas descobertas para justificar mais coleta de dados invasiva, argumentando, em vez disso, pela transparência sobre os limites dos dados atuais.

Em conclusão, o artigo estabelece que, para desfechos violentos raros, a "Parede da Razão de Verossimilhança" impede que as ferramentas atuais de avaliação de risco forneçam o nível de certeza necessário para decisões que privam a liberdade, um problema exacerbado por disparidades sistêmicas de vigilância que nenhum ajuste algorítmico pode atualmente resolver.