🤖 machine learning

Model Multiplicity and Predictive Arbitrariness in Recidivism Risk Assessment

Este artigo investiga a arbitrariedade preditiva na avaliação de risco de reincidência ao demonstrar que, apesar da existência de múltiplos modelos com acurácia semelhante, suas previsões frequentemente exibem concordância substancial na prática, e propõe uma política de atribuir a pontuação de risco mais baixa entre esses modelos como uma solução eficaz para mitigar inconsistências na tomada de decisão.

Autores originais: Ashwin Singh, Carlos Castillo

Publicado 2026-06-02

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Ashwin Singh, Carlos Castillo

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um juiz tentando decidir se um prisioneiro deve ser libertado antecipadamente. Você tem um programa de computador que fornece uma "pontuação de risco" ao prisioneiro para prever se ele cometerá outro crime. Esta é a situação real que o artigo aborda, focando especificamente em um sistema usado na Catalunha, Espanha, chamado RisCanvi.

Aqui está a história do artigo, dividida em conceitos e analogias simples.

1. O Problema: O Efeito "Rashomon"

No filme Rashomon, quatro testemunhas diferentes contam quatro histórias completamente diferentes sobre o mesmo crime, mas todas as histórias parecem plausíveis.

Os autores descobriram que os modelos de aprendizado de máquina sofrem do mesmo problema. Ao tentar prever se um prisioneiro voltará a delinquir, não existe apenas uma "fórmula matemática correta". Existem muitas fórmulas diferentes que são igualmente boas em prever o passado.

O Problema: Se você tem duas fórmulas igualmente inteligentes, mas elas dão respostas diferentes para a mesma pessoa (uma diz "Baixo Risco", a outra diz "Alto Risco"), a decisão torna-se arbitrária. Parece que se está jogando um dado para decidir o futuro de alguém. Isso é chamado de Multiplicidade Preditiva.

2. A Solução: Limpar os Dados Primeiro

Antes de construir fórmulas melhores, os autores perceberam que o "livro didático" que o computador estava estudando estava bagunçado.

O Jeito Antigo: O sistema atual (RisCanvi) foi treinado com dados que muitas vezes estavam desatualizados ou rotulados incorretamente porque era difícil rastrear se alguém realmente cometeu um novo crime após a libertação (devido a atrasos legais). Era como tentar aprender a dirigir usando um mapa de 1990.
O Novo Jeito: Os autores trabalharam com especialistas jurídicos para escrever um programa de computador que seguisse estritamente as complexas regras legais para rotular os dados corretamente. Eles criaram um conjunto massivo e limpo de dados de 17.500 prisioneiros. É como dar ao computador um novo GPS de alta definição.

3. Construindo Melhores Modelos: O "Placar Justo"

Usando esses dados limpos, os autores construíram novos modelos. Eles não queriam apenas que fossem precisos; eles queriam que fossem justos e lógicos.

Lógica: Eles garantiram que o modelo seguisse o senso comum: se um prisioneiro obtém um diploma ou aprende um ofício (reabilitação), sua pontuação de risco deve diminuir. Se ele tiver maus hábitos, a pontuação sobe.
Justiça: Eles garantiram que o modelo não punisse injustamente grupos específicos (como estrangeiros vs. locais) mais do que outros.

4. A Grande Descoberta: "Muitos Caminhos, Mesmo Destino"

Esta é a parte mais surpreendente do artigo. Os autores reuniram um grande grupo desses modelos "igualmente inteligentes e justos" (um "Conjunto Rashomon") e perguntaram: Eles discordam entre si?

A Resposta: Não.

A Analogia: Imagine um grupo de 100 navegadores especialistas tentando guiar um navio através de um mar com neblina. Você poderia esperar que todos apontassem em direções diferentes. Em vez disso, os autores descobriram que, 91% das vezes, todos os 100 navegadores concordavam exatamente com a mesma direção.
O Detalhe: Eles só discordavam nos poucos casos que estavam exatamente no limite da "neblina" (a fronteira de decisão). Para a grande maioria dos prisioneiros, os modelos estavam em total acordo.
A Lição: Só porque existem muitas fórmulas matemáticas diferentes, não significa que as previsões sejam caóticas. A "arbitrariedade" é muito menor do que a teoria sugere.

5. A Solução: A Regra do "Benefício da Dúvida"

Então, o que fazer com o pequeno grupo de prisioneiros onde os modelos realmente discordam?
Os autores propõem uma política simples chamada Política de Menor Risco (ou Favor Rei, um princípio jurídico que significa "favor ao réu").

Como funciona: Se o Modelo A diz "Alto Risco" e o Modelo B diz "Baixo Risco", você simplesmente escolhe a pontuação de Baixo Risco.
Por que funciona: Funciona como uma rede de segurança. Garante que, se houver qualquer dúvida, o prisioneiro receba o benefício da dúvida.
O Resultado: Esta regra simples tornou o sistema de fato mais preciso e mais justo do que usar um único modelo complexo ou a média de todos os modelos. Ela reduziu o número de pessoas erroneamente rotuladas como alto risco sem deixar pessoas perigosas escaparem.

Resumo

O artigo argumenta que não precisamos temer o fato de haver muitos modelos de IA para prever o crime.

Limpe seus dados primeiro (pare de usar mapas bagunçados e antigos).
Construa modelos que sejam justos e lógicos.
Perceba que, mesmo com muitos modelos diferentes, eles geralmente concordam com a resposta.
Quando eles discordarem, use uma regra simples: Escolha a opção mais segura, de menor risco.

Esta abordagem transforma uma confusão de previsões "arbitrárias" em uma ferramenta confiável, justa e lógica para o sistema de justiça.

Resumo Técnico: Multiplicidade de Modelos e Arbitrariedade Preditiva na Avaliação de Risco de Reincidência

Definição do Problema

O artigo aborda o desafio da multiplicidade preditiva (frequentemente referida como o Efeito Rashomon) na avaliação de risco de reincidência criminal em contextos de alto impacto. Em tarefas de predição ruidosas, frequentemente existem múltiplos modelos com acurácia comparável, embora estes possam produzir previsões divergentes para o mesmo indivíduo. Isso cria uma arbitrariedade preditiva, levantando preocupações sobre a justiça e a consistência na tomada de decisão judicial.

Especificamente, os autores investigam o sistema RisCanvi, uma ferramenta de suporte à decisão utilizada na Catalunha desde 2009. O sistema atual enfrenta vários problemas críticos:

Qualidade dos Dados: Dependência de dados de treinamento desatualizados e rotulagem manual complexa e propensa a erros da reincidência (distinguindo entre reencarceramento por novos crimes versus violações técnicas ou sentenças pré-existentes).
Disparidades de Desempenho: O modelo de regressão logística existente exibe altas taxas de falsos negativos e disparidades significativas nas taxas de erro entre grupos demográficos (ex: nacionais vs. estrangeiros).
Falta de Monotonicidade: O sistema atual não garante que o progresso reabilitativo (características dinâmicas) leve a pontuações de risco mais baixas, um requisito para incentivos de reabilitação justos.
Arbitrariedade: Mesmo que um modelo "menos discriminatório" seja encontrado, a existência de um "Conjunto Rashomon" (um conjunto de modelos com desempenho semelhante) implica que diferentes modelos válidos poderiam gerar pontuações de risco distintas para o mesmo detento, minando a confiabilidade da avaliação.

Metodologia

1. Construção do Conjunto de Dados

Os autores desenvolveram um algoritmo de rotulagem rigoroso para construir um conjunto de dados de alta qualidade de 17.542 liberações de detentos de prisões catalãs (2010–2019).

Processo de Rotulagem: Eles traduziram regras jurídicas complexas que definem a "reincidência penal" (sentença de prisão por um novo crime) em um algoritmo iterativo. Este algoritmo foi refinado através de colaboração com especialistas em execução de sentenças até coincidir com as anotações de especialistas humanos.
Características: O conjunto de dados inclui 43 características por liberação (20 estáticas, ex: idade no início; 23 dinâmicas, ex: nível de escolaridade) da última avaliação do detento.
Divisão: Uma divisão cronológica de treino-teste foi utilizada (Treino: 2010–2018; Teste: 2019) para garantir a validade temporal.

2. Estrutura de Otimização (FairSLIM)

Os autores propõem uma estrutura de Programação Linear Inteira Mista (MILP) de dois passos:

Passo 1: SLIM com Monotonicidade: Eles utilizam a formulação SLIM (Modelo Inteiro Supersparso) para aprender um sistema de pontuação linear inteiro. Crucialmente, eles impõem restrições de monotonicidade ao restringir os coeficientes das características a inteiros não negativos. Isso garante que características estáticas adversas aumentem o risco, enquanto características dinâmicas positivas (progresso reabilitativo) diminuam o risco.
Passo 2: Explorando o Conjunto Rashômico: Baseando-se no trabalho de Langlade et al. (2025), eles buscam o Conjunto $\epsilon$ -Rashômico (modelos com risco empírico dentro de $\epsilon$ $ϵ$ do ótimo) em busca de Modelos Menos Discriminatórios (LDMs).
- Eles generalizam a busca para $m > 2$ grupos demográficos.
- Eles minimizam a violação de Igualdade de Oportunidades ( $\Delta EO$ ), definida como a disparidade máxima pareada nas Taxas de Falsos Positivos (FPR) e Taxas de Falsos Negativos (FNR) entre os grupos.
- Eles otimizam isso rastreando o min/max de FPR/FNR entre os grupos, reduzindo as restrições de justiça de $O(m^2)$ para $O(m)$ .

3. Analisando a Multiplicidade Preditiva

Para quantificar a arbitrariedade, os autores estendem o conceito de autoconsistência (Cooper et al., 2024) ao Conjunto Rashômico:

Definição: Para um conjunto finito de modelos $P$ , a autoconsistência $SCP(x)$ é a probabilidade de dois modelos extraídos uniformemente ao acaso de $P$ concordarem na previsão para a instância $x$ .
Limite Teórico: Eles derivam um limite inferior apertado para a autoconsistência esperada (Proposição 1) baseado na perda média de 0-1 do pool de modelos. Este limite representa o pior cenário para concordância.
Avaliação de Política: Eles avaliam três políticas para resolver a multiplicidade:
1. Ensemble (Agrupamento): Médias das previsões.
2. Seleção Aleatória: Escolher um modelo aleatório para cada instância.
3. Política de Menor Risco (LRP): Atribuir ao detento a menor pontuação de risco prevista por qualquer modelo no pool (alinhando-se ao princípio favor rei).

Principais Resultados

1. Desempenho Preditivo e Justiça

Superioridade sobre Baselines: Os modelos propostos (SLIM e FairSLIM) superam significativamente o modelo operacional RisCanvi. Embora o RisCanvi alcance alta acurácia ao prever a classe majoritária, ele sofre com uma alta taxa de falsos negativos (84,7%) e baixa acurácia balanceada (56,2%).
Modelos Interpretáveis: Os novos modelos lineares inteiros alcançam acurácias balanceadas de ~70–73% e reduzem a taxa de falsos negativos em mais de 65%.
Justiça: A busca por LDMs dentro de 1% do risco ótimo ( $\epsilon \le 0,01$ ) reduz a disparidade máxima de taxa de erro ( $\Delta EO$ ) entre subgrupos para 5% no conjunto de teste. Este desempenho é comparável ou superior a um baseline complexo de CatBoost, mantendo a interpretabilidade.

2. Multiplicidade Preditiva e Autoconsistência

Alta Concordância: Apesar da existência de muitos modelos estruturalmente diversos (com coeficientes variados para características estáticas e dinâmicas), a autoconsistência observada é de 91%. Isto é significativamente superior ao limite inferior teórico de pior caso (0,53).
Localização do Desacordo: O desacordo preditivo concentra-se quase exclusivamente em instâncias próximas à fronteira de decisão (instâncias de margem baixa). Para instâncias de margem alta, os modelos concordam perfeitamente.
Diversidade Estrutural vs. Concordância Preditiva: O estudo demonstra que uma alta diversidade estrutural (coeficientes diferentes) não se traduz necessariamente em severa multiplicidade preditiva.

3. Eficácia da Política de Menor Risco

A Política de Menor Risco (FairSLIM-LRP) atribui a menor pontuação de risco entre o pool de modelos válidos para cada detento.
Desempenho: Esta política atinge a maior acurácia balanceada (71,2%) entre todos os mecanismos de resolução testados (incluindo ensemble e seleção aleatória) enquanto mantém paridade de erro comparável.
Implicação: Ao selecionar o resultado mais favorável entre os modelos válidos, o sistema reduz a arbitrariedade sem sacrificar a utilidade preditiva ou a justiça.

Significância e Alegações

O artigo reivindica várias contribuições para o campo da justiça algorítmica e avaliação de risco:

Generalização de Restrições de Justiça: Generaliza a busca por modelos menos discriminatórios no Conjunto Rashômico para $m > 2$ subgrupos com apenas $O(m)$ restrições adicionais, tornando-a computacionalmente viável para partições demográficas complexas.
Limite Teórico de Arbitrariedade: Fornece um limite inferior apertado para a autoconsistência esperada de qualquer conjunto finito de classificadores binários, oferecendo um benchmark teórico para comparar contra a concordância empírica.
Estudo de Caso Real: Apresenta o primeiro estudo real de multiplicidade preditiva na avaliação de risco de reincidência, indo além de simulações teóricas para um sistema implantado (RisCanvi).
Recomendação de Política: Propõe e valida uma Política de Menor Risco como um mecanismo eficaz para resolver a arbitrariedade preditiva. Esta abordagem alinha-se ao princípio jurídico de favor rei (na dúvida, a favor do réu) e ao princípio da anti-subordinação, abordando vieses sistêmicos ao escolher ativamente a previsão menos punitiva entre as válidas.
Impacto da Qualidade dos Dados: O trabalho destaca como a automação da rotulagem de resultados pós-liberação usando regras legais gera um conjunto de dados 17 vezes maior que o conjunto de treinamento atual, melhorando materialmente o desempenho e a justiça do modelo.

Os autores concluem que, embora a multiplicidade de modelos seja uma preocupação teórica, na prática, a arbitrariedade resultante é frequentemente limitada a uma pequena fração de casos próximos à fronteira de decisão. Portanto, políticas simples e fundamentadas como a Política de Menor Risco podem mitigar eficazmente a arbitrariedade, preservando os benefícios de explorar um conjunto diverso de modelos justos.