Triage Score: A Counterfactual Risk Assessment Instrument

Resumo Técnico: Pontuação de Triagem: Um Instrumento de Avaliação de Risco Contrafactual

Definição do Problema
Instrumentos de avaliação de risco (pontuações de risco) são amplamente implementados em domínios de alto risco, como a justiça criminal e a medicina, para prever a probabilidade de um desfecho indesejado (ex.: reincidência ou doença) sob uma decisão basal de não intervenção. Embora pontuações altas geralmente desencadeiem intervenções (ex.: fiança ou cuidados intensivos), essa abordagem sofre de um desalinhamento fundamental com a maximização do bem-estar. As pontuações de risco preveem desfechos apenas sob um único cenário basal (não intervenção), falhando em considerar os desfechos contrafatuais sob decisões alternativas. Consequentemente, elas não conseguem distinguir entre indivíduos para os quais uma intervenção alteraria significativamente os desfechos e aqueles para os quais ela não o faria. Essa limitação obscurece compensações éticas e práticas, como o arrependimento associado à detenção desnecessária de um indivíduo que não teria reincidido se tivesse sido libertado. Os frameworks existentes dependem frequentemente de "rótulos seletivos" (desfechos observados apenas para aqueles que receberam uma decisão específica), o que complica a avaliação de políticas alternativas.

Metodologia
Os autores propõem um framework baseado em pontuações de triagem, uma classe de instrumentos de avaliação de risco contrafatuais projetados para alinhar a tomada de decisão com o objetivo de maximizar a utilidade esperada. Diferente das pontuações de risco padrão que dependem exclusivamente do desfecho potencial basal $Y(d_0)$, as pontuações de triagem são construídas a partir de utilidades contrafatuais aditivas que dependem da distribuição conjunta dos desfechos potenciais sob decisões alternativas.

1. Framework de Utilidade Contrafatual:

   • O framework utiliza estratificação principal (Frangakis e Rubin, 2002), definindo estratos baseados na distribuição conjunta dos desfechos potenciais $(Y(0), Y(1), \dots, Y(K_D-1))$. Em um cenário binário, esses estratos incluem: Seguro (sem desfecho sob qualquer decisão), Reação Adversa (desfecho apenas sob intervenção), Prevenível (desfecho apenas sob não intervenção) e Sem Esperança (desfecho sob qualquer decisão).
   • As utilidades são definidas de forma aditiva: $u(d, y) = u^d_{y_d} + \sum_{d' \neq d} \tilde{u}^{d'}_{y_{d'}}$. O primeiro termo representa a utilidade padrão do desfecho realizado, enquanto o segundo termo captura a utilidade contrafatual (ou "arrependimento") associada ao desfecho que teria ocorrido sob uma decisão alternativa $d'$.
   • Essa estrutura aditiva permite que o framework distinga entre casos onde uma intervenção é genuinamente preventiva versus casos onde ela é desnecessária (ex.: impor fiança a um réu "Seguro").

2. Identificação e Estimação:

   • Sob a suposição de ausência de confusão (independência condicional de desfechos potenciais e decisões dados os covariáveis observados), os autores estabelecem que a utilidade contrafatual esperada é identificável pontualmente, mesmo sem observar a distribuição conjunta completa dos desfechos potenciais.
   • O artigo utiliza estimadores de Ponderação de Probabilidade Inversa Aumentada (AIPW) para estimar as utilidades esperadas. Esta abordagem é duplamente robusta, exigindo a estimação consistente tanto do modelo de decisão (propensão da decisão do juiz) quanto do modelo de desfecho.
   • Para lidar com dados de texto de alta dimensão e não estruturados (especificamente, declarações de causa provável) que confundem as decisões judiciais, os autores integram a Inferência Baseada em GenAI (GPI). Utilizando modelos de linguagem de grande escala (ex.: Llama3) e arquiteturas como DragonNet, eles extraem deconfundidores de baixa dimensão do texto para ajustar a heterogeneidade não observada, satisfazendo a suposição de ausência de confusão de forma mais plausível do que apenas com covariáveis estruturadas.

3. Aprendizado de Política:

   • O framework permite o aprendizado de regras de decisão ótimas ao resolver um problema de maximização de utilidade empírica. Para decisões binárias, isso é reformulado como um problema de classificação ponderada; para decisões multiclasse, envolve a seleção da decisão com a maior utilidade esperada estimada para cada perfil de covariável.

Aplicação Empírica e Resultados
A metodologia é aplicada a um ensaio controlado randomizado (ECR) em Utah avaliando o Public Safety Assessment (PSA), uma pontuação de risco pré-julgamento. Neste estudo, juízes foram designados aleatoriamente para receber ou não recomendações do PSA. O conjunto de dados inclui 9.855 casos de primeira prisão com desfechos medidos como Nova Atividade Criminal (NCA), Nova Atividade Criminal Violenta (NVCA) e Falha em Comparecer (FTA).

• Especificação de Utilidade: Os autores definem parâmetros de utilidade incorporando o custo das decisões (ex.: custo da fiança), o custo de desfechos indesejáveis e parâmetros de arrependimento para desfechos contrafatuais.
• Análise Comparativa: O estudo compara três sistemas: Humano sozinho, Humano com PSA, e uma política de Árvore de Decisão Ótima derivada do framework de pontuação de triagem.
• Principais Descobertas:
  • Sensibilidade aos Parâmetros de Utilidade: A regra de decisão preferida (Humano vs. Humano+PSA) é altamente sensível à especificação dos parâmetros de utilidade, particularmente ao custo da fiança e ao arrependimento associado à detenção desnecessária.
  • Divergência de Pontuações de Risco: Sob o framework de pontuação de risco padrão (que colapsa os estratos baseando-se no risco basal), a política ótima frequentemente difere significativamente daquela derivada sob o framework de pontuação de triagem. O framework de pontuação de triagem identifica que a fiança pode ser contraproducente para réus "Seguros" (aqueles que não reincidiriam independentemente), uma nuance perdida na pontuação de risco padrão.
  • Implicações de Política: A análise demonstra que as conclusões sobre o valor das recomendações algorítmicas não são absolutas, mas dependem do peso ético colocado nos desfechos contrafatuais. Por exemplo, quando o arrependimento por detenção desnecessária é alto, o framework de triagem frequentemente favorece políticas que reduzem o uso de fiança em comparação com as abordagens baseadas em risco padrão.

Contribuições e Significância
O artigo apresenta três contribuições principais:

1. Generalização Teórica: Introduz a pontuação de triagem como uma generalização das pontuações de risco padrão, mudando o foco da previsão de um único desfecho basal para a avaliação de decisões baseadas na distribuição conjunta dos desfechos potenciais. Isso permite a incorporação explícita de considerações éticas como o arrependimento.
2. Avanço Metodológico: Fornece um framework de decisão teórica estatística para avaliar e aprender políticas ótimas sob utilidades contrafatuais, estabelecendo resultados de identificação sob ausência de confusão e desenvolvendo estimadores semiparamétricos (AIPW) que acomodam confundidores de texto de alta dimensão via GenAI.
3. Demonstração Empírica: Através do ECR de Utah, o artigo ilustra que as avaliações convencionais de pontuações de risco podem gerar recomendações de políticas substantivamente distintas e potencialmente subótimas em comparação com as abordagens baseadas em triagem. Destaca que a "melhor" regra de decisão é contingente à estrutura de utilidade (compensações éticas e práticas) escolhida pelo tomador de decisão.

Alegações e Limitações
Os autores posicionam a pontuação de triagem não como uma ferramenta específica para um único cenário, mas como um framework geral de suporte à decisão. Eles declaram explicitamente que não desenvolvem uma pontuação de triagem específica para a aplicação de Utah, mas sim demonstram a capacidade do framework de capturar estruturas de utilidade ricas. O artigo reconhece que a validade dos resultados depende da suposição de ausência de confusão, que é tornada plausível em sua aplicação pela disponibilidade de informações judiciais completas (incluindo declarações de causa provável) e pelo uso de GPI para ajustar os confundidores baseados em texto. Os autores sugerem que trabalhos futuros devem focar na elicitação de parâmetros de utilidade no mundo real com formuladores de políticas e na extensão do framework para cenários de tomada de decisão dinâmica e sequencial.