Resumo Técnico: Avaliando Intervenções Baseadas em Predição com Decisores Humanos em Mente

Declaração do Problema

Sistemas de Decisão Automatizada (SDA) são cada vez mais implantados para apoiar a tomada de decisão humana em contextos consequenciais, como justiça criminal, saúde e educação. Embora a pesquisa em aprendizado de máquina foque frequentemente na avaliação da acurácia de modelos preditivos contra conjuntos de dados de referência, essas avaliações falham em capturar a complexa interação entre humanos e algoritmos. Especificamente, os designs experimentais atuais para avaliar intervenções baseadas em predição dependem de suposições simplificadoras sobre a tomada de decisão humana para derivar estimativas causais.

O problema central identificado é que escolhas específicas de design experimental podem induzir vieses cognitivos em decisores humanos, alterando significativamente os tamanhos de efeito observados. Os paradigmas existentes para avaliar intervenções baseadas em predição frequentemente assumem um modelo "independente de caso", onde o status de tratamento de um sujeito de decisão não afeta outro (aderindo à Suposição de Valor de Tratamento de Unidade Estável, ou SUTVA). No entanto, este artigo argumenta que os decisores humanos (ex: juízes) possuem estados internos que evoluem com base em sua exposição às recomendações algorítmicas, criando dependências entre sujeitos de decisão que violam a SUTVA e levam a uma estimativa enviesada do efeito do tratamento.

Metodologia

Estrutura Teórica

Os autores propõem um novo modelo causal de tomada de decisão auxiliada por algoritmo que contabiliza explicitamente o estado interno do decisor. Diferente do modelo padrão independente de caso, esta estrutura indexa decisões tanto pelo sujeito de decisão ($i$) quanto pelo decisor ($k$).

O modelo introduz duas variáveis latentes:

1. $J_{i,k}$: A responsividade do juiz $k$ para a unidade de tratamento $i$, representando a probabilidade de o juiz seguir a recomendação algorítmica.
2. $\epsilon_{i,k}$: Uma variável aleatória extraída de uma distribuição de Bernoulli com parâmetro $J_{i,k}$, denotando se o juiz cumpre a recomendação.

A função de decisão $D_{i,k}$ é definida como uma função da decisão padrão do juiz $\lambda_k(X_i)$ e da recomendação algorítmica $\bar{D}(\hat{Y}_i)$, modulada pela responsividade $J_{i,k}$.

Modelos de Viés Cognitivo

O artigo formaliza três modelos específicos de viés cognitivo que tornam a responsividade do juiz ($J_{i,k}$) dinâmica e dependente de escolhas de design experimental:

1. Modelo de Exposição ao Tratamento: A responsividade aumenta conforme a exposição média ao auxílio preditivo aumenta. Juízes podem confiar em informações consistentes em vez de ajustar protocolos para cada caso, levando a uma maior conformidade após exposição frequente.
2. Modelo de Restrição de Capacidade: A responsividade diminui conforme a taxa de predições positivas (de alto risco) aumenta. Em ambientes de alto risco, os decisores podem atingir um limiar onde se tornam menos responsivos a novos alertas de "alto risco".
3. Modelo de Baixa Confiança: A responsividade diminui conforme a taxa de erro observada do algoritmo aumenta. Se os juízes observarem resultados realizados e detectarem erros de predição (ex: falsos positivos), sua confiança e subsequente conformidade diminuem.

Análise Experimental

Os autores provam matematicamente que, sob estes modelos, a decisão $D_{i,k}$ não é condicionalmente independente das atribuições de tratamento anteriores $(Z_{1,k}, \dots, Z_{i-1,k})$ dada a atual atribuição de tratamento $Z_{i,k}$. Isso constitui uma violação da SUTVA.

Para demonstrar o impacto prático, o artigo compara dois esquemas de randomização:

• Randomização Uniforme: Os casos são randomizados ao nível individual (nível único), resultando em exposição de tratamento mista para cada juiz.
• Randomização de Dois Níveis: Os juízes são randomizados para clusters de tratamento (ex: um juiz vê 100% de casos tratados, outro 0%), criando perfis de exposição distintos.

Experimentos Semi-Sintéticos

Os autores validam suas descobertas teóricas usando dados de um Ensaio Controlado Aleatorizado (ECA) real por Imai et al. [2020] referente aos escores de risco de Avaliação de Segurança Pública (PSA) em Dane County, Wisconsin. Eles simulam múltiplos juízes e aplicam os três modelos de viés para gerar sequências de decisão alternativas. Eles observam como a modificação de escolhas de design experimental (atribuição de tratamento, limiares do modelo e acurácia) altera a estimativa do Efeito Médio do Tratamento (ATE).

Contribuições Principais

1. Formalização da Responsividade Dinâmica: O artigo vai além da suposição de que a responsividade do juiz é um atributo estático e inerente. Ele formaliza como a responsividade é uma função dinâmica das escolhas de design experimental, especificamente da atribuição de tratamento ($Z$), das taxas de predição positiva do modelo ($P(\hat{Y}=1)$) e da correção do modelo ($P(\hat{Y}=Y)$).
2. Prova de Violação da SUTVA: Os autores fornecem provas matemáticas mostrando que os modelos comportamentais propostos induzem interferência entre sujeitos de decisão, violando a suposição SUTVA comumente usada em inferência causal. Isso invalida estimadores padrão que assumem independência.
3. Demonstração de Viés de Estimativa: O artigo demonstra que esquemas de randomização padrão (nível único) podem levar a uma subestimação ou superestimação significativa do Efeito Médio do Tratamento (ATE) dependendo do modelo de viés ativo. Por exemplo, sob o modelo de exposição ao tratamento, a randomização uniforme subestima o ATE, enquanto sob o modelo de restrição de capacidade, ela pode superestimá-lo.
4. Simulação Empírica: Usando experimentos semi-sintéticos baseados em Imai et al. [2020], os autores mostram que modificar escolhas de design (ex: mudar a proporção de casos tratados por juiz ou o limiar do algoritmo) pode alterar as estimativas do efeito causal em até 10x para subgrupos demográficos específicos.

Resultados

• Violação da SUTVA: A análise teórica confirma que, quando a responsividade do juiz depende da exposição histórica, o status de tratamento de um caso influencia a decisão sobre casos subsequentes manipulados pelo mesmo juiz. Testes de permutação padrão usados em estudos anteriores (como Imai et al., 2020) falham em detectar essa interferência porque preservam a proporção média de tratamento, tornando a ordem dos casos irrelevante para a estatística de teste.
• Direcionalidade do Viés:
  • Exposição ao Tratamento: A randomização uniforme leva a uma subestimação do efeito do tratamento em comparação com a randomização de dois níveis. A lacuna aumenta à medida que os juízes se tornam mais sensíveis à exposição passada e à divergência entre a decisão padrão e a recomendada.
  • Restrição de Capacidade: A randomização uniforme leva a uma superestimação do efeito do tratamento. A lacuna aumenta com maiores taxas de predição positiva.
  • Baixa Confiança: Menor acurácia algorítmica leva a uma redução na responsividade e uma subestimação do efeito do tratamento, impactando particularmente medidas de correção de decisão.
• Descobertas de Simulação: Nos experimentos semi-sintéticos, mudar o regime de exposição ao tratamento (ex: atribuir 100% dos casos a um juiz vs. 50%) resultou em desvios substanciais nas medidas de ATE. Especificamente, para sujeitos do sexo feminino não brancos, o efeito causal estimado nas decisões variou por um fator de 10 dependendo do regime de exposição.

Significância e Alegações

O artigo afirma que a validade científica dos esquemas de avaliação baseados em intervenção para implantações de SDA está atualmente comprometida por ignorar a natureza dinâmica da tomada de decisão humana. Ao tratar intervenções baseadas em predição como problemas de predição isolados em vez de intervenções de política, os pesquisadores correm o risco de tirar conclusões incorretas sobre a eficácia desses sistemas.

Os autores argumentam que futuros designs experimentais devem considerar o "humano no loop" como um agente dinâmico cujo comportamento é moldado pelo próprio experimento. Eles sugerem que:

• A randomização padrão de nível único é insuficiente para estimar o impacto causal de sistemas preditivos quando implantados como políticas de larga escala.
• Designs de randomização de dois níveis (randomizando ao nível do decisor) ou designs multifatoriais são necessários para estimar com precisão os efeitos do tratamento na presença de viés do juiz.
• As descobertas se estendem além da justiça criminal para outros domín lares como saúde e educação, onde vieses cognitivos e efeitos de interferência semelhantes estão provavelmente presentes.

O trabalho serve como um chamado à ação para a comunidade de pesquisa refinar os paradigmas experimentais para melhor refletir as realidades da interação humano-algoritmo, garantindo que as estimativas causais reflitam o verdadeiro impacto das intervenções preditivas nos resultados subsequentes.