Selective Prediction Reduces the Negative Effects of Automation Bias Overall but Increases False Negatives

Problema
Modelos de IA de alto desempenho podem produzir previsões imprecisas que, ao serem implantadas, podem prejudicar a tomada de decisão humana por meio do viés de automação (dependência excessiva de saídas incorretas da IA). Para mitigar isso, a "predição seletiva" (ou adiamento de IA) foi proposta, onde um sistema de IA retém previsões que considera potencialmente prejudiciais e solicita que o humano decida de forma independente. No entanto, as avaliações típicas desta abordagem baseiam-se em simulações que assumem que, quando uma IA se abstém, os humanos revertem ao seu desempenho basal como se não houvesse IA envolvida. Essa suposição não foi validada em tarefas multilabel, onde uma IA pode reter algumas previsões enquanto revela outras. Além disso, estudos empíricos anteriores sobre o adiamento de IA concentraram-se amplamente em configurações binárias de saída única, deixando uma lacuna na compreensão de como a predição seletiva funciona em fluxos de trabalho clínicos multilabel complexos.

Metodologia
Os autores conduziram um estudo baseado em vinhetas, pré-registrado, envolvendo 259 clínicos (médicos e profissionais de prática avançada) que gerenciam pacientes hospitalizados com insuficiência respiratória aguda (IRA). O estudo utilizou 45 casos reais de pacientes, cada um com diagnósticos de verdade fundamental para três condições concomitantes: pneumonia, insuficiência cardíaca e doença pulmonar obstrutiva crônica (DPOC).

O desenho experimental comparou o desempenho do clínico em três condições:

1. Clínico Sozinho: Sem entrada de IA.
2. Clínico + IA: A IA forneceu previsões para todas as três condições, independentemente da precisão.
3. Clínico + Predição Seletiva: A IA reteve as previsões que identificou como potencialmente prejudiciais (imprecisas) e informou explicitamente ao clínico que estava adiando a decisão ("o modelo delega a você"), enquanto mostrava previsções para outras condições.

O mecanismo de predição seletiva foi construído usando a verdade fundamental post hoc para identificar previsões potencialmente prejudiciais. Para simular as imperfeições de implantação realistas, o mecanismo reteve todas as previsões incorretas, mas também reteve um pequeno subconjunto (11%) de previsões corretas. Os clínicos foram randomizados para as condições assistidas por IA e solicitados a diagnosticar as causas da IRA e selecionar os tratamentos correspondentes (antibióticos, diuréticos ou esteroides). O desempenho foi medido pela precisão do tratamento, taxas de falsos positivos (FPR) e taxas de falsos negativos (FNR), com análise estatística utilizando modelos de efeitos mistos para considerar medidas repetidas.

Principais Contribuições
Este estudo apresenta a primeira avaliação da predição seletiva em uma tarefa de tomada de decisão clínica multilabel. Os autores desafiam a suposição comportamental de que o processo de decisão humana permanece neutro quando uma IA se abstém explicitamente. Especificamente, eles demonstram que:

1. A predição seletiva mitiga parcialmente o impacto negativo da IA imprecisa na precisão geral do tratamento.
2. A predição seletiva altera fundamentalmente o tipo de erros que os clínicos cometem, especificamente aumentando os falsos negativos (subtratamento) quando a IA se abstém.
3. Esses efeitos variam de acordo com as características do clínico, sendo que aqueles que carecem de experiência prévia com IA e aqueles com menos treinamento médico (Profissionais de Prática Avançada) apresentam maior suscetibilidade a essas mudanças de erro.

Resultados

• Impacto da IA Imprecisa: Quando os clínicos recebiam todas as previsões da IA (incluindo as imprecisas), sua precisão de tratamento caía significamente (de 62% para 50%) em comparação ao baseline, impulsionada por aumentos tanto em falsos positivos quanto em falsos negativos.
• Impacto da Predição Seletiva: Quando a IA reteve as previsões imprecisas, a precisão do tratamento melhorou em relação à condição "Clínico + IA" (55% vs. 50%), mas não recuperou totalmente o baseline "Clínico Sozinho" (62%).
• Mudança de Erro: Embora a taxa de falsos positivos tenha retornado aos níveis basais sob a predição seletiva, a taxa de falsos negativos permaneceu significativamente elevada (42% vs. 31% no baseline). Isso indica que, quando informados que a IA está adiando a decisão, os clínicos são significamente mais propensos a subtratar pacientes que requerem intervenção.
• Análise de Subgrupo: O aumento nos falsos negativos sob predição seletiva foi particularmente pronunciado entre clínicos que não haviam utilizado IA anteriormente em sua prática (sem experiência em IA) e entre Profissionais de Prática Avançada (PPAs) em comparação com médicos.
• Dificuldade Percebida: Os clínicos perceberam os casos como mais difíceis quando a IA estava presente, e as classificações de dificuldade foram mais altas quando a IA utilizou a predição seletiva.

Significância
O artigo argumenta que a predição seletiva não deve ser tratada como um mecanismo de segurança padrão sem avaliação contextual. Embora reduza a dependência excessiva de saídas de IA prejudiciais (reduzindo falsos positivos), ela introduz um novo risco: ela desloca os clínicos em direção ao subtratamento (aumentando falsos negativos). Em contextos de alto risco como a IRA, onde o subtratamento pode ser mais prejudicial do que o sobretratamento, esse compromisso é crítico. Os achados ressaltam que o mero ato de uma IA se abster não é um evento neutro; ele altera o raciocínio humano, provavelmente devido ao viés de disponibilidade ou à interpretação errônea do adiamento como uma falta de diagnóstico. Consequentemente, os autores concluem que os sistemas de IA devem ser avaliados dentro de fluxos de trabalho do mundo real, prestando atenção cuidadosa a quais tipos de erros são mais aceitáveis para um domínio clínico específico.