Selective Prediction Reduces the Negative Effects of Automation Bias Overall but Increases False Negatives

Problema
Los modelos de IA de alto rendimiento pueden producir predicciones inexactas que, al ser implementadas, pueden perjudicar la toma de decisiones humana mediante el sesgo de automatización (dependencia excesiva de resultados de IA incorrectos). Para mitigar esto, se ha propuesto la "predicción selectiva" (o deferencia de la IA), donde un sistema de IA retiene las predicciones que considera potencialmente dañinas y solicita al humano que decida de forma independiente. Sin embargo, las evaluaciones típicas de este enfoque dependen de simulaciones que asumen que, cuando una IA se abstiene, los humanos revierten a su rendimiento base como si no hubiera una IA involucrada. Esta suposición no ha sido validada en tareas multilabel (de múltiples etiquetas), donde una IA podría retener algunas predicciones mientras revela otras. Además, los estudios empíricos previos sobre la deferencia se han centrado mayoritariamente en entornos binarios de salida única, dejando un vacío en la comprensión de cómo funciona la predicción selectiva en flujos de trabajo clínicos complejos y multilabel.

Metodología
Los autores llevaron a cabo un estudio basado en escenarios (vignettes) y pre-registrado que involucró a 259 clínicos (médicos y profesionales de práctica avanzada) que gestionan pacientes hospitalizados con insuficiencia respiratoria aguda (IRA). El estudio utilizó 45 casos reales de pacientes, cada uno con diagnósticos de verdad fundamental para tres condiciones concurrentes: neumonía, insuficiencia cardíaca y enfermedad pulmonar obstructiva crónica (EPOC).

El diseño experimental comparó el rendimiento de los clínicos en tres condiciones:

1. Clínico Solo: Sin entrada de IA.
2. Clínico + IA: La IA proporcionaba predicciones para las tres condiciones, independientemente de su exactitud.
3. Clínico + Predicción Selectiva: La IA retenía las predicciones que identificaba como potencialmente dañinas (inexactas) e informaba explícitamente al clínico que se estaba absteniendo ("el modelo delega en usted"), mientras mostraba las predicciones para otras condiciones.

El mecanismo de predicción selectiva se construyó utilizando la verdad fundamental post-hoc para identificar las predicciones potencialmente dañinas. Para simular las imperfecciones de un despliegue realista, el mecanismo retuvo todas las predicciones incorrectas, pero también retuvo un pequeño subconjunto (11%) de predicciones correctas. Los clínicos fueron asignados aleatoriamente a las condiciones asistidas por IA y se les pidió diagnosticar las causas de la IRA y seleccionar los tratamientos correspondientes (antibióticos, diuréticos o esteroides). El rendimiento se midió mediante la exactitud del tratamiento, la tasa de falsos positivos (TFP) y la tasa de falsos negativos (TFN), utilizando análisis estadísticos mediante modelos de efectos mixtos para tener en cuenta las medidas repetidas.

Contribuciones Clave
Este estudio presenta la primera evaluación de la predicción selectiva en una tarea de toma de decisiones clínicas multilabel. Los autores cuestionan la suposición conductual de que la toma de decisiones humana permanece neutral cuando una IA se abstiene explícitamente. Específicamente, demuestran que:

1. La predicción selectiva mitiga parcialmente el impacto negativo de una IA inexacta en la exactitud general del tratamiento.
2. La predicción selectiva altera fundamentalmente el tipo de errores que cometen los clínicos, específicamente aumentando los falsos negativos (subtratamiento) cuando la IA se abstiene.
3. Estos efectos varían según las características del clínico, siendo aquellos que carecen de experiencia previa en IA y aquellos con menor formación médica (Profesionales de Práctica Avanzada) los que muestran una mayor susceptibilidad a estos cambios de error.

Resultados

• Impacto de la IA Inexacta: Cuando se mostraban a los clínicos todas las predicciones de la IA (incluidas las inexactas), su exactitud de tratamiento cayó significativamente (del 62% al 50%) en comparación con la línea base, impulsada por aumentos tanto en falsos positivos como en falsos negativos.
• Impacto de la Predicción Selectiva: Cuando la IA retenía las predicciones inexactas, la exactitud del tratamiento mejoró en relación con la condición de "Clínico + IA" (55% frente a 50%), pero no se recuperó totalmente al nivel base de "Clínico Solo" (62%).
• Cambio de Error: Si bien la tasa de falsos positivos regresó a los niveles base bajo la predicción selectiva, la tasa de falsos negativos se mantuvo significativamente elevada (42% frente a 31% en la línea base). Esto indica que, cuando se les informa que la IA está delegando, los clínicos son significativamente más propensos a subtratar a pacientes que requieren intervención.
• Análisis de Subgrupos: El aumento de los falsos negativos bajo la predicción selectiva fue particularmente pronunciado entre los clínicos que no habían utilizado previamente la IA en su práctica (sin experiencia en IA) y entre los Profesionales de Práctica Avanzada (APP) en comparación con los médicos.
• Dificultad Percibida: Los clínicos percibieron los casos como más difíciles cuando la IA estaba presente, y las calificaciones de dificultad fueron más altas cuando la IA utilizaba la predicción selectiva.

Significancia
El artículo argumenta que la predicción selectiva no debe tratarse como un mecanismo de seguridad por defecto sin una evaluación específica del contexto. Si bien reduce la dependencia excesiva de los resultados dañinos de la IA (reduciendo los falsos positivos), introduce un nuevo riesgo: desplaza a los clínicos hacia el subtratamiento (aumentando los falsos negativos). En contextos de alto riesgo como la IRA, donde el subtratamiento puede ser más perjudicial que el sobretratamiento, este compromiso es crítico. Los hallazgos subrayan que el mero acto de una IA de abstenerse no es un evento neutral; altera el razonamiento humano, probablemente debido al sesgo de disponibilidad o a la malinterpretación de la deferencia como una falta de diagnóstico. En consecuencia, los autores concluyen que los sistemas de IA deben evaluarse dentro de flujos de trabajo del mundo real, prestando especial atención a qué tipos de errores son más aceptables para un dominio clínico específico.