Contextual Cue Susceptibility in Clinical AI: A Randomized Controlled Clinician-Comparator Study

Resumen Técnico: Susceptibilidad a las Claves Contextuales en la IA Clínica

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLM) se están implementando cada vez más en flujos de trabajo clínicos para tareas que van desde el resumen de registros hasta la generación de diagnósticos diferenciales y la actuación como agentes autónomos. Si bien estos modelos demuestran fluidez y confianza, sus resultados son altamente sensibles al contexto. A diferencia de los médicos humanos, que pueden exhibir sesgos como el sesgo de disponibilidad, los LLM operan a una escala y opacidad donde un detalle contextual clínicamente menor (por ejemplo, un breve historial de viajes o una exposición ocupacional) puede desviar desproporcionadamente el razonamiento diagnóstico. El problema central abordado es si los LLM son significativamente más susceptibles al "anclaje contextual" (donde un detalle menor redirige al modelo hacia un diagnóstico "señuelo" menos probable) en comparación con los médicos, y cómo se comporta esta susceptibilidad bajo diferentes condiciones de prompting.

Metodología
Los autores realizaron un estudio controlado de comparadores clínicos aleatorizados que involucró dos componentes principales:

1. Construcción de Casos: Se crearon y validaron mediante médicos 100 casos clínicos sintéticos cortos. Cada familia de casos incluía una versión "sin clave" y una versión "con clave". La clave era un detalle breve, clínicamente plausible pero estadísticamente menor (ej. viajes, exposición) diseñado para sugerir un diagnóstico "señuelo" específico que era menos probable que el diagnóstico correcto basado en la presentación principal.
2. Grupos de Participantes:
   • Clínicos: 47 participantes (médicos adjuntos, residentes, becarios y estudiantes de medicina) de EE. UU., Oriente Medio y Europa completaron un subconjunto de 21 familias de casos emparejados. Seleccionaron el diagnóstico más probable entre cuatro opciones y calificaron su confianza.
   • LLMs: Se probaron 22 LLM distintos (incluyendo modelos de frontera de los principales proveedores) en los 100 casos, generando aproximadamente 92,000 respuestas utilizables.
3. Brazo de Prompting: Los LLM fueron probados bajo tres condiciones:
   • Línea Base (Baseline): Instrucción estándar de elegir el diagnóstico más probable.
   • Salvaguarda de Frecuencia Base (Base-rate Guardrail): Prompting explícito para considerar las frecuencias base y las condiciones comunes.
   • Estrés por Rareza/Gravedad (Rare/Serious Stress): Prompting explícito para priorizar diagnósticos raros o graves.
4. Análisis: El punto final primario fue la tasa de selección del "señuelo vinculado a la clave". Los puntos finales secundarios incluyeron la precisión diagnóstica. Se utilizó regresión logística de efectos mixtos y remuestreo de bootstrap agrupado por evaluador para comparar el "efecto de la clave" (la diferencia en la selección del señuelo entre las condiciones con y sin clave) entre los LLM y los clínicos. Un subanálisis secundario examinó el texto de explicación del modelo para identificar patrones de racionalización.

Resultados Clave

• Susceptibilidad Desproporcionada: En la comparación de 21 casos emparejados, los LLM de la línea base seleccionaron el señuelo vinculado a la clave en el 84.9% de los casos con clave, en comparación con el 27.8% de los participantes clínicos. Esto representa un "efecto de clave extra" de 57.6 puntos porcentuales (IC 95% 50.2–65.2) para los LLM en relación con los clínicos.
• Impacto en la Precisión: La precisión diagnóstica de los LLM cayó drásticamente en los casos con clave, pasando de un 90.9% (sin clave) a un 12.4% (con clave). La precisión de los clínicos también disminuyó, pero se mantuvo significativamente más alta, cayendo de un 86.3% a un 54.6%.
• Sensibilidad al Prompting: La susceptibilidad de los LLM fue altamente ajustable mediante el prompting únicamente.
  • El prompting de salvaguarda de frecuencia base redujo la selección del señuelo al 28.4% (cerca de la tasa de los clínicos) y mejoró la precisión al 66.0%.
  • El prompting de rareza/gravedad aumentó la selección del señuelo al 93.2% y redujo la precisión al 4.1%.
• Racionalización: El análisis del texto de explicación del modelo reveló que, cuando los LLM seleccionaban el señuelo, frecuentemente racionalizaban la elección con alta confianza, citando a menudo la clave específica como la razón principal, mientras que los clínicos eran más propensos a atribuir la elección a un detalle específico en lugar de a un cambio diagnóstico total.

Contribuciones Clave

• Cuantificación de la Vulnerabilidad Contextual: El estudio proporciona la primera cuantificación controlada y a gran escala de cuánto más susceptibles son los LLM a las claves contextuales menores en comparación con los médicos en el razonamiento diagnóstico.
• El Prompt como Variable de Control: Demuestra que la susceptibilidad del modelo no es una propiedad fija, sino que puede ser drásticamente amplificada o mitigada por el encuadre del prompt, lo que sugiere que el "contexto" incluye tanto la entrada del caso como las instrucciones del sistema.
• Definición de Señal de Seguridad: Los autores proponen la "susceptibilidad a las claves contextuales" como una señal de seguridad distinta para la IA clínica, separada de las métricas de precisión estándar.

Significancia y Reivindicaciones
El artículo argumenta que el riesgo principal no es simplemente que los modelos elijan ocasionalmente diagnósticos raros, sino que carecen de un "prior clínico" estable para ponderar detalles menores frente a las frecuencias base. Cuando se le otorga agencia a un modelo para actuar sobre el contexto (por ejemplo, redactar notas, realizar triaje, dirigir derivaciones) con poca revisión humana, una clave menor puede desencadenar una cascada de errores que son difíciles de rastrear.

Los autores afirman que las métricas de evaluación actuales, centradas únicamente en la precisión, son insuficientes. En su lugar, los sistemas de IA clínica deben evaluarse en su estabilidad bajo cambios de contexto plausibles. El estudio concluye que la susceptibilidad al contexto debe ser una propiedad nombrada y probada de cualquier sistema al que se le otorgue autonomía clínica, ya que los mismos mecanismos que permiten que un prompt "fije" a un modelo en una tarea pueden causar que falle catastróficamente en otra. Los hallazgos sugieren que en los flujos de trabajo agénticos, donde los modelos reescriben y añaden contexto, el riesgo de cambios no controlados impulsados por el contexto es una preocupación de seguridad a corto plazo.