Medical errors in large language models revealed using 1,000 synthetic clinical transcripts

Aunque el modelo GPT-5.2 alcanzó una alta precisión diagnóstica en un estudio con 1,000 transcripciones clínicas sintéticas, la evaluación reveló que ante historias incompletas el modelo generó recomendaciones peligrosas al desalentar pruebas esenciales y subestimar la urgencia de casos críticos, mostrando además un sesgo de seguridad significativo hacia las pacientes mujeres.

Lo esencial

Imagina que tienes un nuevo asistente de inteligencia artificial (IA) que promete ayudarte a entender tus dolores de cabeza. Suena genial, ¿verdad? Pero, ¿qué pasa si ese asistente es demasiado seguro de sí mismo cuando no sabe todo lo que necesita saber?

Este estudio es como una prueba de choque de seguridad para dos de los asistentes médicos más avanzados del mundo (llamados GPT-5.2 y GPT-5-mini). En lugar de darle preguntas de examen fáciles y perfectas (como en un libro de texto), los investigadores crearon un laboratorio virtual masivo para ver cómo reaccionan estos robots en el "caos" de la vida real.

Aquí tienes la explicación de lo que descubrieron, usando analogías sencillas:

1. El Laboratorio de los 1,000 Pacientes Ficticios

Los investigadores no usaron casos reales (porque sería lento y complicado), sino que crearon un generador de pacientes robóticos.

• La analogía: Imagina un videojuego donde creas 1,000 personajes diferentes. Algunos son ancianos, otros jóvenes; algunos hablan rápido y claro, otros tartamudean o usan palabras raras; algunos tienen dolores de cabeza leves y otros tienen emergencias mortales.
• El truco: Sabían exactamente cuál era el diagnóstico real de cada uno (el "secreto" del juego), pero les daban a la IA historias incompletas, como si el paciente hubiera olvidado contar la mitad de la historia.

2. El Problema de la "Confianza Ciega"

Cuando la IA tenía toda la información (100% de la historia), funcionaba muy bien, como un estudiante brillante que saca un 97% en el examen final.

• El fallo: Pero cuando la información era escasa (solo el 20% de la historia), la IA no dijo: "Oye, me falta información, necesito preguntar más".
• La analogía: Es como un detective que, al no encontrar pistas, decide cerrar el caso inmediatamente y decir: "No es nada grave, vete a casa". En lugar de ser cauteloso, la IA se volvió demasiado confiada y dio consejos peligrosos basados en suposiciones.

3. Los Tres Peligros Principales

El estudio encontró tres formas en las que estos robots podrían poner en riesgo a los pacientes:

• A. Ignorar las Emergencias (El "Falso Seguro"):
  Si un paciente tenía síntomas de una hemorragia cerebral (una emergencia grave), pero faltaba un dato clave en la historia, la IA a menudo decía: "No necesitas ir al hospital, descansa en casa".

  • La realidad: En casos reales, esto podría significar la muerte o la ceguera. La IA no entendió que, ante la duda, hay que ir al hospital.

• B. El "No" a las Pruebas Necesarias:
  Incluso cuando la IA sospechaba que algo grave pasaba, a menudo decía: "No hagas esa prueba de punción lumbar (una aguja en la espalda)".

  • La analogía: Es como si un mecánico viera humo en el motor, supiera que podría ser un incendio, pero decidiera no abrir el capó porque "no tiene todas las herramientas". La IA falló al no pedir la prueba definitiva para estar seguro.

• C. Sesgos y Medicamentos Peligrosos:

  • Género: La IA fue más peligrosa con las mujeres. Es más probable que les dijera a las mujeres que se cuidaran solas en lugar de ir al médico, comparado con los hombres.
  • Medicamentos: La IA más pequeña (GPT-5-mini) recetó opiáceos (medicamentos fuertes para el dolor) en situaciones donde no debían usarse, especialmente cuando la información era poca. Fue como un farmacéutico que te da una medicina fuerte sin saber si tienes alergia o no.

4. ¿Por qué pasa esto? (La Diferencia entre Humano y Robot)

Aquí está la parte más importante:

• Un médico humano: Cuando no tiene toda la información, piensa: "Mejor ser precavido. Podría ser algo grave, así que voy a pedir más pruebas para descartar lo peor". Es como un paracaídas: mejor llevarlo aunque no sepas si saltarás.
• La IA: Cuando no tiene información, piensa: "No hay datos que digan que es grave, así que probablemente no lo sea". Es como un paracaídas que decide no abrirse porque no ve nubes negras. Confunde "no hay evidencia" con "no existe el peligro".

5. La Conclusión: No todos los robots son iguales

El estudio comparó dos modelos:

• GPT-5.2 (El modelo grande): Era muy inteligente, pero aún así cometía errores peligrosos cuando la información era incompleta.
• GPT-5-mini (El modelo pequeño): Era mucho más peligroso. Comete errores más a menudo y es menos cuidadoso.

El mensaje final:
No podemos simplemente "pegar" estas inteligencias artificiales en los hospitales o en aplicaciones de salud sin revisarlas a fondo. Si usamos un modelo pequeño y barato para decisiones de vida o muerte, podríamos estar jugando a la ruleta rusa.

En resumen: Esta investigación nos dice que, aunque la IA es increíblemente buena respondiendo preguntas de libros de texto, aún no sabe ser un buen médico cuando la historia está incompleta. Necesitamos crear "frenos de seguridad" para que, cuando no sepan algo, se callen y pidan ayuda en lugar de dar consejos peligrosos.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Errores médicos en modelos de lenguaje grande revelados mediante 1.000 transcripciones clínicas sintéticas

1. El Problema

Las evaluaciones clínicas actuales de los Modelos de Lenguaje Grande (LLM) se basan predominantemente en conjuntos de datos pequeños y altamente curados, compuestos por "vignettes" (casos de estudio) tipo libro de texto. Estos casos simplificados no reflejan la complejidad del mundo real, donde las presentaciones son atípicas, las historias están fragmentadas y los estilos de comunicación son diversos.

• Riesgo: Un modelo que tiene éxito en casos clásicos puede fallar catastróficamente en casos de emergencia, raros o "de borde" (edge cases), especialmente cuando la información es incompleta.
• Brecha de seguridad: Existe la necesidad urgente de marcos de evaluación rigurosos que prueben la capacidad de razonamiento clínico de los LLM ante la incertidumbre y la falta de datos, simulando la realidad de una consulta médica donde el médico debe solicitar información faltante en lugar de asumir o adivinar.

2. Metodología

Los autores desarrollaron un motor de simulación de pacientes de alto rendimiento para generar un conjunto de datos masivo y controlado:

• Generación de Datos: Se crearon 1.000 transcripciones únicas de interacciones médico-paciente.
  • Diagnósticos: Se cubrieron 33 diagnósticos de dolor de cabeza y facial (desde migrañas comunes hasta emergencias vitales como hemorragia subaracnoidea o arteritis de células gigantes), basándose en la Clasificación Internacional de Trastornos de la Cefalea (ICHD-3).
  • Distribución: Se utilizó una distribución equilibrada entre todos los diagnósticos (no epidemiológica) para evitar sesgos hacia casos comunes.
  • Personas de Pacientes: Se variaron sistemáticamente 7 dimensiones de comunicación (verbosidad, alfabetización en salud, dominio del inglés, fiabilidad de la memoria, enfoque, disposición a revelar información y enmarcado de síntomas) para crear 3.645 perfiles de pacientes posibles.
  • Control de Información: Se manipuló la completitud de la historia clínica en cinco niveles de muestreo (20%, 40%, 60%, 80% y 100%). Un 20% significaba que solo se preguntaba por el 20% de las características clínicas necesarias, dejando el 80% de la información oculta.
• Modelos Evaluados: Se probaron dos LLM de vanguardia:
  • GPT-5.2: Un modelo de razonamiento de última generación.
  • GPT-5-mini: Una arquitectura más pequeña y eficiente, reportada como la base de herramientas de salud públicas.
• Tareas Evaluadas: Para cada transcripción, los modelos debían:
  1. Proporcionar un diagnóstico diferencial priorizado.
  2. Recomendar investigaciones (TC craneal, RMN, punción lumbar).
  3. Recomendar farmacología (indometacina, codeína).
  4. Establecer un plan de seguimiento (urgencia de triaje).
• Análisis: Se compararon las salidas de los modelos contra la "verdad fundamental" (ground truth) determinista de cada caso sintético. Se analizaron 14.000 decisiones clínicas independientes.

3. Contribuciones Clave

• Nuevo Paradigma de Evaluación: Transición de evaluaciones estáticas de "casos de libro de texto" a una prueba de estrés de seguridad a gran escala que utiliza diálogos naturales, fragmentados y diversos.
• Control Experimental Total: Capacidad única para variar la densidad de información y los estilos de comunicación mientras se mantiene un conocimiento absoluto del diagnóstico real, permitiendo aislar fallos de razonamiento específicos.
• Descubrimiento de Fallos de Calibración de Riesgo: Demostración de que los LLM, a diferencia de los humanos, no solicitan información adicional cuando los datos son insuficientes; en su lugar, tienden a tomar decisiones definitivas y peligrosas basadas en la ausencia de evidencia.
• Identificación de Sesgos Demográficos: Revelación de disparidades significativas en la seguridad del triaje basadas en el sexo y la edad.

4. Resultados Principales

• Precisión Diagnóstica vs. Seguridad:
  • Con historias completas (100%), GPT-5.2 alcanzó una precisión diagnóstica del 97.5%. Sin embargo, con información incompleta, la seguridad colapsó.
  • Fallo en la incertidumbre: A medida que la información disminuía, los modelos no ampliaron su diagnóstico diferencial ni solicitaron más datos. Por el contrario, redujeron la cantidad de diagnósticos considerados y recomendaron menos pruebas.
• Recomendaciones de Investigaciones Peligrosas:
  • Punción Lumbar (LP): En casos de hemorragia subaracnoidea (SAH) y meningitis, los modelos desaconsejaron la punción lumbar en el 100% de los casos cuando la información era escasa (≤40%), incluso cuando incluían correctamente el diagnóstico en su diferencial.
  • Imágenes: GPT-5.2 mostró un sesgo de edad, recomendando TC craneal en el 88.1% de pacientes >70 años frente al 38.3% en <30 años. Ambos modelos fallaron al no recomendar RMN en casos reales de tumores cerebrales.
• Farmacología Insegura:
  • Codeína: GPT-5-mini recomendó codeína (generalmente contraindicada en cefaleas) en el 21.7% de los casos con información incompleta (20%), frente al 9.5% con información completa.
  • Indometacina: En casos de SAH con información incompleta, GPT-5-mini recomendó indometacina en un 33.3% de los casos, un fármaco peligroso en este contexto.
• Triaje y Sesgos Demográficos:
  • Degradación del Triaje: Ante información incompleta, los modelos degradaron el nivel de cuidado de emergencias vitales a "autogestión" o "seguimiento rutinario".
    • GPT-5-mini: El 54.8% de las emergencias vitales con información al 20% fueron clasificadas incorrectamente como seguras para autogestión.
    • GPT-5.2: El 42.9% de los casos fueron mal triados.
  • Sesgo de Género: GPT-5.2 fue significativamente menos seguro para las mujeres que para los hombres (Odds Ratio 3.2). Las mujeres, especialmente de 30 a 50 años, fueron mucho más propensas a recibir recomendaciones de autogestión para condiciones que podrían ser mortales o causar ceguera.

5. Significado e Implicaciones

• Riesgo de Implementación: La integración de LLMs (especialmente versiones "mini" o más baratas) en herramientas de salud pública sin las debidas salvaguardas representa un riesgo grave para la seguridad del paciente. Los modelos actuales carecen de la "cautela deductiva" humana: confunden la "ausencia de evidencia" con "evidencia de ausencia".
• Necesidad de Guardarraíles Algorítmicos: Los modelos deben ser recalibrados para priorizar la eliminación de patologías "que no se pueden perder" (must-not-miss) sobre la eficiencia probabilística. Deben estar programados para reconocer la insuficiencia de datos y escalar la atención en lugar de reducirla.
• Selección de Modelos: No todos los LLM son intercambiables en entornos clínicos. La brecha de rendimiento entre GPT-5.2 y GPT-5-mini demuestra que la elección del modelo es crítica para la seguridad clínica.
• Futuro de la Evaluación: Este estudio propone que la evaluación de IA médica debe evolucionar hacia pruebas de estrés automatizadas, de alto volumen y dinámicas, capaces de detectar sesgos sutiles y fallos de razonamiento antes del despliegue en la vida real.

En conclusión, el estudio revela que, aunque los LLMs pueden tener alta precisión diagnóstica en condiciones ideales, su comportamiento en escenarios de información incompleta (la norma en la práctica real) es peligrosamente inseguro, mostrando una tendencia a la sobreconfianza, la desescalada de cuidados y la discriminación demográfica.