From clinician review to measurable human oversight of AI-drafted paediatric discharge documents

Cuando un niño sale de la sala de urgencias de un hospital, la familia recibe un documento que debe hacer dos cosas difíciles a la vez. Debe decirle al siguiente médico exactamente qué sucedió y qué tratamiento se administró, utilizando un lenguaje médico preciso. Al mismo tiempo, debe explicar los mismos eventos a un padre preocupado en palabras sencillas, para que sepan cómo cuidar al niño en casa y cuándo regresar si las cosas van mal. Durante décadas, los médicos han escrito estos resúmenes a mano o completando formularios fijos, un proceso que puede ser lento y que a veces deja fuera detalles importantes o utiliza un lenguaje que es difícil de entender. Recientemente, ha surgido un nuevo tipo de programa informático, conocido como modelo de lenguaje de gran tamaño. Estos programas pueden leer el registro médico de un paciente y redactar un borrador de un resumen de alta en segundos. La esperanza es que estas herramientas hagan que los documentos sean más claros y rápidos de producir. Pero queda una pregunta crítica: si una computadora escribe el primer borrador, ¿realmente detecta el médico los errores que la computadora comete antes de que la familia se lleve el papel a casa?

En un hospital de Montpellier, Francia, investigadores se propusieron responder a esta pregunta observando cómo los médicos interactúan con estas nuevas herramientas en tiempo real. No se limitaron a preguntar a los médicos si les gustaba el trabajo de la computadora; observaron todo el proceso desde el momento en que la computadora generó un borrador hasta el momento en que el médico firmó el documento final. El equipo reclutó a 153 niños que estaban siendo dados de alta en el departamento de urgencias pediátricas. Dividieron a estas familias en dos grupos. Un grupo recibió el resumen de alta estándar que el hospital siempre había utilizado, ensamblado a partir de una plantilla fija. El otro grupo recibió un resumen redactado por un programa informático que se ejecutaba en los propios servidores seguros del hospital, el cual fue luego revisado y firmado por el mismo médico que atendió al niño. Los investigadores preservaron cada versión del documento: las notas médicas originales, el primer borrador de la computadora y el papel final entregado a la familia. Esto les permitió ver exactamente qué cambió la computadora, qué cambió el médico y qué errores podrían haberse colado.

Los resultados mostraron que la computadora era muy buena para simplificar el lenguaje. Los documentos escritos para las familias en el grupo asistido por computadora utilizaron palabras más comunes y menos términos técnicos que los documentos estándar. Sin embargo, cuando los investigadores comprobaron qué tan bien comprendían las instrucciones las familias unos días después, no hubo diferencia entre los dos grupos. Ya fuera que el documento fuera escrito por una plantilla o por una computadora, las familias recordaban el plan de seguimiento y las señales de advertencia a las que debían prestar atención con una precisión similar. De hecho, en ambos grupos, casi la mitad de las familias interpretó erróneamente los detalles del plan de seguimiento, lo que sugiere que el problema no radica solo en cómo se escriben las palabras, sino en cómo se comunica la información durante el momento ajetreado del alta.

La parte más reveladora del estudio fue lo que ocurrió tras bambalinas cuando el médico revisó el borrador de la computadora. Los investigadores descubrieron que la computadora sí cometía errores, pero los médicos eran editores activos y cuidadosos. En el grupo donde la computadora escribió el borrador, los médicos cambiaron el texto en casi todos los casos. Eliminaron información que la computadora había inventado y que no estaba en el registro médico, y abordaron errores donde la computadora había malinterpretado una abreviatura médica. Por ejemplo, la computadora a veces expandía un código médico corto en el término completo incorrecto, convirtiendo una descripción de síntomas urinarios en una condición médica completamente diferente. Los médicos corrigieron solo una pequeña fracción de estos errores específicos: corrigieron 6 de las 22 expansiones de abreviaturas incorrectas, lo que significa que 16 de estos errores permanecieron en los documentos finales entregados a las familias. Esto sugiere que los hechos inventados son fáciles de detectar porque parecen extraños, pero los errores sutiles en términos médicos pueden parecer perfectamente normales y pasar desapercibidos incluso ante una revisión cuidadosa.

Crucialmente, el estudio encontró que ningún error en los documentos finales entregados a los médicos fue juzgado como lo suficientemente serio como para causar daño. La computadora no inventó consejos médicos peligrosos, y los médicos detectaron los problemas más críticos. Sin embargo, los investigadores también descubrieron que la computadora perdió diferentes tipos de información de los que la plantilla estándar perdía. La plantilla estándar simplemente fallaba al transferir ciertos campos, como las alergias pasadas, de una manera predecible. La computadora, por otro lado, a veces omitía detalles específicos sobre quién dio una opinión médica o dejaba fuera hallazgos negativos que estaban registrados en las notas. Estas pérdidas no siempre eran obvias en el texto final, lo que significa que un médico podría no darse cuenta de que algo faltaba a menos que comparara el papel final directamente con las notas originales.

El estudio concluye que, si bien estas herramientas informáticas pueden ayudar a que los documentos médicos sean más fáciles de leer, no los hacen automáticamente más seguros o precisos. El médico humano sigue siendo esencial, pero su papel ha cambiado de escribir el texto a revisarlo cuidadosamente. Los investigadores argumentan que no podemos simplemente asumir que un médico ha detectado cada error solo porque firmó el papel. Para medir realmente qué tan bien supervisan los humanos estas herramientas, necesitamos ver no solo el resultado final, sino los pasos intermedios: qué escribió la computadora, qué vio el médico y qué decidió corregir o dejar sin cambios el médico. Hasta que podamos medir estos pasos, no podremos estar seguros de que la red de seguridad de la revisión humana esté capturando todo lo que necesita. El trabajo sugiere que el futuro de la documentación médica dependerá no solo de mejores computadoras, sino de mejores formas para que los médicos vean y corrijan el trabajo que esas computadoras producen.