Large language models differ in patient education quality across the robot-assisted radical prostatectomy care pathway

Cuando un hombre es diagnosticado con cáncer de próstata, el camino a seguir suele implicar una decisión importante: si extirpar la glándula prostática completa mediante una técnica quirúrgica asistida por robot. Este procedimiento, conocido como prostatectomía radical asistida por robot, es un tratamiento estándar para la enfermedad localizada, pero conlleva una compleja red de información que el paciente debe comprender. Necesitan saber cómo funciona la cirugía, cómo es la recuperación, cómo podría afectar su capacidad para controlar la vejiga o mantener la función sexual, y cómo los médicos vigilarán si el cáncer regresa. En el pasado, los pacientes dependían de folletos impresos o de una única conversación con su cirujano para navegar estas dudas. Hoy en día, muchos recurren a los chatbots de inteligencia artificial para obtener respuestas instantáneas. Estos modelos de lenguaje de gran tamaño pueden generar textos que parecen y suenan como consejos humanos, pero la pregunta crítica sigue siendo: ¿se puede confiar en ellos para explicar de manera precisa y clara un viaje médico que cambia la vida?

Un equipo de investigadores del Hospital Afiliado de la Escuela de Medicina de North Sichuan se propuso probar precisamente esta cuestión. Se centraron en tres sistemas de inteligencia artificial populares: ChatGPT, DeepSeek y Doubao. El equipo no pidió a las máquinas que realizaran cirugías ni que diagnosticaran a una persona específica; en su lugar, trataron a los modelos como proveedores de información. Compilaron una lista de veinticinco preguntas distintas que un paciente podría hacer en diferentes etapas del proceso de atención, desde la detección inicial del cáncer hasta el seguimiento a largo plazo tras la cirugía. Estas preguntas abarcaban desde la interpretación de los resultados de las pruebas hasta la comprensión de los riesgos de daño nervioso. Luego, los investigadores introdujeron cada una de estas veinticinco preguntas en los tres modelos, generando un total de setenta y cinco respuestas separadas. Para garantizar una prueba justa, las preguntas se realizaron individualmente en conversaciones separadas para que los modelos no pudieran aprender de las respuestas anteriores en la misma sesión de chat.

Una vez recopiladas las respuestas, los investigadores necesitaban una forma de juzgar su calidad. Reclutaron a tres expertos médicos que actuaron como revisores ciegos, lo que significa que no sabían qué inteligencia artificial había escrito cada respuesta. Los expertos evaluaron el texto utilizando varias herramientas establecidas diseñadas para medir la calidad de la educación al paciente. Analizaron si la información era completa, si ofrecía consejos prácticos que un paciente pudiera realmente utilizar y si estaba escrita de una manera fácil de entender. También comprobaron si había errores específicos, como hechos inventados o recomendaciones médicas desactualizadas, y calcularon qué tan difícil sería leer el texto para una persona promedio. El objetivo era ver si una máquina superaba consistentemente a las otras o si todas tenían dificultades con los mismos problemas.

Los resultados revelaron que, si bien los tres modelos produjeron información generalmente segura y precisa, tenían personalidades y fortalezas distintas. Un modelo, ChatGPT, proporcionó consistentemente los consejos más accionables. Cuando un paciente preguntaba qué hacer a continuación, este modelo era más propenso a dar instrucciones claras y paso a paso que una persona pudiera seguir. También obtuvo puntuaciones más altas en las medidas de qué tan bien estaba estructurada la información para apoyar la toma de decisiones del paciente. Otro modelo, DeepSeek, produjo un texto que era notablemente más fácil de leer. Sus frases eran ligeramente menos complejas y su vocabulario era algo más accesible que el de los otros. Sin embargo, incluso el texto "más fácil" de DeepSeek todavía estaba escrito en un nivel que sería difícil de leer cómodamente para muchos adultos, superando el nivel de lectura típicamente recomendado para los materiales de salud pública. El tercer modelo, Doubao, se desempeñó de manera similar a los demás en términos de precisión, pero tuvo más dificultades con la legibilidad y ocasionalmente omitió detalles clave.

A pesar de estas diferencias, el estudio encontró que ningún modelo era perfecto y ninguno debería utilizarse como sustituto del consejo de un médico. Los investigadores descubrieron que, aunque las máquinas rara vez inventaban hechos o daban consejos peligrosamente desactualizados, a veces omitían información importante, particularmente en las respuestas de DeepSeek y Doubao. Además, los expertos humanos que calificaron las respuestas no siempre estuvieron de acuerdo entre sí. Esta falta de acuerdo sugiere que juzgar la calidad del consejo médico es una tarea difícil, incluso para profesionales capacitados, y que las pequeñas diferencias en las puntuaciones entre los modelos podrían no ser tan significativas como parecen. El estudio también destacó un desafío persistente: los tres modelos generaron textos que eran demasiado complejos para la persona promedio. Los términos médicos y las estructuras de las oraciones requerían una educación secundaria o superior para comprenderse plenamente, lo que crea una barrera para muchos pacientes que necesitan esta información más que nadie.

Los investigadores concluyeron que estas herramientas de inteligencia artificial muestran potencial como ayudantes para los médicos, quizás sirviendo como un primer borrador para materiales educativos que un urólogo pueda luego revisar y perfeccionar. Pueden generar rápidamente explicaciones que cubran una amplia gama de temas, pero aún no pueden reemplazar la conversación matizada y personalizada que ocurre entre un cirujano y un paciente. Un robot puede enumerar los riesgos de la cirugía, pero no puede mirar a un paciente a los ojos, comprender sus miedos específicos o sopesar el equilibrio único entre su historial médico y sus valores personales. Por ahora, el mejor uso de estas poderosas máquinas es como una herramienta de apoyo para los clínicos, no como una fuente independiente de orientación médica. El estudio sirve como un recordor de que, si bien la tecnología puede hacer que la información esté más disponible, el elemento humano del cuidado sigue siendo esencial para asegurar que la información no solo sea precisa, sino también verdaderamente comprendida.