Evaluating Methods for Assessing LLM-Translated Clinical Discharge Instructions: A Comparison of Automated Metrics, MQM-Based Evaluation, and Clinician Review

Cuando un paciente abandona un hospital, las instrucciones de alta que recibe son más que una simple lista de tareas; son un puente crítico entre la atención profesional y la vida cotidiana. Si estas instrucciones no se comprenden, el riesgo de errores de medicación, de perder citas de seguimiento y de que las condiciones de salud empeoren aumenta drásticamente. Para los pacientes que hablan español como su lengua materna, este puente debe construirse en su idioma nativo. Durante décadas, los hospitales han dependido de traductores humanos para garantizar que estos documentos sean precisos, pero el rápido ascenso de la inteligencia artificial ha ofrecido una nueva forma más rápida de generar estas traducciones. Los modelos de lenguaje extensos, el mismo tipo de tecnología que puede escribir ensayos o responder preguntas complejas, están siendo probados ahora para ver si pueden traducir documentos médicos con el mismo cuidado y precisión que un experto humano. La pregunta central no es solo si la máquina puede traducir palabras, sino si puede traducir significados, especialmente cuando una sola palabra errónea podría cambiar la comprensión de un paciente sobre su propia salud.

Un equipo de investigadores de la Escuela de Medicina de la Universidad de Colorado se propuso responder a esta pregunta probando qué tan bien la inteligencia artificial traduce las instrucciones de alta hospitalaria del inglés al español. No se limitaron a pedirle a la computadora que tradujera; construyeron un experimento riguroso para ver cómo diferentes formas de pedirle a la computadora que trabaje cambiarían los resultados. Tomaron doscientas instrucciones de alta reales y desidentificadas de una gran base de datos médica y las introdujeron en tres modelos diferentes de inteligencia artificial. Para ver si la forma en que un humano habla con la máquina importa, utilizaron dos métodos distintos de instrucción (prompting). En un método, le dijeron a la computadora que actuara como un clínico experto en una unidad de cuidados intensivos, responsable de traducir el texto. En el otro, dieron una instrucción mucho más simple y literal de solo traducir las palabras, sin ningún rol o contexto. El objetivo era ver si enmarcar a la máquina como un médico conduciría a mejores traducciones médicas que tratarla como una simple herramienta de intercambio de palabras.

Para juzgar la calidad de estas traducciones, los investigadores utilizaron tres enfoques diferentes, cada uno mirando el texto desde un ángulo distinto. Primero, utilizaron métricas computarizadas automatizadas, que son herramientas estándar en el campo de la tecnología del lenguaje que cuentan cuántas palabras y frases en la traducción coinciden con el texto original. Estas herramientas son rápidas y pueden procesar miles de documentos, pero principalmente observan similitudes superficiales. Segundo, utilizaron un marco estructurado llamado Métrica de Calidad Multidimensional, o MQM. Este método desglosa la traducción en categorías específicas, como si los términos médicos son correctos, si el tono es apropiado para un paciente y si la gramática fluye con naturalidad. Hicieron que un sistema de inteligencia artificial actuara como juez para calificar las traducciones en estas categorías. Finalmente, y lo más importante, contaron con expertos humanos. Dos médicos bilingües que dominan tanto el inglés como el español revisaron una selección aleatoria de las traducciones. Calificaron los documentos utilizando las mismas categorías estructuradas, sirviendo como el estándar de oro de lo que debería ser una traducción de alta calidad y segura.

Los resultados revelaron una desconexión sorprendente entre lo que las computadoras consideraban bueno y lo que los médicos humanos consideraban bueno. Las métricas automatizadas, que cuentan la superposición de palabras, prefirieron consistentemente las traducciones generadas por los prompts simples y literales. Cuando se le dijo a la computadora que simplemente tradujera palabra por palabra, las puntuaciones automatizadas fueron más altas, sugiriendo que el resultado era más cercano al texto original en inglés. Sin embargo, cuando los investigadores observaron las puntuaciones de calidad estructuradas y las revisiones humanas, surgió un panorama diferente. Las traducciones generadas por el prompt de "clínico", donde se le pidió a la computadora que actuara como un experto médico, a menudo funcionaron mejor en términos de estilo y tono, incluso si las herramientas de conteo de palabras automatizadas las calificaron más bajo. Esto sugiere que las herramientas utilizadas para medir el éxito de la traducción en el pasado podrían no estar capturando los matices que más importan en un entorno hospitalario.

Cuando los investigadores compararon las puntuaciones otorgadas por los jueces de inteligencia artificial frente a las puntuaciones otorgadas por los médicos humanos, el acuerdo fue sorprendentemente bajo. La computadora y los expertos humanos a menudo discrepaban sobre si una traducción era precisa o si la terminología médica era correcta. El nivel más alto de acuerdo entre la máquina y el humano se encontró en áreas como el formato y las convenciones locales, donde las reglas son claras y objetivas. Sin embargo, en las áreas más críticas —como la precisión del significado médico y la idoneidad del lenguaje para un paciente— la máquina y el humano frecuentemente veían las cosas de manera distinta. Incluso los dos médicos humanos no siempre estuvieron de acuerdo entre sí, lo que resalta que juzgar la traducción médica implica un grado de interpretación humana que es difícil de automatizar. El estudio encontró que, si bien los modelos de inteligencia artificial produjeron traducciones generalmente de alta calidad, las áreas donde más tuvieron dificultades fueron precisamente las áreas que requieren la comprensión más profunda del contexto clínico.

Los investigadores concluyeron que ningún método por sí solo es suficiente para garantizar la seguridad de los documentos médicos traducidos. Las herramientas automatizadas son útiles para revisar rápidamente grandes lotes de texto, y los sistemas de puntuación estructurada ayudan a organizar la evaluación, pero ninguno puede reemplazar completamente el juicio de un experto humano. El estudio sugiere que el mejor enfoque es uno por capas: utilizar controles automatizados rápidos para filtrar errores obvios, seguidos de revisiones dirigidas por clínicos humanos para las partes más críticas del texto. Esta combinación asegura que la eficiencia de la inteligencia artificial se equilibre con la necesaria supervisión humana para proteger la seguridad del paciente. Los hallazgos sirven como un recordatorio de que, en entornos de alto riesgo como la atención médica, la capacidad de traducir palabras no es lo mismo que la capacidad de comunicar cuidado, y que la experiencia humana sigue siendo una parte esencial del proceso.