Multi-Method Validation of Large Language Model Medical Translation Across High- and Low-Resource Languages

Resumen Técnico: Validación Multi-Método de LLMs en Traducción Médica

1. Planteamiento del Problema

Las barreras lingüísticas afectan a 27,3 millones de residentes en EE. UU. con preferencia por un idioma distinto al inglés, lo que genera disparidades significativas en los resultados de salud, menor adherencia a tratamientos y mayor riesgo de errores médicos. Aunque las leyes federales (como la Sección 1557 de la Ley de Cuidado de Salud a Bajo Precio) exigen acceso lingüístico, la traducción médica profesional es costosa, lenta y a menudo indisponible para idiomas de baja recursos (como el tagalo o el criollo haitiano).

Los Modelos de Lenguaje Grande (LLM) ofrecen una solución escalable, pero su fiabilidad en contextos médicos es incierta. Evaluaciones anteriores sugirieron que los LLMs cometían más errores clínicos significativos en idiomas de baja recursos en comparación con idiomas de alta recursos (como el español). Existe la necesidad urgente de evaluar sistemáticamente si los LLMs de vanguardia pueden preservar el significado médico con la misma precisión en idiomas con datos de entrenamiento limitados, sin depender exclusivamente de evaluadores humanos bilingües, que son escasos.

2. Metodología: Marco de Validación de Cinco Capas

El estudio empleó un diseño transversal para evaluar cuatro LLMs de vanguardia (GPT-5.1, Claude Opus 4.5, Gemini 3 Pro y Kimi K2) traduciendo 22 documentos médicos (11 sobre vacunas y 11 sobre educación oncológica) a 8 idiomas. Los idiomas se clasificaron según su representación en CommonCrawl:

• Alta recursos: Español, Chino, Ruso, Vietnamita.
• Medio recursos: Coreano, Árabe.
• Baja recursos: Tagalo, Criollo haitiano.

Para superar las limitaciones de las métricas automáticas individuales, los autores diseñaron un marco de validación de cinco capas convergente:

1. Fidelidad de Retrotraducción (Back-Translation): Traducción del inglés al idioma objetivo y retorno al inglés por el mismo modelo. Se midió la preservación semántica (LaBSE) y la superposición léxica (BLEU).
2. Comparación con Traducción Profesional: Evaluación directa de las traducciones de los LLMs contra traducciones profesionales humanas utilizando métricas como COMET y BERTScore.
3. Análisis de Sensibilidad de Retrotraducción Cruzada: Para descartar el "sesgo circular" (cuando un modelo se auto-evalúa), se realizaron retrotraducciones utilizando modelos diferentes a los que hicieron la traducción original (1,550 pares).
4. Concordancia Inter-Modelo: Comparación de las traducciones entre los cuatro modelos independientes para verificar si convergen en el mismo significado semántico sin necesidad de retrotraducción.
5. Análisis de Préstamo Léxico (Lexical Borrowing): Cuantificación de la retención de términos médicos en inglés (o francés, en el caso del criollo haitiano) en las traducciones. Esto verificó si las altas puntuaciones de fidelidad se debían a una traducción real o simplemente a dejar los términos en inglés.

3. Contribuciones Clave

• Validación Rigurosa Multi-Método: Es uno de los primeros estudios que aplica un marco de cinco capas para validar traducciones médicas, superando la dependencia de una sola métrica o evaluador humano.
• Enfoque en Idiomas de Baja Recursos: Demuestra empíricamente que los LLMs modernos han cerrado la brecha de rendimiento entre idiomas de alta y baja recursos en el dominio médico.
• Desmitificación del Sesgo Circular: Proporciona evidencia cuantitativa de que las altas puntuaciones de fidelidad no son un artefacto de la circularidad del modelo ni de la retención de términos en inglés.
• Metodología Escalable: Propone el uso de métricas de incrustación semántica (como LaBSE) en lugar de métricas léxicas (BLEU) para evaluar idiomas con scripts o morfologías diversas, donde la superposición de palabras no refleja la calidad semántica.

4. Resultados Principales

• Preservación Semántica Equivalente: Todos los modelos lograron una alta preservación semántica (LaBSE > 0.92). No hubo diferencia significativa en la fidelidad semántica entre idiomas de alta y baja recursos (p = 0.066). Idiomas como el tagalo y el criollo haitiano obtuvieron puntuaciones comparables al español y vietnamita.
• Rendimiento de los Modelos:
  • Claude Opus 4.5 mostró la mejor preservación semántica en la retrotraducción.
  • No hubo diferencias significativas entre modelos en la comparación directa con traducciones profesionales (métricas COMET y BLEU), aunque hubo variaciones menores en BERTScore.
• Robustez frente a la Circularidad: El análisis de retrotraducción cruzada (usando modelos diferentes) arrojó resultados casi idénticos a la retrotraducción del mismo modelo (delta = -0.0009), descartando que las puntuaciones altas fueran un artefacto metodológico.
• Concordancia Inter-Modelo: Los cuatro modelos independientes convergieron en traducciones semánticamente similares (LaBSE inter-modelo: 0.946), lo que valida la calidad de la traducción independientemente del proveedor del modelo.
• Análisis de Préstamo Léxico:
  • El tagalo retuvo un alto porcentaje de términos en inglés (68.2%), pero no hubo correlación positiva entre la tasa de préstamo léxico y la puntuación de fidelidad semántica (rho = +0.018, p = 0.82).
  • De hecho, en el criollo haitiano, una mayor retención de términos en inglés se correlacionó con menor fidelidad semántica, indicando que las altas puntuaciones reflejan una traducción genuina y no una simple copia de términos técnicos.
• Limitaciones Detectadas:
  • La superposición léxica (BLEU) fue más baja en idiomas de baja recursos y en chino (debido a la granularidad de los caracteres), lo que subraya la necesidad de usar métricas semánticas.
  • Un modelo (Claude Opus 4.5) mostró una ligera degradación en tagalo cuando se alteró el orden de las oraciones, sugiriendo una posible memorización parcial de ciertos documentos.

5. Significado e Implicaciones

• Equidad en la Atención Sanitaria: Los resultados sugieren que los LLMs de vanguardia pueden extender el acceso a información médica de calidad a poblaciones históricamente desatendidas (hablantes de tagalo, criollo haitiano, etc.) con una preservación de significado comparable a la de idiomas mayoritarios.
• Revisión de Políticas: Actualmente, las regulaciones exigen revisión humana obligatoria para todas las traducciones médicas automatizadas. Este estudio proporciona evidencia para considerar enfoques basados en el rendimiento, donde la revisión humana podría priorizarse o ajustarse para materiales estandarizados de educación al paciente, dado el alto nivel de fiabilidad demostrado por los LLMs.
• Advertencia Clínica: Aunque la fidelidad semántica es alta, las métricas automáticas no detectan errores clínicos críticos (como dosis invertidas o alucinaciones). Por lo tanto, el estudio recomienda que, para documentos críticos, la revisión humana siga siendo necesaria hasta que se realicen estudios de comprensión por parte de los pacientes.
• Futuro de la Investigación: Se necesita evaluar otros tipos de documentos (notas clínicas, consentimientos), realizar evaluaciones longitudinales a medida que evolucionan los modelos y estudiar la comprensión real del paciente en entornos del mundo real.

Conclusión:
El estudio concluye que los LLMs de frontera preservan de manera fiable el significado médico a través de idiomas de alta y baja recursos. La convergencia de múltiples métodos de validación confirma que la alta calidad observada es genuina y no un artefacto metodológico, marcando un avance significativo hacia la democratización del acceso a la información médica en múltiples idiomas.