Cross-Lingual Empirical Evaluation of Large Language Models for Arabic Medical Tasks

Resumen Técnico: Evaluación Empírica Translingüística de Modelos de Lenguaje de Gran Tamaño para Tareas Médicas en Árabe

Planteamiento del Problema
Si bien los Modelos de Lenguaje de Gran Tamaño (LLM) han demostrado capacidades notables en aplicaciones médicas centradas en el inglés —como el apoyo a la decisión clínica y la respuesta a preguntas médicas—, su fiabilidad en comunidades lingüísticamente diversas sigue sin estar probada. Evaluaciones previas han señalado caídas sustanciales en el rendimiento de los LLM médicos en lenguas de bajos recursos como el árabe; sin embargo, las causas subyacentes de estas discrepancias se comprenden poco. La literatura existente suele atribuir los fallos de forma genérica a la limitación de los datos de preentrenamiento o a desajustes en el dominio, sin desentrañar sistemáticamente si la degradación proviene de propiedades lingüísticas intrínsecas (p. ej., morfología, tokenización), una adaptación insuficiente al dominio médico, elecciones arquitectónicas o la interacción entre estos factores. Esta falta de comprensión granular dificulta el diseño de estrategias efectivas de entrenamiento y evaluación multilingüe.

Metodología
Los autores presentan un estudio empírico translingüístico sistemático diseñado para aislar los contribuyentes específicos a las brechas de rendimiento entre las tareas médicas en árabe e inglés. El estudio utiliza MedAraBench, un conjunto de datos de preguntas de opción múltiple (MCQ) médicas en árabe que contiene 19 especialidades médicas, junto con su contraparte traducida al inglés. Al evaluar los modelos tanto en las preguntas originales en árabe como en sus traducciones al inglés, los autores controlan el contenido médico para aislar el efecto de la representación lingüística.

El marco de evaluación aborda cinco preguntas de investigación (RQ) específicas utilizando un conjunto diverso de modelos de código abierto, incluyendo LLM de propósito general (p. ej., DeepSeek-V3.2, LLaMA 3.3 70B) y modelos adaptados al dominio médico (p. ej., Meditron 3, Med42, MedGemma). La metodología consiste en:

1. Comparación de Precisión Translingüística: Medir las diferencias de rendimiento entre las entradas en árabe e inglés bajo estructuras de prompting idénticas.
2. Análisis Granular: Investigar cómo la longitud de la entrada, la dificultad educativa (años de estudio) y la especialidad médica afectan el rendimiento.
3. Alineación y Formato de Salida: Comparar el "emparejamiento suave" (soft matching, selección de letra) frente al "emparejamiento duro" (hard matching, generación de texto libre) para evaluar el seguimiento de instrucciones y la generación de la forma superficial.
4. Análisis de Tokenización: Examinar la eficiencia de la tokenización, las tasas de fragmentación (tokens por palabra, caracteres por token) y la prevalencia de tokens de un solo carácter.
5. Evaluación de Fiabilidad: Analizar la correlación entre la confianza reportada por el modelo/las explicaciones y la corrección real.

Contribuciones Clave
El artículo realiza tres contribuciones primordiales:

• Marco de Diagnóstico: El diseño de un marco de evaluación diagnóstica translingüística que permite un análisis controlado a través de idiomas, formatos de salida, comportamientos de tokenización y señales de fiabilidad.
• Estudio Empírico Aislado: El primer estudio sistemático sobre MedAraBench y su contraparte en inglés para aislar los efectos del lenguaje controlando el contenido del dominio médico.
• Hallazgos Desentrañados: La identificación de que la degradación del rendimiento en árabe es impulsada por una compleja interacción de factores de representación, alineación y evaluación, más que por una simple falta de conocimiento médico.

Resultados
El análisis empírico arroja varios hallazgos críticos:

• Brecha de Rendimiento Persistente: En casi todos los modelos evaluados, la precisión en árabe es significativamente menor que en inglés. Esta brecha se intensifica con el aumento de la complejidad de la tarea (p. ej., años posteriores de estudio médico) y la generación de texto libre. DeepSeek-V3.2 es el único modelo que muestra un rendimiento comparable en ambos idiomas; notablemente, un mayor tamaño del modelo no garantiza una reducción de la degradación translingüística.
• Complejidad de la Tarea y Longitud: La degradación del rendimiento en árabe se ve desproporcionadamente afectada por la longitud de la entrada y la dificultad. Mientras que el rendimiento en inglés se mantiene relativamente estable con entradas más largas, la precisión en árabe se degrada significamente a medida que aumenta la longitud de la pregunta.
• Sensibilidad al Formato de Salida: La brecha de rendimiento se amplía cuando se requiere que los modelos generen respuestas de texto libre en comparación con la selección de opciones basadas en letras. Las salidas en árabe exhiben una menor similitud de la forma superficial con la verdad de referencia (ground truth), lo que sugiere que las tareas de seguimiento de instrucciones y generación amplifican las dificultades específicas del idioma.
• Fragmentación de la Tokenización: El análisis de la tokenización revela una fragmentación estructural en el texto médico en árabe. Las entradas en árabe requieren consistentemente más tokens por palabra y exhiben tasas más altas de tokens de un solo carácter en comparación con el inglés. Si bien esta fragmentación se correlaciona con un mayor uso de tokens y posibles caídas de rendimiento, el efecto no es uniforme; algunos modelos (como DeepSeek-V3.2) mantienen la estabilidad a pesar de la fragmentación, lo que indica que la tokenización es un factor contribuyente pero no el único.
• Confianza No Fiable: La confianza reportada por el modelo y las explicaciones generadas muestran una correlación limitada con la corrección. De hecho, se observó una correlación negativa moderada, donde las predicciones con mayor confianza eran a menudo menos precisas. Esta descalibración sugiere que las puntuaciones de confianza no son indicadores fiables de la corrección en entornos médicos.

Significancia
El artículo argumenta que las brechas de rendimiento observadas en los LLM médicos en árabe no son simplemente el resultado de la insuficiencia de conocimientos médicos o la escasez de datos. En su lugar, la degradación es impulsada por factores interactivos que incluyen problemas de representación lingüística (fragmentación de la tokenización), restricciones de alineación y protocolos de evaluación. El estudio subraya la necesidad de estrategias de diseño y evaluación conscientes del lenguaje. Los autores concluyen que, sin comprender qué factores específicos dominan el fallo del modelo, es difícil diseñar estrategias de entrenamiento multilingüe o procedimientos de alineación efectivos. Este trabajo proporciona un enfoque diagnóstico fundamental para ir más allá de las puntuaciones de rendimiento agregadas y abordar los mecanismos específicos que subyacen a los fallos de los LLM en lenguas subrepresentadas.