Prompting language influences diagnostic reasoning and accuracy of large language models

Resumen Técnico: El Lenguaje de la Prompt Influye en el Razonamiento Diagnóstico y la Precisión de los Modelos de Lenguaje Grandes

Enunciado del Problema
Aunque los Modelos de Lenguaje Grandes (LLM) muestran promesa en el apoyo a la toma de decisiones clínicas, su fiabilidad en idiomas distintos al inglés sigue siendo incierta. La mayoría de las evaluaciones se basan en datos en inglés y en benchmarks estandarizados de opción múltiple, que no logran capturar la complejidad del razonamiento clínico del mundo real. Dado que la práctica médica está profundamente entrelazada con el idioma, la cultura y la epidemiología local, existe una brecha crítica en la comprensión de si los LLM entrenados predominantemente en corpus en inglés pueden realizar un razonamiento diagnóstico con la misma fidelidad en otros idiomas, como el francés. Esta disparidad plantea riesgos para la implementación equitativa de la atención sanitaria y la seguridad del paciente, particularmente en entornos multilingües.

Metodología
Los autores realizaron una evaluación comparativa bilingüe del razonamiento diagnóstico y la precisión del diagnóstico final en cinco LLM: o3, DeepSeek-R1, GPT-4-Turbo, Llama-3.1-405B-Instruct y BioMistral-7B.

• Conjunto de datos: El estudio utilizó 180 viñetas clínicas que cubren 16 especialidades médicas (excluyendo campos puramente técnicos o quirúrgicos). Las viñetas se derivaron de creación sintética, materiales de referencia y encuentros reales anonimizados. Cada viñeta se construyó en francés y se tradujo independientemente al inglés por dos médicos, asegurando la equivalencia semántica y la precisión clínica.
• Prompting: Se consultó a los modelos una vez por viñeta en ambos idiomas utilizando una prompt estandarizada que instruía al modelo a actuar como médico, proporcionar razonamiento clínico y generar el diagnóstico final en formato JSON.
• Marco de Evaluación: Dos médicos evaluaron independientemente todas las salidas del modelo utilizando una escala de 18 puntos compuesta por seis criterios:
  1. Validez Interna (0–5): Extracción e interpretación de los datos de la viñeta.
  2. Validez Externa (0–3): Precisión del conocimiento médico más allá de la viñeta.
  3. Hipótesis y Diagnóstico Diferencial (0–1): Generación de diferentes relevantes.
  4. Estructura Lógica (0–4): Coherencia y organización del razonamiento.
  5. Expresión (0–2): Corrección sintáctica y semántica.
  6. Precisión del Diagnóstico Final (0–3): Alineación con el diagnóstico de referencia.
• Análisis Estadístico: Las diferencias de rendimiento entre inglés y francés se analizaron utilizando modelos lineales mixtos (LMM) con el idioma como efecto fijo y la viñeta/el evaluador como intercepciones aleatorias. Se utilizaron pruebas unilaterales para evaluar la hipótesis de que el rendimiento en inglés supera al rendimiento en francés, con corrección de Bonferroni para comparaciones múltiples. La fiabilidad inter-evaluador se evaluó utilizando los Coeficientes de Correlación Intraclass (ICC) y el kappa de Cohen.

Resultados Clave

• Rendimiento General: Cuatro de los cinco modelos (DeepSeek-R1, GPT-4-Turbo, Llama-405B, BioMistral-7B) tuvieron un rendimiento significativamente mejor en inglés que en francés. La diferencia media en las puntuaciones generales osciló entre 0.37 y 0.91 puntos en la escala de 18 puntos (p ajustada < 0.05).
  • Llama-405B mostró la brecha más grande (0.91 puntos).
  • BioMistral-7B, a pesar de estar especializado en medicina, obtuvo una puntuación global sustancialmente más baja (mediana ~8–9/18) y exhibió una brecha lingüística significativa (0.78 puntos).
  • o3 fue el único modelo que mostró ningún efecto lingüístico general (diferencia media 0.08, p = 1.000), logrando un rendimiento cercano al techo (mediana 18/18) en ambos idiomas.
• Dimensiones del Razonamiento: La brecha lingüística no fue uniforme entre los tipos de razonamiento. Se observaron disparidades significativas a favor del inglés en:
  • Diagnóstico Diferencial: Llama-405B, GPT-4-Turbo y DeepSeek-R1 generaron diferentes más consistentes en inglés.
  • Estructura Lógica: GPT-4-Turbo, Llama-405B y BioMistral-7B demostraron una organización de razonamiento más coherente en inglés.
  • Validez Interna: Llama-405B y DeepSeek-R1 mostraron una mejor extracción e interpretación de datos clínicos en inglés.
  • Expresión: BioMistral-7B exhibió errores sintácticos más frecuentes en francés.
• Tipos de Razonamiento: La brecha lingüística fue más pronunciada para el razonamiento hipotético-deductivo y algorítmico, que requieren inferencias complejas de múltiples pasos. No se observó ningún efecto lingüístico para el razonamiento probabilístico en ningún modelo.
• Correlación: Para BioMistral-7B, la correlación entre la calidad del razonamiento y la precisión del diagnóstico fue significativamente más fuerte en inglés ($\rho=0.75$) que en francés ($\rho=0.60$), lo que sugiere que el razonamiento y la precisión están más estrechamente acoplados en el contexto del inglés para este modelo.

Significado y Afirmaciones
El artículo afirma que el lenguaje de la prompt sigue siendo un determinante crítico del rendimiento de los LLM en el razonamiento diagnóstico clínico. Los hallazgos demuestran que la brecha de rendimiento no es simplemente una cuestión de recuerdo factual, sino que se extiende a la calidad, coherencia y validez interna del propio proceso de razonamiento clínico.

Los autores argumentan que:

1. Implicaciones de Equidad: Si los modelos producen razonamientos de menor calidad y diagnósticos menos precisos en el idioma nativo de un paciente (no inglés), esto podría exacerbar las disparidades de salud existentes. Esto es particularmente preocupante a medida que los LLM son utilizados cada vez más directamente por los pacientes para obtener información de salud.
2. Más allá de los Exámenes: A diferencia de estudios anteriores limitados a exámenes de certificación médica de opción múltiple, este estudio confirma que las brechas lingüísticas persisten en tareas de razonamiento diagnóstico abiertas que imitan más de cerca la práctica clínica real.
3. La Arquitectura del Modelo Importa: La ausencia de una brecha lingüística en o3 sugiere que los avances en las capacidades de razonamiento (por ejemplo, escalado de cómputo en tiempo de prueba, cadenas de pensamiento extendidas) pueden mitigar parcialmente las disparidades relacionadas con el idioma, incluso cuando los datos de entrenamiento son predominantemente en inglés.
4. Disparidad de Recursos: Dado que el francés es un idioma de recursos relativamente altos con una representación sustancial en los corpus de entrenamiento, los autores postulan que estas disparidades es probable que se amplifiquen para idiomas de recursos más bajos.

El estudio concluye que garantizar un rendimiento equitativo entre idiomas debe ser una prioridad para el desarrollo de modelos y la evaluación regulatoria para evitar que los LLM pierdan la oportunidad de reducir, en lugar de ampliar, las inequidades en el acceso a información de salud confiable. Para apoyar la investigación futura, los autores han publicado el conjunto de datos bilingüe completo y el código de evaluación.