Effects of Cross-lingual Evidence in Multilingual Medical Question Answering

Resumen Técnico: Efectos de la Evidencia Cruzada en la Respuesta a Preguntas Médicas Multilingües

1. Problema y Motivación

A pesar de los avances en los Modelos de Lenguaje Grandes (LLM) en el ámbito médico, estos modelos enfrentan desafíos críticos como alucinaciones, generación no fundamentada y limitaciones en la consistencia factual. La mayoría de la investigación actual se centra en el inglés, dejando un vacío significativo en idiomas de recursos bajos y medios. Además, existe una falta de consenso sobre la estrategia óptima para integrar conocimiento externo (RAG - Generación Aumentada por Recuperación) en escenarios multilingües:

• ¿Es mejor recuperar información en el idioma de la pregunta o en inglés?
• ¿Depende la estrategia del tamaño del modelo (número de parámetros)?
• ¿Son las fuentes curadas (PubMed, Wikipedia) suficientes o es necesario buscar en la web?

El objetivo del estudio es determinar cómo la integración de evidencia externa afecta el rendimiento en la Respuesta a Preguntas Médicas (MQA) a través de diferentes idiomas, tamaños de modelos y fuentes de datos.

2. Metodología

Dataset y Configuración:

• Dataset: Se utilizó el conjunto de datos CasiMedicos (del benchmark MedExpQA), que contiene preguntas de opción múltiple basadas en casos clínicos.
• Idiomas: Se evaluaron seis idiomas:
  • Alta disponibilidad: Inglés (EN), Español (ES), Francés (FR), Italiano (IT).
  • Baja disponibilidad: Vasco (EU), Kazajo (KK).
  • Nota: Los idiomas de baja disponibilidad se tradujeron al dataset original utilizando Claude-3.5-Sonnet y se validaron manualmente con hablantes nativos.
• Modelos: Se probaron modelos de diferentes tamaños (de 8B a 72B+ parámetros) de las familias Qwen, Llama y Gemma (incluyendo versiones médicas como MedGemma).

Fuentes de Evidencia Externa (Tipos de Recuperación):

1. Repositorios Médicos Curados: Documentos recuperados de PubMed, Wikipedia y libros de texto (principalmente en inglés).
2. Búsqueda Web: Recuperación de documentos mediante APIs (Cohere y Google/Serper).
3. Conocimiento Paramétrico: Generación de explicaciones directamente por el LLM sin recuperación externa.

Estrategias de Recuperación Evaluadas:

• Monolingüe: Recuperación solo en el idioma de la pregunta.
• Monolingüe (Inglés): Recuperación solo en inglés, independientemente del idioma de la pregunta.
• Cruzada (Cross-lingual): Combinación de documentos en inglés y en el idioma objetivo (50/50).

Configuración Experimental:

• Se determinó que 10 documentos es el número óptimo para la recuperación (tras probar de 1 a 32 documentos).
• Se evaluó el rendimiento en términos de precisión (accuracy) comparando el modelo base (sin recuperación) contra las variantes con RAG.

3. Contribuciones Clave

1. Dominio de la Recuperación en Inglés: Para idiomas de alta recursos, recuperar evidencia exclusivamente en inglés (a partir de la web) supera consistentemente a la recuperación en el idioma de la pregunta. Esto se debe a la mayor densidad de contenido médico de calidad en inglés en la web y a los sesgos de pre-entrenamiento de los LLMs.
2. Necesidad de Recuperación Cruzada para Recursos Bajos: Para idiomas como el Vasco y el Kazajo, la recuperación monolingüe es insuficiente debido a la escasez de datos. La estrategia óptima es combinar inglés y el idioma objetivo, lo que cierra la brecha de rendimiento con los idiomas de alta recursos.
3. Impacto del Escala del Modelo:
   • Modelos Pequeños (<30B): Se benefician significativamente de la evidencia externa (mejora de ~8.2% sobre la línea base).
   • Modelos Grandes (≥70B): A menudo sufren una degradación del rendimiento (caída de ~2.4% en promedio) al añadir contexto externo. Esto sugiere que estos modelos ya han internalizado suficiente conocimiento médico durante el pre-entrenamiento y la información externa introduce ruido o conflictos de conocimiento.
4. Limitación de Fuentes Curadas: Las fuentes tradicionales como PubMed y Wikipedia tienen una cobertura multilingüe extremadamente pobre (menos del 0.03% de documentos relevantes en idiomas no ingleses), mientras que la búsqueda web ofrece mayor cobertura pero con más ruido.

4. Resultados Principales

• Rendimiento General: Los modelos más grandes (≥70B) obtienen los mejores resultados en general, incluso sin recuperación externa en inglés.
• Efecto de la Recuperación Web: La búsqueda web en inglés es la estrategia más efectiva para idiomas de alta recursos. Para idiomas de baja recursos, la combinación (inglés + idioma local) es la única que logra precisión comparable a los idiomas ricos.
• Degradación en Modelos Grandes: Contrario a la intuición, añadir documentos recuperados a modelos de 70B+ parámetros a veces reduce la precisión, especialmente en idiomas como español, francés e italiano. Esto indica un conflicto entre el conocimiento paramétrico interno y la evidencia no paramétrica externa.
• Análisis de Fuentes: En las búsquedas web en inglés, menos del 20% de los documentos provienen de fuentes autorizadas (PubMed/Wikipedia), siendo el resto sitios médicos generales. En otros idiomas, la presencia de fuentes curadas es casi nula.

5. Significado e Implicaciones

Este estudio desafía la suposición común de que "más conocimiento externo siempre mejora el rendimiento". Los hallazgos demuestran que la estrategia de RAG no es "talla única" (one-size-fits-all) y depende críticamente de:

1. El tamaño del modelo: Los modelos pequeños necesitan ayuda externa; los grandes pueden necesitar menos o ninguna.
2. La disponibilidad de recursos lingüísticos: Los idiomas de baja recursos requieren estrategias de recuperación cruzada (inglés + local) para ser viables.
3. La fuente de datos: La web es más rica en contenido multilingüe que las bases de datos médicas tradicionales, aunque con menor calidad curada.

Conclusión: Para implementar sistemas de QA médica multilingüe efectivos, es crucial adaptar la estrategia de recuperación al idioma objetivo y al tamaño del modelo. Para idiomas de baja recursos, la combinación de evidencia en inglés y local es esencial, mientras que para modelos masivos, la dependencia de la recuperación externa debe evaluarse cuidadosamente para evitar la degradación por ruido.

El código y los recursos del estudio están disponibles públicamente en GitHub, facilitando la reproducción y expansión de estos hallazgos.