HEAD-QA v2: Expanding a Healthcare Benchmark for Reasoning

1. Problema y Contexto

El campo de la respuesta a preguntas (QA) en el dominio de la salud ha evolucionado con la llegada de los Grandes Modelos de Lenguaje (LLM). Sin embargo, los conjuntos de datos existentes, como la versión original de HEAD-QA (2019), presentaban limitaciones significativas:

• Tamaño y Cobertura Temporal: La versión anterior contenía solo 6,765 preguntas de exámenes entre 2013 y 2017, lo que era insuficiente para evaluar la generalización de modelos modernos a gran escala y su capacidad para retener conocimientos a lo largo del tiempo.
• Complejidad Lingüística y Conceptual: Se necesitaba un recurso que capturara mejor la complejidad del razonamiento médico, incluyendo la integración de conocimiento especializado y la adaptación a la evolución del dominio.
• Necesidad de Baselines Actualizados: Con el auge de modelos como Llama 3 y Mistral, así como técnicas como la Generación Aumentada por Recuperación (RAG) y el Chain-of-Thought (CoT), era crucial establecer nuevas líneas base para entender cómo estos modelos abordan el razonamiento biomédico complejo.

2. Metodología

Construcción del Dataset (HEAD-QA v2)

• Fuente de Datos: Se recopilaron preguntas de exámenes oficiales de especialización sanitaria de España (Ministerio de Sanidad) de los últimos 10 años (2013-2022).
• Escala: El dataset se expandió a 12,751 preguntas, más del doble que la versión anterior.
• Dominios: Cubre seis disciplinas: Medicina (MIR), Enfermería (EIR), Biología (BIR), Química (QIR), Psicología (PIR) y Farmacia (FIR).
• Preprocesamiento:
  • Conversión de PDF a texto y mapeo automático de imágenes (aunque el trabajo se centra en el texto).
  • Corrección manual de errores y estandarización.
  • Conversión de fórmulas químicas a notación SMILES para facilitar el procesamiento por modelos de lenguaje.
  • Almacenamiento en formato Parquet para eficiencia.
• Variantes Multilingües: Se generaron versiones traducidas al inglés, italiano, gallego y ruso utilizando LLaMA-3.1-8B (instrucción ajustada). Se empleó un pipeline de selección basado en la validación de formatos y una evaluación cualitativa mediante traducción inversa (back-translation) y métricas de similitud (BLEU, BERTScore).

Estrategias de Inferencia y Modelos Evaluados

Los autores evaluaron cuatro modelos de código abierto instruidos: Llama 3.1 (8B y 70B), Mistral v0.3 (7B) y Mixtral v0.1 (8x7B). Se probaron tres estrategias principales:

1. Prompting (Cero-shot, Few-shot, CoT):
   • Zero-shot: Instrucciones mínimas para actuar como experto.
   • Few-shot: Inclusión de ejemplos de exámenes médicos (USMLE) en el prompt.
   • Chain-of-Thought (CoT): Instrucción para razonar paso a paso antes de dar la respuesta.
2. Generación Aumentada por Recuperación (RAG):
   • Uso del corpus de libros de texto médicos para USMLE (Jin et al., 2021) y el sistema de recuperación MedCPT (basado en BERT).
   • Se recuperaron los dos fragmentos más relevantes para cada pregunta y se añadieron al prompt.
3. Selección basada en Log-Probabilidades:
   • En lugar de generar texto, el modelo calcula la probabilidad logarítmica de cada opción de respuesta individualmente y selecciona la de mayor probabilidad.

Métricas de Evaluación

• Precisión (Accuracy): Proporción de respuestas correctas.
• Puntuación de Examen Normalizada: Basada en el sistema oficial español (3 errores anulan 1 acierto).
• Ratio de No Respuesta: Fracción de preguntas sin respuesta válida.

3. Resultados Clave

• Impacto de la Escala del Modelo: El factor más determinante fue el tamaño del modelo. Llama-3.1-70B obtuvo consistentemente los mejores resultados (hasta ~83% de precisión en inglés con zero-shot), superando significativamente a los modelos más pequeños (8B/7B).
• Efecto del Idioma: Los modelos rindieron mejor en inglés que en español, excepto en el modelo más grande (Llama-3.1-70B), donde el rendimiento fue equivalente. Esto sugiere que los modelos más pequeños tienen representaciones multilingües menos robustas para terminología especializada.
• Fallo de Estrategias Avanzadas:
  • CoT y Few-shot: No mejoraron el rendimiento; de hecho, en muchos casos (especialmente en modelos pequeños) redujeron la precisión y aumentaron la tasa de no respuesta. Esto indica que el razonamiento explícito paso a paso puede introducir ruido o desviar al modelo de su conocimiento interno en este dominio.
  • RAG: La incorporación de contexto externo no mejoró consistentemente los resultados. En algunos casos, degradó el rendimiento, sugiriendo que los modelos ya poseen suficiente conocimiento interno o que la información recuperada no era lo suficientemente relevante o estaba mal integrada.
  • Selección por Probabilidad: Este método fue el menos efectivo, obteniendo puntuaciones significativamente más bajas que los métodos de generación, probablemente porque pierde la capacidad de razonamiento comparativo entre opciones.
• Estabilidad Temporal: El rendimiento de los modelos se mantuvo estable a lo largo de los años de los exámenes, sin mostrar una degradación o mejora específica en los datos más recientes.

4. Contribuciones Principales

1. Lanzamiento de HEAD-QA v2: Un dataset de referencia masivo (12k+ preguntas) y actualizado, que duplica el tamaño y la cobertura temporal de su predecesor, disponible en Hugging Face.
2. Variantes Multilingües: Provee versiones en inglés, italiano, gallego y ruso, facilitando la investigación en evaluación cruzada de idiomas en el dominio médico.
3. Análisis Exhaustivo de Estrategias: Establece baselines rigurosos que demuestran que, para el razonamiento biomédico de alta especialización, la capacidad intrínseca del modelo (conocimiento y razonamiento) es mucho más crítica que la sofisticación de la estrategia de inferencia (RAG, CoT).
4. Herramienta para Investigación Futura: El dataset está diseñado para estudiar la generalización de modelos, la retención de conocimiento y los efectos temporales en el razonamiento médico.

5. Significado e Implicaciones

Este trabajo redefine lo que constituye un desafío en el benchmarking médico para LLMs. Los resultados sugieren que, en dominios altamente especializados como la medicina, la escalabilidad del modelo es la vía principal de mejora, más que la complejidad de los prompts o la adición de herramientas externas como RAG.

• Para la Investigación: Pone de manifiesto que las técnicas que funcionan bien en otros dominios (como CoT en matemáticas o RAG en QA general) pueden no ser óptimas para el razonamiento médico, donde el conocimiento interno del modelo es crucial.
• Para la Práctica: Indica que para aplicaciones médicas reales, la inversión debe centrarse en el entrenamiento y ajuste fino de modelos de gran escala con datos de alta calidad, en lugar de depender exclusivamente de arquitecturas de inferencia complejas.
• Limitaciones: El estudio no incluyó modelos propietarios de vanguardia (GPT-4, Claude) debido a restricciones de costos, y las traducciones automáticas, aunque validadas, podrían contener inconsistencias terminológicas menores.

En conclusión, HEAD-QA v2 se establece como un recurso esencial y confiable para avanzar en la investigación sobre razonamiento biomédico, demostrando que la calidad y el tamaño del modelo son los pilares fundamentales para el éxito en este campo.