EpiQAL: Benchmarking Large Language Models in Epidemiological Question Answering for Enhanced Alignment and Reasoning

Resumen Técnico: EPIQAL

1. El Problema

La epidemiología requiere razonamiento a nivel poblacional para inferir la carga de enfermedades, dinámicas de transmisión y efectos de intervenciones, lo cual difiere fundamentalmente del razonamiento clínico centrado en pacientes. A pesar del avance de los Modelos de Lenguaje Grandes (LLMs) en preguntas y respuestas (QA) biomédicas, existen carencias críticas:

• Brecha de Evaluación: Los benchmarks existentes (como MedQA o PubMedQA) se centran en conocimiento clínico o razonamiento a nivel de paciente, o bien en formatos de extracción simple. No evalúan sistemáticamente la inferencia epidemiológica basada en evidencia.
• Limitaciones de los Datos Actuales: Los conjuntos de datos actuales suelen ser específicos de una enfermedad, dependen de resúmenes (abstracts) en lugar de artículos completos, o carecen de un anclaje verificable a la evidencia documental, lo que permite a los modelos explotar patrones superficiales (como la superposición léxica) en lugar de comprender el contenido.
• Desafíos de Construcción: Crear un benchmark epidemiológico requiere abordar cuatro desafíos: alcance (generalización entre enfermedades), fundamentación (trazabilidad a la evidencia), verificación (manejo de múltiples respuestas válidas) y dificultad (evitar pistas superficiales).

2. Metodología

Los autores presentan EpiQAL (Epidemiological QA over the Literature), el primer benchmark diagnóstico para QA epidemiológica. La metodología se basa en un pipeline automatizado de construcción de datos con control de calidad humano.

A. Diseño del Benchmark (Tres Subconjuntos)
El benchmark consta de 1,432 instancias (475-479 por subconjunto) derivadas de artículos de PLOS Neglected Tropical Diseases, organizados en tres tareas progresivas:

1. EpiQAL-A (Recuerdo de Hechos): Preguntas de recuperación de información donde la respuesta correcta está explícitamente en el texto. Los distractores son confusos pero factuales (mismos datos, contexto diferente).
2. EpiQAL-B (Inferencia Multi-paso): Requiere integrar múltiples hallazgos del documento y aplicar principios epidemiológicos para llegar a una conclusión que no está escrita explícitamente en una sola oración.
3. EpiQAL-C (Reconstrucción de Conclusiones): Evalúa la capacidad de inferir conclusiones basándose solo en la sección de Métodos y Resultados, manteniendo oculta la sección de Discusión. Esto prueba la capacidad de juicio crítico sobre lo que los datos soportan realmente.

B. Pipeline de Construcción y Control de Calidad

• Taxonomía: Se desarrolló una taxonomía experta con 6 clases y 25 temas para asegurar cobertura diversa.
• Generación y Verificación Multi-Modelo: Un modelo generador crea preguntas y opciones. Un grupo de verificación (múltiples LLMs) valida la consistencia factual y la validez de los distractores.
• Control de Dificultad: Se utiliza un sistema de puntuación de dificultad (DiffScore) basado en el rendimiento de un grupo de modelos de referencia. Las instancias demasiado fáciles se someten a refinamiento de tallo (stem refinement), donde las entidades clave en la pregunta se reemplazan por descripciones para evitar la coincidencia léxica superficial.
• Revisión Humana: Las opciones con votos inciertos pasan a revisión humana para garantizar la precisión.

3. Contribuciones Clave

1. Formalización del Problema: Definen la QA epidemiológica como un problema distinto que requiere razonamiento poblacional sobre evidencia de estudios, diferenciándolo del QA clínico tradicional.
2. Marco de Construcción Automatizado: Proponen un framework que integra taxonomía experta, verificación multi-LLM, control de dificultad y revisión humana selectiva para generar datos de alta calidad.
3. Benchmark EpiQAL: Lanzan el primer conjunto de datos con tres subconjuntos complementarios que aíslan capacidades específicas (recuerdo, inferencia, reconstrucción) y un protocolo de evaluación basado en conjuntos (set-based evaluation) para manejar preguntas con múltiples respuestas correctas.

4. Resultados Experimentales

Se evaluaron 14 modelos (desde 3B hasta 70B parámetros, incluyendo OpenAI, DeepSeek, Meta, Mistral, Qwen y GLM) bajo configuraciones zero-shot, Chain-of-Thought (CoT) y one-shot.

• Rendimiento General: Los LLMs actuales muestran un rendimiento limitado en razonamiento epidemiológico. Incluso los modelos más potentes están lejos del rendimiento máximo teórico.
• La Inferencia Multi-paso es el Cuello de Botella: El rendimiento cae drásticamente en EpiQAL-B. Sin CoT, solo 3 de 14 modelos superan un 70% de Exact Match (EM). Los distractores a nivel de razonamiento (errores causales, confusión de variables) desafían a los modelos independientemente de su tamaño.
• El Tamaño no Garantiza el Éxito: No hay un modelo dominante en todos los subconjuntos.
  • Ejemplo: Mistral-7B supera a Mistral-Large y a modelos de 70B parámetros en EpiQAL-B y C, demostrando que la calidad del ajuste (instruction tuning) y la arquitectura importan más que la escala bruta en esta tarea.
  • Ejemplo: DeepSeek-Reasoner lidera en EpiQAL-A y B, pero cae al segundo lugar en EpiQAL-C.
• Efecto del Chain-of-Thought (CoT):
  • Beneficia significativamente la inferencia multi-paso (EpiQAL-B), mejorando el EM en modelos como Llama-3.1-8B (+0.347).
  • Tiene efectos mixtos en EpiQAL-C; en algunos casos (como GPT-5-mini), el razonamiento explícito amplifica errores cuando la evidencia es incompleta.
• Análisis de Distractores:
  • En EpiQAL-A, los "casi aciertos semánticos" (semantic near-misses) son los distractores más engañosos.
  • En EpiQAL-B, los errores de razonamiento (confusión de variables, causalidad inversa) tienen tasas de engaño uniformemente altas.
  • En EpiQAL-C, los modelos luchan para distinguir entre hipótesis no probadas y conclusiones basadas en evidencia.

5. Significado e Impacto

• Avance en IA para Salud Pública: EpiQAL proporciona señales diagnósticas finas sobre las capacidades de razonamiento de los LLMs en un dominio crítico para la salud pública, más allá de la recuperación de hechos médicos.
• Necesidad de Razonamiento Profundo: Los resultados indican que la simple recuperación de información o el reconocimiento de patrones superficiales son insuficientes para la epidemiología. Se requiere una integración profunda de evidencia y principios causales.
• Dirección Futura: El benchmark revela que la escalabilidad de parámetros no es la solución única; se necesitan mejoras en el entrenamiento para el razonamiento multi-paso y la gestión de la incertidumbre en la reconstrucción de conclusiones.
• Recursos Abiertos: El código y los datos están disponibles para fomentar investigaciones futuras sobre razonamiento basado en evidencia en salud pública.

En conclusión, EpiQAL establece un nuevo estándar para evaluar la capacidad de los LLMs de actuar como asistentes de razonamiento epidemiológico, destacando que, aunque prometedores, los modelos actuales aún tienen dificultades significativas para sintetizar evidencia científica compleja de manera fiable.