Resumen Técnico: LLMs más saludables: Generación Aumentada por Recuperación para la Respuesta a Preguntas de Salud Pública

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) demuestran potencial en la respuesta a preguntas médicas, pero enfrentan limitaciones críticas en aplicaciones de salud pública: alucinaciones e la incapacidad de seguir el ritmo de la guía oficial que evoluciona rápidamente. A diferencia del soporte de decisiones clínicas, que a menudo se dirige a pacientes individuales, la guía de salud pública es a nivel poblacional, precautoria y se actualiza con frecuencia. Depender únicamente de la memoria paramétrica conlleva el riesgo de difundir consejos desactualizados o inexactos, lo que puede conducir a una toma de decisiones individual perjudicial o a comportamientos poblacionales peligrosos. Si bien la Generación Aumentada por Recuperación (RAG) ofrece una solución al fundamentar las respuestas en un corpus externo, su rendimiento de extremo a extremo en salud pública depende fuertemente de configuraciones de recuperación específicas y métodos de evaluación que van más allá de los formatos estándar de opción múltiple.

Metodología

Los autores extienden PubHealthBench, un benchmark de 7,929 preguntas de opción múltiple (MCQA) y 760 preguntas de formato libre derivadas de la guía de salud pública del Gobierno del Reino Unido, hacia un entorno aumentado por recuperación.

1. Conjunto de Datos y Corpus

• Fuente: 687 documentos de guía de salud pública del Gobierno del Reino Unido que cubren 10 áreas temáticas.
• Construcción del Corpus: Los documentos se convirtieron a Markdown y se dividieron en fragmentos (chunks) basados en la jerarquía de encabezados, resultando en 5,358 fragmentos.
• Variantes del Corpus:
  • CF (Corpus Completo): Fragmentos originales.
  • CS (Solo Resúmenes): Fragmentos resumidos por GPT-4o-mini para la recuperación.
  • CR (Corpus Reducido): Fragmentos >512 tokens reemplazados por resúmenes para ajustarse a los límites de contexto del modelo de incrustación (embedding).
• Estrategias de Recuperación: El estudio evaluó sistemáticamente cinco configuraciones de recuperación a través de múltiples modelos de incrustación (por ejemplo, NV-Embed-v2, Multilingual-E5, ModernBERT) e índices dispersos (BM25, TF-IDF):
  • Solo Densos: Similitud de coseno utilizando incrustaciones densas.
  • Solo Dispersos: Solapamiento de palabras clave (BM25/TF-IDF).
  • Híbrido: Fusión de Clasificación Recíproca Ponderada (RRF) de resultados densos y dispersos.
  • Híbrido basado en Resúmenes: Recuperación híbrida realizada sobre resúmenes, con fragmentos completos pasados al generador.
  • Híbrido de Corpus Reducido: Recuperación híbrida en un corpus donde los fragmentos largos son resumidos.

2. Generación y Evaluación

• Modelos: 11 LLMs que van desde 1B hasta 70B de parámetros (por ejemplo, Llama 3.3, Phi-4, Gemma-3, MedGemma).
• Evaluación MCQA: Se midió la precisión en PubHealthBench-Full con variaciones en el número de fragmentos de contexto ($k \in \{1, 3, 5, 10\}$).
• Evaluación de Formato Libre: Introdujo un juez basado en LLM con rúbrica (GPT-OSS-120B) para evaluar las respuestas en cuatro criterios: Fidelidad (sin nuevas afirmaciones), Completitud (todos los puntos clave), Consistencia Fáctica (exactitud respecto a la guía) y Claridad.
• Validación: El juez LLM fue validado contra anotaciones de expertos humanos duales en una muestra de 100 respuestas utilizando el coeficiente Kappa de Cohen y F1 macro.

Resultados Clave

Rendimiento de la Recuperación

• Superioridad Híbrida: La recuperación híbrida superó consistentemente a los métodos solo densos y solo dispersos en todas las métricas (Recall@k, MRR, nDCG@10).
• Sensibilidad del Modelo: Aunque NV-Embed-v2 fue el modelo denso más fuerte, la recuperación híbrida redujo significamente la brecha de rendimiento entre los modelos de incrustación grandes y pequeños (por ejemplo, mejorando los codificadores más pequeños en un 5–10 por ciento).
• Impacto de la Longitud del Fragmento: La calidad del ranking (Precision@1, MRR) se degradó drásticamente a medida que la longitud del fragmento objetivo excedía las 700–800 palabras. La recuperación basada en resúmenes mitigó parcialmente esto, pero no lo eliminó.
• Varianza de Temas: Mientras que el recall fue mayormente independiente del tema, la calidad del ranking mostró desviaciones sistemáticas entre temas (por ejemplo, Tuberculosis vs. Seguridad de la Sangre), sugiriendo que el lenguaje o la estructura específicos del tema afectan el rendimiento de la incrustación.

Rendimiento de la Generación (MCQA)

• Impacto de la Recuperación: Proporcionar contexto recuperado aumentó sustancialmente la precisión de MCQA. Los modelos más pequeños de pesos abiertos (por ejemplo, Phi-4-14B, Gemma-3-12B) con recuperación de alta calidad igualaron o superaron el rendimiento de modelos más grandes (por ejemplo, GPT-4.5) que operan sin recuperación.
• Contexto Óptimo: La máxima precisión se logró típicamente con $k=3$ a $k=5$ fragmentos. Aumentar $k$ a 10 introdujo ruido con rendimientos decrecientes.
• Sensibilidad al Ranking: Recuperar el fragmento correcto en el rango 1 produjo las mayores ganancias. Los modelos más pequeños fueron más sensibles a la posición del rango que los modelos más grandes, que podían extraer información relevante de contextos con más ruido.

Evaluación de Formato Libre y Validación del Juez

• Fiabilidad del Juez: El juez LLM mostró un fuerte acuerdo con los humanos en Fidelidad ($\kappa \approx 0.64$) y Completitud ($\kappa \approx 0.59$). El acuerdo fue débil para la Consistencia Fáctica ($\kappa \approx 0.06$) y la Claridad, indicando que estas dimensiones son difíciles de automatizar de manera fiable.
• Comportamiento del Modelo: Los modelos medianos y grandes lograron alta completitud y claridad, pero tuvieron dificultades con la Fidelidad; incluso los mejores modelos solo cumplieron el criterio de fidelidad en aproximadamente el 64% de los casos, incorporando a menudo guías extrañas.
• Efecto del Rango en la Fidelidad: La fidelidad cayó drásticamente a medida que aumentaba el rango del fragmento objetivo, confirmando que los modelos dependen fuertemente del contexto temprano y alucinan cuando la evidencia más relevante está enterrada.

Significancia y Reivindicaciones

El artículo afirma que la configuración de la recuperación es una palanca primaria para una respuesta de preguntas de salud pública fiable, siendo a menudo más impactante que el tamaño del modelo por sí solo.

1. RAG como Estabilizador: Fundamentar los LLMs en un corpus de guía oficial mantenido explícitamente mitiga las alucinaciones y los consejos desactualizados, permitiendo que los sistemas permanezcan alineados con la política de salud pública en evolución sin necesidad de reentrenar el modelo.
2. Eficiencia vía RAG: Un stack de recuperación bien diseñado permite que modelos más pequeños de pesos abiertos superen a modelos cerrados más grandes que dependen únicamente de la memoria paramétrica. Esto ofrece una vía práctica para las instituciones de salud pública con restricciones de presupuesto e infraestructura.
3. Matiz de la Evaluación: El estudio destaca que los benchmarks estándar de MCQA pueden sobreestimar la capacidad debido a las pistas de las opciones de respuesta. La evaluación de formato libre es necesaria pero requiere un diseño de rúbrica cuidadoso; actualmente, la evaluación automatizada de la "consistencia fáctica" sigue siendo poco fiable, lo que requiere supervisión humana o mayor desarrollo de métodos.
4. Guía Práctica: Para el despliegue, los autores recomiendan la recuperación híbrida, un fragmentado (chunking) cuidadoso (evitando longitudes excesivas) y limitar el contexto a los 3–5 fragmentos superiores para un rendimiento-costo óptimo.

El trabajo concluye que, si bien RAG mejora significamente la fiabilidad, los benchmarks futuros deben abordar el soporte de evidencia múltiple y las consultas fuera del corpus para probar completamente la robustez de los sistemas en escenarios de salud pública del mundo real.