Healthy LLMs? Benchmarking LLM Knowledge of UK Government Public Health Information

Este artículo presenta PubHealthBench, un nuevo conjunto de datos con más de 8000 preguntas derivadas de la información de salud pública del gobierno del Reino Unido, que revela que aunque los modelos de lenguaje más avanzados superan a los humanos en pruebas de opción múltiple, su rendimiento disminuye significativamente en respuestas de texto libre, lo que subraya la necesidad de salvaguardas adicionales para su uso seguro en este ámbito.

Lo esencial

Título: ¿Son los "Cerebros Digitales" Expertos en Salud Pública? Un Examen de Choque

Imagina que los Modelos de Lenguaje Grandes (LLMs), como los chatbots que usamos hoy, son como estudiantes universitarios muy inteligentes que han leído millones de libros. Pero, ¿qué pasa si les pedimos que den consejos sobre la salud pública del Reino Unido? ¿Son realmente expertos o solo están adivinando?

Este documento es como un examen sorpresa diseñado por la Agencia de Seguridad Sanitaria del Reino Unido (UKHSA) para poner a prueba a 24 de estos "estudiantes digitales".

Aquí tienes la explicación de lo que descubrieron, usando analogías sencillas:

1. El Problema: ¿Confianza o Alucinación?

La salud pública es como un manual de instrucciones de emergencia. Si un médico o un ciudadano lee algo incorrecto sobre vacunas, virus o seguridad alimentaria, las consecuencias pueden ser graves.
El problema es que estos chatbots a veces "alucinan": inventan información que suena muy real pero que es falsa. El Reino Unido necesitaba saber: ¿Podemos confiar en estos robots para darnos consejos de salud actualizados?

2. La Prueba: "PubHealthBench" (El Gran Examen)

Para responder, crearon un examen gigante llamado PubHealthBench.

• La Fuente: Tomaron más de 600 documentos oficiales del gobierno (PDFs y webs) que contienen las reglas reales de salud.
• El Método: Usaron un robot para leer esos documentos y crear automáticamente más de 8,000 preguntas de opción múltiple. Es como si un profesor creara un examen de 8,000 preguntas basándose estrictamente en el libro de texto oficial.
• Dos Tipos de Prueba:
  1. Opción Múltiple (MCQA): Como un examen de test. "¿Cuál es la respuesta correcta: A, B o C?".
  2. Respuesta Libre (Free Form): Como una entrevista. "Explícame qué debo hacer si tengo fiebre". Aquí no hay pistas ni opciones para elegir.

3. Los Resultados: ¿Quién aprobó?

En el examen de Opción Múltiple (El Test):

¡Fue un éxito rotundo para los modelos más potentes!

• Los modelos más avanzados (como GPT-4.5 y o1) obtuvieron más del 90% de aciertos.
• La analogía: Imagina que les das un test de 10 preguntas sobre el manual de salud. Ellos aciertan 9 o 10. Incluso superaron a personas normales que usaban Google para buscar las respuestas en menos de 2 minutos.
• Conclusión: Si solo necesitas elegir una opción de una lista, estos robots son excelentes "bibliotecarios" que conocen el manual de memoria.

En la Respuesta Libre (La Entrevista):

Aquí es donde las cosas se ponen difíciles.

• Cuando se les pidió explicar las cosas con sus propias palabras (sin opciones A, B, C), el rendimiento cayó drásticamente. Ningún modelo superó el 75%.
• El problema: En lugar de dar la respuesta exacta del manual, a veces añadían información extra que no estaba en la guía oficial, omitían pasos importantes o, peor aún, daban consejos contradictorios.
• La analogía: Es como pedirle a un chef experto que cocine un plato siguiendo una receta exacta. En el test de opción múltiple, sabe identificar los ingredientes. Pero cuando le pides que cocine el plato a mano, a veces añade sal de más o se olvida de un paso crucial.

4. ¿Qué aprendimos de esto?

• Los "Gigantes" vs. Los "Pequeños": Los modelos más grandes y caros (propiedad de empresas como OpenAI) funcionan muy bien. Pero los modelos más pequeños y abiertos (como versiones gratuitas) suelen fallar mucho más, especialmente cuando tienen que inventar una respuesta libre. A veces fallan hasta un 60% más que en el test de opción múltiple.
• El Sesgo del Público: Curiosamente, los robots sabían más sobre las guías dirigidas al público general que sobre las guías técnicas para médicos. Esto es bueno, porque son las personas comunes las que más usan los chatbots para buscar información de salud.
• El Peligro de la "Alucinación": El mayor riesgo no es que el robot no sepa la respuesta, sino que invente una respuesta que suena convincente pero es peligrosa (por ejemplo, sugerir tomar un medicamento en el momento equivocado).

5. La Conclusión Final: ¿Podemos confiar en ellos?

El estudio dice: "Sí, pero con precaución".

• La buena noticia: La tecnología ha avanzado tanto que los mejores modelos saben casi todo lo que dice el gobierno sobre salud. Son herramientas poderosas.
• La mala noticia: Cuando hablan libremente, a veces se salen del guion. No son perfectos.

La recomendación: No deberíamos usar estos chatbots como si fueran doctores que deciden tu tratamiento sin supervisión. Necesitamos herramientas de seguridad (como un "supervisor humano" o un sistema que verifique que lo que dice el robot coincide exactamente con el documento oficial) antes de dejar que den consejos de salud a la gente.

En resumen: Los robots son estudiantes brillantes que sacan un 9 en los tests, pero a veces sacan un 6 en los trabajos prácticos. Por ahora, es mejor que un humano revise su tarea antes de enviarla al mundo.

Resumen técnico

Resumen Técnico: Benchmarking de LLMs en Información de Salud Pública del Reino Unido

1. Planteamiento del Problema

Con la creciente accesibilidad de los Modelos de Lenguaje Grande (LLMs) y sus aplicaciones de chatbot, existe una necesidad crítica de comprender su conocimiento en dominios específicos, especialmente en medicina y salud pública. En el contexto del Reino Unido, la falta de recuperación de información relevante, precisa y actualizada podría tener un impacto significativo en la toma de decisiones de los residentes y profesionales.

Aunque existen varios benchmarks para LLMs en el ámbito clínico (como USMLE), hay una brecha importante en la evaluación de conocimientos sobre salud pública y, específicamente, sobre las directrices actuales del Gobierno del Reino Unido (UK Government). Los riesgos incluyen:

• Alucinaciones: Generación de información falsa o incompleta.
• Obsolescencia: Las directrices de salud pública se revisan con frecuencia, lo que desafía a los modelos entrenados con datos estáticos.
• Falta de evaluación integral: No existía un benchmark que cubriera el espectro de la salud pública británica (prevención, riesgos ambientales, brotes infecciosos, etc.).

2. Metodología: PubHealthBench

Los autores introducen PubHealthBench, un nuevo benchmark diseñado para evaluar el conocimiento de los LLMs sobre las directrices de salud pública del Reino Unido. El proceso de creación y evaluación se divide en las siguientes etapas:

• Recopilación de Datos:
  • Se extrajo texto libre de 687 documentos actuales del gobierno del Reino Unido (gov.uk), incluyendo formatos PDF y HTML.
  • Se procesaron 1,150 documentos iniciales, filtrando aquellos que no contenían recomendaciones de salud pública.
• Generación Automatizada de Preguntas (Pipeline):
  • Preprocesamiento: Conversión de documentos a Markdown y segmentación en "chunks" (trozos) basados en la jerarquía de encabezados.
  • Filtrado: Uso de un LLM para clasificar y retener solo los fragmentos con recomendaciones de salud pública relevantes.
  • Generación MCQA: Se utilizó un modelo (Llama-3.3-70B) para generar automáticamente dos preguntas de opción múltiple (MCQA) por fragmento, con una respuesta correcta y seis distractores.
  • Validación Automatizada: Otro LLM se utilizó para detectar errores, inconsistencias con el texto fuente y ambigüedades, filtrando las preguntas inválidas.
• Conjunto de Datos Final:
  • El benchmark final consta de 8,090 preguntas MCQA cubriendo 10 áreas temáticas y 352 sub-áreas de orientación.
  • Se creó un subconjunto revisado manualmente (PubHealthBench-Reviewed) de 800 preguntas para validación de calidad.
  • Se implementó un benchmark de respuesta libre (FreeForm) utilizando el mismo subconjunto revisado, donde los modelos deben generar respuestas abiertas sin opciones múltiples.
• Evaluación Humana y Línea Base:
  • Revisión Humana: Expertos revisaron una muestra aleatoria para estimar la tasa de preguntas inválidas (aprox. 5.5%).
  • Línea Base Humana: 5 humanos respondieron a 600 preguntas con acceso a motores de búsqueda (sin IA), estableciendo un rendimiento de referencia del 88%.
• Métricas de Evaluación:
  • MCQA: Precisión cero-shot (sin ejemplos en el prompt).
  • FreeForm: Evaluación mediante un "Juez LLM" (Grounded LLM Judge) que compara la respuesta generada con el texto fuente original y la respuesta MCQA correcta, verificando consistencia y ausencia de contradicciones.

3. Contribuciones Clave

1. PubHealthBench: El primer benchmark integral y basado en tierra (grounded) para evaluar LLMs en directrices de salud pública del Reino Unido, con más de 8,000 preguntas.
2. Pipeline Automatizado: Un flujo de trabajo escalable para generar y validar preguntas MCQA a partir de documentos técnicos, permitiendo actualizaciones frecuentes a medida que cambian las directrices.
3. Evaluación Dual: Comparación sistemática entre el formato de opción múltiple (MCQA) y el formato de respuesta libre (FreeForm), revelando diferencias críticas en el rendimiento.
4. Línea Base Humana: Establecimiento de un punto de referencia humano con búsqueda de información, crucial para entender el riesgo en escenarios del mundo real.

4. Resultados Principales

Se evaluaron 24 modelos (proprietarios y de pesos abiertos), incluyendo GPT-4.5, o1, Claude-Sonnet-3.7, Llama-3.3, Gemma, y otros.

• Rendimiento en MCQA (Opción Múltiple):
  • Los modelos propietarios de última generación (GPT-4.5, GPT-4.1, o1) lograron una precisión superior al 90%, superando la línea base humana (88%) y acercándose al límite superior teórico estimado (97%).
  • Los modelos de pesos abiertos más grandes (5-15B parámetros) mostraron un conocimiento razonable (>75%), aunque con una brecha de 10-20 puntos porcentuales respecto a los modelos propietarios.
  • Los modelos de "razonamiento" (como o1) no mostraron ventajas significativas sobre los modelos no razonadores en este formato MCQA.
• Rendimiento en Respuesta Libre (FreeForm):
  • Hubo una caída drástica en el rendimiento para todos los modelos, con ninguna puntuando por encima del 75%.
  • El mejor modelo (o1) alcanzó un 74%, una caída de 17 puntos porcentuales respecto a su rendimiento en MCQA.
  • Los modelos más pequeños sufrieron caídas masivas (hasta 60 puntos porcentuales), con algunos modelos pequeños (ej. Llama-3.1-8B) cayendo al 18-19%.
• Análisis por Tema y Audiencia:
  • Los modelos tuvieron mejor rendimiento en directrices dirigidas al público general (hasta 96% en MCQA para GPT-4.5) en comparación con la guía clínica o profesional.
  • Temas como "Clima y Salud" obtuvieron mejores puntuaciones que "Químicos y Toxicología".
• Errores en Respuesta Libre:
  • Los errores principales no fueron solo alucinaciones, sino omisiones de puntos clave de la guía o contradicciones directas (ej. sugerir intervenciones en momentos incorrectos).

5. Significado e Implicaciones

• Potencial y Riesgos: Los LLMs de vanguardia poseen un conocimiento profundo de las directrices de salud pública del Reino Unido, lo que sugiere un gran potencial para herramientas de asistencia. Sin embargo, la degradación del rendimiento en respuestas libres indica que no son fiables por sí solos para la generación de contenido sin supervisión.
• Necesidad de Salvaguardas: La gran brecha entre el formato MCQA y el FreeForm subraya la necesidad de implementar mecanismos de seguridad, herramientas de recuperación de información (RAG) o validación humana antes de desplegar estos modelos en aplicaciones reales de salud pública.
• Brecha de Modelos: Existe un riesgo significativo al utilizar modelos de parámetros pequeños (<15B) para tareas de salud pública, ya que su tasa de error en respuestas libres es inaceptablemente alta.
• Relevancia para el Futuro: Este benchmark proporciona una base para futuras investigaciones sobre la actualización de conocimientos de los LLMs y la evaluación de su fiabilidad en dominios críticos y dinámicos como la salud pública global.

En conclusión, aunque los LLMs más avanzados demuestran una capacidad prometedora para acceder y comprender la información de salud pública, su uso en escenarios de interacción libre requiere precaución extrema y sistemas de verificación adicionales para evitar la difusión de información errónea.