Large Language Models for Pulmonary Embolism Health Education: A Four- Model Comparison of Reliability, Quality, and Readability

Resumen Técnico: Modelos de Lenguaje de Gran Tamaño para la Educación en Salud sobre la Embolia Pulmonar

Planteamiento del Problema
La embolia pulmonar (EP) es una afección potencialmente mortal que requiere información pública oportuna, fiable y comprensible. Aunque los Modelos de Lenguaje de Gran Tamaño (LLM, por sus siglas en inglés) se utilizan cada vez más para consultas de salud, su rendimiento en la generación de educación para pacientes específica sobre la EP no ha sido comparado sistemáticamente entre múltiples modelos. La literatura existente destaca preocupaciones relativas a las "alucinaciones", el exceso de confianza, la falta de transparencia en las fuentes y el uso de un lenguaje que supera los niveles de alfabetización sanitaria recomendados. Existe una necesidad crítica de evaluar si los LLM convencionales pueden proporcionar simultáneamente contenido fiable, fuentes transparentes y un texto accesible para el público general (específicamente a un nivel de lectura de sexto grado).

Metodología
Este estudio transversal comparó cuatro LLM accesibles al público vía web: ChatGPT (GPT-5.5), Gemini (3.5 Flash), Microsoft Copilot y Perplexity AI. El estudio se adhirió a la guía de notificación CHART (Herramienta de Evaluación de Chatbots).

• Recopilación de Datos: Se seleccionaron treinta y una consultas relacionadas con la EP de alta frecuencia a partir de los datos de Google Trends a nivel mundial (17 de julio de 2021 – 17 de julio de 2026) tras su mapeo con los encabezados de temas médicos (MeSH) y el cribado de relevancia. Estas consultas cubrieron síntomas, factores de riesgo, diagnóstico, tratamiento, pronóstico y poblaciones especiales.
• Diseño Experimental: Cada consulta se envió una vez a cada uno de los cuatro modelos en una sesión de turno único y de disparo cero (zero-shot), utilizando la configuración predeterminada y habiendo borrado el historial del navegador para minimizar la personalización. Esto produjo un total de 124 respuestas.
• Métricas de Evaluación:
  • Fiabilidad y Calidad: Evaluadas mediante DISCERN (16 ítems, escala 16–75), EQIP (20 ítems, 0–100%), Criterios de Referencia JAMA (4 ítems para transparencia de fuentes) y la Escala de Calidad Global (GQS, 1–5).
  • Legibilidad: Evaluada mediante seis índices: Índice de Legibilidad Automatizada (ARI), Puntuación de Facilidad de Lectura de Flesch (FRES), Nivel de Grado de Flesch-Kincaid (FKGL), Índice de Gunning Fog (GFI), Índice de Coleman-Liau (CLI) y Medida Simple de "Gobbledygook" (SMOG).
• Análisis Estadístico: Dos investigadores clínicos independientes calificaron todas las respuestas. Las diferencias entre modelos se analizaron mediante pruebas de Kruskal-Wallis con tamaños de efecto epsilon-cuadrado, seguidas de comparaciones post hoc de Dunn-Bonferroni. La legibilidad se comparó con el estándar de sexto grado mediante pruebas de la suma de rangos de Wilcoxon.

Resultos Clave

• Finalización de Respuestas: Los cuatro modelos respondieron a todas las consultas sin rechazos ni salidas en blanco.
• Calidad y Fiabilidad:
  • DISCERN: Copilot y Perplexity alcanzaron puntuaciones medianas de 41 ("calidad regular"), superando significativamente a ChatGPT (35) y Gemini (33), ambos de los cuales se situaron en el rango "pobre" ($P < 0.001$). Ningún modelo alcanzó el umbral de "bueno" (51+).
  • EQIP: Todos los modelos puntuaron generalmente en el rango de "bueno con problemas menores" (55–75%), siendo Copilot (75) y Perplexity (70) superiores a ChatGPT (60) y Gemini (55).
  • Referencia JAMA: Copilot y Perplexity demostraron una transparencia de fuentes significativamente mejor (mediana 1.0) en comparación con ChatGPT y Gemini (mediana 0.0), impulsada por la visualización de citas ($P < 0.001$).
  • GQS: No hubo diferencias significativas en las calificaciones de calidad global entre los modelos (mediana 4.0 para todos, $P = 0.652$).
• Legibilidad:
  • Incumplimiento de Estándares: Ningún modelo cumplió con el nivel de lectura recomendado de sexto grado en ninguno de los seis índices de legibilidad.
  • Niveles de Grado: Los índices de nivel de grado medianos oscilaron aproximadamente entre 9 y 16. ChatGPT produjo el texto más legible (mediana FKGL ~9, FRES ~47.9), mientras que Copilot produjo el texto más complejo (mediana FKGL ~11, FRES ~34.8).
  • Variabilidad: Existió una variación significativa en la legibilidad y la calidad dentro de cada modelo dependiendo de la consulta específica (por ejemplo, los temas de guías y embarazo fueron más técnicos).

Contribuciones Clave

1. Benchmarking Comparativo: Este estudio proporciona la primera comparación multi-modelo específicamente para la educación sobre la EP, utilizando un conjunto estandarizado de consultas de búsqueda del mundo real.
2. Diferenciación de Fluidez vs. Fiabilidad: Los hallazgos demuestran que las puntuaciones altas de la Escala de Calidad Global (GQS) (fluidez y organización) no se correlacionan con la transparencia de la fuente (JAMA) o la fiabilidad estructural (DISCERN). Los modelos que mostraron citas (Copilot, Perplexity) puntuaron más alto en transparencia, pero no produjeron necesariamente un texto más legible.
3. Brecha de Legibilidad: El estudio cuantifica la brecha persistente entre la producción de los LLM y los estándares de alfabetización sanitaria, mostrando que incluso los modelos con mejor desempeño generan textos significativamente por encima del nivel de sexto grado recomendado por la Asociación Médica Americana.
4. Variabilidad a Nivel de Consulta: El análisis destaca que el rendimiento de los modelos no es uniforme; un modelo puede proporcionar una respuesta de alta calidad a una consulta, mientras falla en otra, particularmente en lo que respecta a la complejidad técnica y la comunicación de riesgos.

Significancia y Reivindicaciones
El artículo concluye que, si bien los LLM convencionales pueden generar educación en salud sobre la EP fluida y ampliamente estructurada, ningún modelo actual combina contenido fiable, transparencia de fuentes y legibilidad adecuada.

• Papel Suplementario: Los autores sostienen que los LLM deben servir solo como un suplemento, no como un reemplazo del juicio médico profesional. Son adecuados para tareas explicativas de bajo riesgo (por ejemplo, definiciones generales, orientación sobre el estilo de vida), pero no son seguros para el diagnóstico independiente, la estratificación de riesgos o la selección de tratamientos.
• Gobernanza y Diseño: El estudio insta a los desarrolladores de modelos a integrar la recuperación de evidencia autorizada, ofrecer versiones de lenguaje adaptadas a la alfabetización sanitaria e implementar ciclos de revisión humana.
• Seguridad Clínica: Los autores enfatizan que en condiciones de alto riesgo como la EP, la prosa segura puede ocultar una débil transparencia de la evidencia. Por lo tanto, las instituciones clínicas que utilicen IA para materiales de pacientes deben adoptar un flujo de trabajo de "generación por máquina – revisión profesional – prueba con el paciente" para garantizar la seguridad, la exactitud y la claridad.

El estudio reconoce limitaciones, incluyendo la naturaleza dinámica de los LLM (los resultados son específicos de un momento dado), el uso de consultas exclusivamente en inglés y la dependencia de fórmulas de legibilidad en lugar de pruebas directas de comprensión del paciente. En consecuencia, los hallazgos se presentan como un panorama exploratorio del rendimiento de los modelos en lugar de un ranking universal definitivo.