Can Large Language Models Provide High-Quality Information for Patients with Multidrug-Resistant Organism Infections: A Multidimensional Comparative Analysis of DeepSeek-V3, ChatGPT-5.2, Gemini-3, and Grok-4

Resumen Técnico: Un Análisis Comparativo Multidimensional de los LLM para la Educación de Pacientes con MDRO

Planteamiento del Problema
El aumento de las infecciones por organismos multirresistentes (MDRO) plantea una amenaza crítica para la salud pública y la seguridad médica, lo que requiere medidas rigurosas de prevención y control de infecciones (PCI) que dependen en gran medida del cumplimiento de los pacientes y sus familias. Sin embargo, existe una brecha cognitiva significativa en la educación sanitaria actual sobre los MDRO, exacerbada por la complejidad de la terminología profesional, el entorno clínico acelerado y los limitados recursos humanos. Si bien los modelos de lenguaje de gran tamaño (LLM) ofrecen una solución potencial para la educación escalable de los pacientes, su fiabilidad en la comunicación clínica de alto riesgo sigue siendo incierta debido a los riesgos de "alucinaciones", consejos médicos inexactos y tonos emocionales inapropiados. Este estudio aborda la preocupación central de si los LLM líderes actuales pueden proporcionar información de alta calidad, segura y comprensible para los pacientes con infecciones por MDRO.

Metodología
El estudio empleó un diseño comparativo cuantitativo para evaluar cuatro LLM líderes: DeepSeek-V3, ChatGPT-5.2, Gemini-3 y Grok-4.

• Generación de Datos: Se formularon diez preguntas centrales de educación al paciente basadas en entrevistas semiestructuradas con pacientes/familias de MDRO y consulta de expertos. Estas cubrieron conceptos básicos, transmisión, prevención, tratamiento y apoyo al cuidador. Los modelos generaron respuestas utilizando un prompt estandarizado para asegurar la consistencia estructural.
• Evaluación de la Calidad del Contenido: Siete expertos independientes (2 médicos, 1 enfermero, 4 profesionales de PCI) con 10 a 25 años de experiencia evaluaron los resultados de los modelos utilizando una escala de Likert de 5 puntos en cinco dominios: Precisión, Exhaustividad, Seguridad, Cuidado Humanístico y Practicidad. La fiabilidad se confirmó mediante el Coeficiente de Correlación Intraclase (ICC).
• Análisis de Legibilidad: La complejidad del texto se evaluó mediante tres métricas: el Nivel de Grado Flesch-Kincaid (FKGL), el Índice de Gunning Fog (GFI) y la Puntuación de Facilidad de Lectura de Flesch (FRES). Estos se compararon con el nivel de lectura de sexto grado recomendado por la Asociación Médica Estadounidense (AMA) para materiales de pacientes.
• Análisis de Sentimiento: Se realizó un análisis de sentimiento lexicográfico utilizando el paquete sentimentr en R para determinar el tono emocional (positivo, neutral, negativo) de los textos generados.
• Análisis Estadístico: Se utilizó la prueba de Friedman para evaluar las diferencias generales entre los modelos, seguida de pruebas de rango con signo de Wilcoxon con corrección de Bonferroni para comparaciones por pares.

Resultados Clave

• Calidad del Contenido: Se observaron diferencias significativas en todos los cinco dominios de evaluación ($p < 0.001$). Grok-4 demostró el mayor rendimiento general, alcanzando las puntuaciones más altas en Precisión (4.13 ± 0.64), Exhaustividad (4.31 ± 0.62), Seguridad (4.16 ± 0.58), Cuidado Humanístico (3.51 ± 0.82) y Practicidad (4.09 ± 0.84). ChatGPT-5.2 recibió las calificaciones más bajas en varios dominios, particularmente en seguridad y cuidado humanístico.
• Legibilidad: Todos los modelos produjeron textos que excedieron el nivel de lectura de sexto grado recomendado, lo que indica una alta complejidad. ChatGPT-5.2 tuvo el nivel de lectura más alto (FKGL 15.72), lo que lo hace el más difícil de entender. Gemini-3 y DeepSeek-V3 fueron relativamente más legibles, pero aun así superaron el punto de referencia objetivo.
• Sentimiento: DeepSeek-V3 exhibió una tendencia emocional positiva (0.064), mientras que ChatGPT-5.2 se mantuvo neutral (0.013). Por el contrario, Grok-4 (−0.051) y Gemini-3 (−0.087) mostraron tendencias negativas, probablemente debido a un enfoque en la gravedad de la enfermedad y el riesgo.
• Cuidado Humanístico: Un hallazgo crítico fue las puntuaciones generalmente bajas para el cuidado humanístico en todos los modelos. Incluso los modelos con mejor desempeño carecieron de suficiente amortiguación emocional y estrategias de comunicación centradas en el paciente, las cuales son vitales para reducir el estigma y la ansiedad asociados con el aislamiento.

Contribuciones Clave

1. Benchmarking Empírico: El estudio proporciona el primer análisis comparativo multidimensional de versiones específicas de LLM (incluyendo DeepSeek-V3 y Grok-4) adaptado específicamente al contexto de alto riesgo de la educación de pacientes con MDRO.
2. Identificación de Brechas: Destaca una desconexión crítica entre la precisión técnica de los LLM y su idoneidad para la comunicación con el paciente, señalando específicamente deficiencias en la legibilidad (demasiado compleja) y el tono humanístico (empatía insuficiente).
3. Evaluación de Riesgos: La investigación subraya los riesgos potenciales del uso no regulado de los LLM en la PCI, donde la información inexacta o excesivamente negativa podría conducir al incumplimiento, errores de automedicación o un aumento de la ansiedad del paciente.

Significancia y Reivindicaciones
El artículo concluye que, si bien los LLM poseen una base viable para generar contenido educativo estructurado, ningún modelo cumple actualmente con los estándares aceptables para su uso independiente en el entorno de alto riesgo de la educación de pacientes con MDRO. Los autores afirman que los LLM deben emplearse únicamente como herramientas de asistencia para la redacción, no como sustitutos de la toma de decisiones profesional.

El estudio propone un marco de aplicación de tres niveles para la integración segura de los LLM:

1. Generación de Borrador Inicial: Uso de modelos para crear texto estructurado de manera eficiente.
2. Revisión Profesional: Revisión experta obligatoria para asegurar la precisión, la alineación con las políticas y la seguridad.
3. Optimización del Lenguaje y Emocional: Intervención humana para simplificar el lenguaje (reduciendo los puntajes de legibilidad) e inyectar la empatía adecuada.

Los autores enfatizan que, sin una revisión experta obligatoria y una adaptación contextual, el despliegue de los LLM en este dominio corre el riesgo de comprometer el rigor científico, la seguridad del paciente y la confianza esencial para un control de infecciones efectivo. La investigación futura se dirige hacia la optimización de la legibilidad, el refinamiento de los mecanismos de comunicación emocional y el desarrollo de estrategias de selección de modelos específicas para cada escenario.