Comparison of DeepSeek, ChatGPT-4, and Online Medical Platforms in Addressing Chronic Pancreatitis Related Questions

Resumen Técnico: Comparación de DeepSeek, ChatGPT-4 y Plataformas Médicas en Línea en el Abordaje de Preguntas sobre Pancreatitis Crónica

Planteamiento del Problema
La pancreatitis crónica (PC) es un trastorno inflamatorio progresivo e irreversible que causa una morbilidad significativa; sin embargo, los pacientes y los clínicos a menudo se enfrentan a una escasez de información médica accesible, precisa y actualizada. Si bien las plataformas médicas tradicionales en línea (por ejemplo, Baidu Health, Haodf.com) ofrecen canales de consulta, sufren de limitaciones como barreras de servicio pagas, tiempos de respuesta demorados e interacción inconsistente en tiempo real. Por el contrario, los Modelos de Lenguaje de Gran Escala (LLM) como ChatGPT-4 y el emergente DeepSeek ofrecen respuestas rápidas y estructuradas, pero carecen de una evaluación sistemática con respecto a su fiabilidad, utilidad clínica y capacidad para abordar las preocupaciones específicas de los pacientes en el contexto de la PC. Este estudio aborda la brecha en la comprensión de si estos modelos de IA pueden servir como herramientas suplementarias fiables, empáticas y precisas para la educación de pacientes con PC y el apoyo a la decisión clínica en comparación con los recursos médicos en línea establecidos.

Metodología
El estudio empleó un riguroso marco de evaluación de dos fases que involucró 21 preguntas basadas en guías y 40 preguntas de seguimiento de pacientes del mundo real.

1. Fuentes de Datos y Conjuntos de Preguntas:

   • Fase 1 (Basada en Guías): Se extrajeron 21 preguntas de las Guías Clínicas de la Clínica del Colegio Americano de Gastroenterología (ACG) de 2020 para la Pancreatitis Crónica, cubriendo diagnóstico, etiología, historia natural, manejo del dolor e insuficiencia exocrina.
   • Fase 2 (Centrada en el Paciente): Se seleccionaron 40 preguntas clínicas específicas de registros de seguimiento de pacientes anonimizados del Hospital Changhai, que abarcan conocimientos básicos, características clínicas, diagnóstico, tratamiento y manejo de complicaciones.

2. Generación de Respuestas:

   • Modelos de IA: DeepSeek (un modelo de código abierto de 2024) y ChatGPT-4 generaron respuestas de forma independiente mediante nuevas sesiones de chat sin interacciones de seguimiento.
   • Grupo de Control: Las respuestas fueron recuperadas de médicos verificados con mayor ranking en las principales plataformas médicas en línea (Baidu Health, Haodf.com, Youlai Doctor), excluyendo respuestas no verificadas o excesivamente breves.

3. Métricas de Evaluación:

   • Evaluación Profesional: Dos gastroenterólogos ciegos calificaron las respuestas utilizando una escala de Likert validada en cuatro dimensiones: Precisión (6 puntos), Completitud (3 puntos), Exhaustividad (3 puntos) y Seguridad (5 puntos).
   • Evaluación de Pacientes: Una cohorte de 40 pacientes con PC calificó las respuestas de la IA y de los médicos en Empatía (5 puntos) y Satisfacción General (5 puntos).

4. Análisis Estadístico:

   • Las comparaciones intergrupales (DeepSeek vs. ChatGPT-4 vs. Médicos) utilizaron pruebas de Kruskal-Wallis, con comparaciones por pares ajustadas mediante pruebas de Mann-Whitney U y corrección de Bonferroni ($\alpha=0.0167$).

Contribuciones Clave

• Análisis de Rendimiento Comparativo: El estudio proporciona una comparación directa y multidimensional de un LLM de próxima generación de código abierto (DeepSeek) frente a un modelo propietario líder (ChatGPT-4) y plataformas en línea tradicionales dirigidas por humanos, específicamente para la pancreatitis crónica.
• Validación de Doble Dominio: A diferencia de estudios previos centrados únicamente en la adherencia a las guías, esta investigación evalúa tanto el conocimiento basado en guías como las preocupaciones del mundo real y específicas del paciente, incluyendo la dimensión emocional (empatía) del cuidado.
• Identificación de Fortalezas y Debilidades de la IA: El trabajo destaca que, si bien los LLM igualan a los médicos en precisión fáctica, exhiben inestabilidades específicas en el razonamiento clínico matizado (por ejemplo, la priorización de pruebas diagnósticas) y enfrentan desafíos para cumplir con las expectativas de satisfacción del paciente en el manejo de enfermedades crónicas.

Resultados

• Precisión Basada en Guías: Tanto DeepSeek como ChatGPT-4 alcanzaron puntuaciones de precisión elevadas comparables a las respuestas generadas por médicos, sin diferencias estadísticamente significativas entre los modelos. DeepSeek demostró una tendencia hacia explicaciones más completas y sistemáticas de conceptos complejos.
• Rendimiento de Preguntas de Pacientes:
  • Precisión y Seguridad: Las tres fuentes (DeepSeek, ChatGPT-4, Médicos en Línea) mostraron puntuaciones de precisión y seguridad similares, sin diferencias estadísticas.
  • Completitud y Exhaustividad: DeepSeek logró las puntuaciones de completitud más altas (2.56 ± 0.46) en comparación con ChatGPT-4 (2.49 ± 0.46) y las plataformas en línea (2.25 ± 0.58), aunque esto no alcanzó el umbral de significancia tras la corrección de Bonferroni. DeepSeek proporcionó respuestas con una estructura lógica más sólida en general, mientras que los médicos en línea ofrecieron respuestas más dirigidas para consultas específicas de diagnóstico y características clínicas.
  • Errores Específicos: El estudio notó instancias de inestabilidad de respuesta en DeepSeek, como una recomendación inicial incorrecta sobre pruebas indirectas de función pancreática y una declaración contradictoria sobre los resultados clínicos de la PC idiopática frente a la de etiología definida, las cuales fueron corregidas al realizar una nueva consulta.
• Satisfacción del Paciente y Empatía:
  • Las evaluaciones de los pacientes revelaron calificaciones de satisfacción uniformemente neutrales en todas las fuentes (media 2.2/5) y puntuaciones de empatía moderadas (4.1/5).
  • No hubo diferencias estadísticamente significativas en empatía o satisfacción entre los modelos de IA y los médicos en línea.
  • Notablemente, DeepSeek recibió las puntuaciones de satisfacción más bajas específicamente para preguntas de tratamiento y pronóstico, lo que potencialmente refleja la frustración inherente y las bajas expectativas de curación asociadas con el manejo de enfermedades crónicas, más que un fallo de la IA.

Significancia y Reivindicaciones
El artículo sostiene que los LLM avanzados como DeepSeek y ChatGPT-4 pueden servir como valiosas herramientas suplementarias para la difusión de información sobre la PC, ofreciendo respuestas precisas y exhaustivas que rivalizan con las plataformas médicas establecidas en línea. Los hallazgos sugieren que estos modelos tienen el potencial de mejorar la educación del paciente y apoyar la toma de decisiones clínicas, particularmente en entornos con recursos limitados.

Sin embargo, los autores mantienen una postura modesta, enfatizando que:

1. La Supervisión Humana es Irreemplazable: Las puntuaciones neutrales de satisfacción de los pacientes subrayan el papel insustituible de los clínicos humanos para proporcionar un cuidado empático y personalizado, y para gestionar la carga psicológica de la enfermedad crónica.
2. Necesidad de Salvaguardas: Las inestabilidades de respuesta observadas y los errores fácticos en escenarios clínicos específicos requieren la supervisión de un médico para asegurar que el contenido generado por la IA se adhiera a las guías actuales.
3. Flujo de Trabajo Híbrido: El estudio aboga por un modelo de "respuesta primero por IA con supervisión médica" para equilibrar la eficiencia y la seguridad, en lugar de sugerir que la IA puede reemplazar los exámenes clínicos estandarizados.

La investigación concluye que, si bien los LLM son prometedores para la entrega de información fáctica, persisten desafíos significativos para comunicar eficazmente las estrategias de manejo de enfermedades crónicas con el fin de satisfacer las necesidades emocionales y psicológicas de los pacientes.