Comparison of ChatGPT and Gemini in Providing Postoperative Information After Tonsillectomy: An Expert-Based Assessment
Una evaluación basada en expertos que compara ChatGPT y Gemini para la educación postoperatoria de la amigdalectomía en turco no encontró una diferencia estadísticamente significativa en la calidad general o la seguridad entre los dos modelos, lo que subraya la necesidad de la revisión clínica antes de utilizar información para pacientes generada por IA.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Cada año, millones de personas se someten a una amigdalectomía, una cirugía común para extirpar las amígdalas en la parte posterior de la garganta. Aunque el procedimiento es rutinario, la recuperación suele ser difícil. Los pacientes despiertan con un dolor significativo, dificultad para tragar y una preocupación constante por el sangrado o la deshidratación. Debido a que la mayor parte de esta recuperación ocurre en casa, las familias dependen de instrucciones claras para saber qué es normal y qué requiere la ayuda de un médico. En años recientes, muchos han recurrido a herramientas de inteligencia artificial para obtener estas respuestas al instante. Estos programas informáticos, conocidos como modelos de lenguaje extensos, pueden mantener conversaciones y generar texto que suena muy humano. Prometen estar disponibles las veinticuatro horas del día para explicar términos médicos u ofrecer consejos. Sin embargo, debido a que estos programas generan respuestas basadas en patrones de datos en lugar de una comprensión profunda de la medicina, existe el riesgo de que puedan dar consejos que sean confusos, desactualizados o incluso peligrosos. La pregunta que enfrentan médicos y pacientes es simple: ¿podemos confiar en estas máquinas para guiar a una familia a través de una recuperación difícil, o necesitan un experto humano que revise su trabajo?
Para responder a esto, un equipo de investigadores en Turquía estableció una prueba cuidadosa que involucró a dos de los sistemas de inteligencia artificial más avanzados disponibles: ChatGPT y Gemini. No hicieron preguntas aleatorias a las computadoras. En su lugar, comenzaron con personas reales. Los investigadores recopilaron preguntas de cuarenta pacientes que se habían sometido recientemente a la extirpación de las amígdalas. Estos pacientes escribieron exactamente lo que querían saber sobre su recuperación, cubriendo temas como el manejo del dolor, la dieta y cuándo buscar ayuda de emergencia. Un panel de diez médicos expertos refinó estas en quince preguntas claras en turco. En un solo día, los investigadores pidieron tanto a ChatGPT como a Gemini que respondieran estas mismas quince preguntas. Las computadoras generaron sus respuestas y los investigadores las guardaron exactamente como aparecieron, sin cambiar una sola palabra.
A continuación, los investigadores trajeron a dieciséis especialistas diferentes en oídos, nariz y garganta para actuar como jueces. Estos médicos no sabían qué programa de computadora escribió cada respuesta. Simplemente vieron dos conjuntos de respuestas, etiquetados solo como "Respuesta A" y "Respuesta B". Cada médico leyó las respuestas a las quince preguntas y las calificó en cuatro aspectos específicos: qué tan precisa científicamente era la información, si el consejo era apropiado para un paciente real, qué tan fácil era de entender y, lo más importante, si la respuesta era segura o si contenía algo que pudiera inducir a un paciente al error o al daño. Los médicos otorgaron una puntuación de uno a cinco para cada categoría, siendo cinco la mejor calificación posible. En total, el equipo reunió casi dos mil calificaciones individuales para comparar los dos sistemas uno al lado del otro.
Los resultados mostraron que ambos programas de inteligencia artificial funcionaron bastante bien en general. Proporcionaron información que era generalmente precisa y clínicamente apropiada, obteniendo altas calificaciones por acertar en los hechos médicos. Cuando los investigadores observaron las puntuaciones totales, ChatGPT recibió una calificación promedio ligeramente superior a la de Gemini, pero la diferencia fue tan pequeña que fácilmente pudo haber ocurrido por azar. De hecho, cuando los expertos analizaron las categorías específicas, los dos programas fueron casi idénticos en su capacidad para proporcionar hechos médicos correctos. Ningún sistema demostró ser claramente mejor que el otro de una manera que los datos pudieran confirmar con certeza. El estudio no encontró evidencia de que un modelo fuera superior al otro para esta tarea específica.
Sin embargo, un vistazo más cercano reveló una historia más importante sobre la seguridad. Ambos programas recibieron sus puntuaciones más bajas en la categoría de seguridad del paciente. Esto significa que, aunque las respuestas eran a menudo factualmente correctas, los expertos detectaron riesgos potenciales, como la omisión de advertencias sobre el sangrado o el dar consejos vagos sobre la medicación. Aunque ChatGPT puntuó ligeramente más alto que Gemini en seguridad, la diferencia no fue lo suficientemente significativa como para declararlo la opción más segura. Los expertos también observaron que los médicos no siempre estaban de acuerdo entre sí al calificar la seguridad, lo que sugiere que detectar un peligro oculto en un párrafo de texto es difícil incluso para los profesionales. Esta falta de acuerdo perfecto resalta que la seguridad es un juicio complejo, no solo una simple verificación de hechos.
El estudio concluye que, si bien estas herramientas de inteligencia artificial son impresionantes y pueden generar información útil, aún no están listas para reemplazar el consejo de un médico. El hecho de que ambos sistemas recibieran puntuaciones de seguridad más bajas sugiere que un experto humano debe revisar siempre la información antes de que se le entregue a un paciente. La investigación no muestra que un programa sea el claro ganador, ni demuestra que sean perfectamente seguros para usarse por sí solos. En cambio, sugiere que estas herramientas funcionan mejor como ayudantes que proporcionan un borrador de información, el cual un profesional médico luego revisa y corrige. Hasta que la tecnología mejore hasta el punto en que pueda identificar y evitar consistentemente todos los riesgos potenciales sin ayuda humana, el camino más seguro para los pacientes sigue siendo una conversación con su propio médico.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.