ChatGPT versus veterinary students for clinical data extraction: a mixed-methods study

En el mundo de la medicina veterinaria, la labor diaria de cuidar a los animales genera un vasto océano de información. Cada vez que se examina a un perro, un veterinario escribe notas sobre sus síntomas, los resultados de los análisis de sangre y los hallazgos de las ecografías. Estos registros se almacenan en sistemas digitales, pero la información en su interior suele estar escrita en texto de flujo libre, muy parecido a un relato o una entrada de un diario. Aunque este estilo narrativo es natural para que los médicos escriban, es difícil de leer para las computadoras o de analizar para los investigadores. Para convertir estas historias en datos útiles para estudios científicos —como el seguimiento de patrones de enfermedades o la comprensión de cómo funcionan los tratamientos—, alguien debe primero leer cada una de las notas y extraer hechos específicos, como una lectura de temperatura o un diagnóstico, y colocarlos en una tabla ordenada y nítida. Este proceso, conocido como extracción de datos, es esencial para la ciencia moderna, pero cuando se hace a mano, es lento, tedioso y propenso al error humano.

La inteligencia artificial ha surgido como una solución potencial para este cuello de botella. Específicamente, los modelos de lenguaje extensos son programas informáticos entrenados con cantidades masivas de texto que pueden entender y generar lenguaje humano. Estas herramientas prometen leer los registros médicos y extraer los hechos necesarios en segundos, liberando potencialmente a los expertos para que se concentren en tareas más complejas. Sin embargo, una pregunta crítica permanece: ¿pueden estas herramientas digitales hacer realmente el trabajo tan bien como un humano capacitado, o cometen errores que podrían arruinar la investigación? Además, ¿cómo se sienten las personas que eventualmente usarán estas herramientas, como los futuros veterinarios, respecto a entregar este trabajo a una máquina? Para responder a estas preguntas, investigadores de la Universidad de Texas A&M realizaron una comparación directa entre estudiantes humanos y un sistema de inteligencia artificial, midiendo no solo la velocidad y la precisión del trabajo, sino también los pensamientos y sentimientos de los estudiantes involucrados.

El estudio se centró en diez estudiantes de segundo año de veterinaria que estaban inscritos en un curso sobre inteligencia artificial. Los investigadores pidieron a estos estudiantes que extrajeran información de los registros médicos de tres perros con sospecha de pancreatitis, una inflamación dolorosa del páncreas. Los estudiantes realizaron esta tarea dos veces. Primero, leyeron los registros manualmente y completaron una hoja de cálculo con sesenta y tres puntos de datos diferentes, que iban desde la edad y el peso del animal hasta valores de laboratorio específicos y descripciones de ecografías. Tras un descanso de un mes para asegurar que no simplemente recordaran las respuestas, los mismos estudiantes realizaron exactamente la misma tarea, pero esta vez utilizaron un chatbot, un tipo de inteligencia artificial, para ayudarles. Se les instruyó para que pegaran los registros médicos en el chatbot y le pidieran que extrajera los datos, registrando cuánto tiempo tomaba cada método.

Los resultados revelaron una diferencia dramática en la velocidad. Al trabajar solos, los estudiantes tardaban un promedio de ocho minutos y medio en completar la extracción para un solo caso. Al usar el chatbot, el proceso tomaba solo quince segundos por caso. Esto significa que la inteligencia artificial fue treinta y cuatro veces más rápida que los estudiantes humanos. A pesar de esta enorme brecha de velocidad, la precisión del trabajo se mantuvo notablemente alta para ambos métodos. Los estudiantes lograron una tasa de precisión de más del noventa por ciento, y la inteligencia artificial igualó este desempeño, superando también el noventa por ciento de precisión. Este hallazgo sugiere que la velocidad de la máquina no se produjo a costa de la calidad; la herramienta fue capaz de procesar la información de manera tan confiable como los estudiantes capacitados.

Sin embargo, la naturaleza de los errores cometidos por humanos y máquinas fue bastante diferente. Los estudiantes tendían a cometer errores relacionados con la fatiga y la repetición, como escribir incorrectamente un número o desalinear una fila de datos. También tuvieron dificultades con descripciones ambiguas en las notas médicas, infiriendo a veces información que no estaba explícitamente declarada. Por ejemplo, si un registro mencionaba una pequeña cantidad de fluido pero no decía explícitamente "anormal", un estudiante podría suponer la gravedad, mientras que la inteligencia artificial tendía a ser más conservadora, ciñéndose estrictamente a lo escrito. Curiosamente, la inteligencia artificial cometió un tipo de error diferente: a veces no seguía las instrucciones estrictas de formato, devolviendo una oración completa cuando se solicitaba un código simple. Si bien la herramienta comprendía el contenido médico, ocasionalmente pasaba por alto las reglas específicas de la tarea, un tipo de error que no ocurrió con los estudiantes humanos.

Más allá de los números, los investigadores querían comprender cómo se sentían los estudiantes al usar esta tecnología. A través de encuestas y entrevistas, los estudiantes expresaron una clara preferencia por la inteligencia artificial. Describieron el proceso manual como mentalmente agotador y repetitivo, señalando que la herramienta les ayudaba a evitar la carga cognitiva de filtrar narrativas largas y desordenadas. Los estudiantes sintieron que la inteligencia artificial podía encargarse de las partes aburridas y repetitivas del trabajo, permitiéndoles enfocarse en los aspectos más complejos del razonamiento clínico. Sin embargo, esta confianza no era ciega. Los estudiantes enfatizaron que aún necesitarían revisar el trabajo realizado por la máquina. Reconocieron que, si bien la herramienta era eficiente, la responsabilidad última sobre los datos y las decisiones médicas basadas en ellos seguía recayendo en el veterinario humano.

El estudio concluye que la inteligencia artificial es una compañera poderosa y eficiente para la extracción de datos de los registros veterinarios, capaz de trabajar a una velocidad que los humanos no pueden igualar manteniendo una alta precisión. La tecnología destaca en la reducción de la pesadez de las tareas repetitivas, pero no reemplaza la necesidad de la supervisión humana. Los estudiantes en el estudio vieron el valor de integrar estas herramientas en sus futuras carreras, siempre que se utilicen para asistir en lugar de reemplazar el juicio humano. A medida que la medicina veterinaria avanza, la combinación de la experiencia humana y la velocidad artificial ofrece un camino prometedor para manejar el creciente volumen de datos médicos, asegurando que las historias en los registros puedan convertirse en conocimiento que ayude a los animales en todas partes.