Zero-To-Few Shot Large Language Model Performance in Systematic Review and Meta-Analysis Automation: A Validation Study Across All Major Steps Of Five Published Systematic Reviews

En el mundo de la investigación médica, la forma más confiable de responder a una pregunta es reunir cada uno de los estudios jamás escritos sobre ese tema, leerlos todos y combinar sus hallazgos en un panorama claro. Este proceso se llama revisión sistemática. Es el estándar de oro para decidir qué tratamientos funcionan y cuáles no, formando la columna vertebral de las guías clínicas modernas. Sin embargo, crear estas revisiones es una tarea monumental. Requiere que equipos de investigadores pasen meses o incluso años buscando entre millones de artículos, leyendo resúmenes para decidir cuáles importan, extrayendo números específicos de los textos completos y verificando la calidad de la investigación para asegurar que sea confiable. El proceso es tan laborioso que puede costar cientos de miles de dólares y retrasar la llegada de información vital para médicos y pacientes.

Recientemente, ha surgido un nuevo tipo de programa informático conocido como modelo de lenguaje de gran tamaño. Estos son sistemas entrenados en vastas cantidades de texto humano que pueden leer, comprender y generar lenguaje de formas que a menudo imitan la inteligencia humana. Los investigadores han comenzado a preguntarse si estas herramientas podrían encargarse del trabajo pesado de crear revisiones sistemáticas, convirtiendo un proceso de meses en una cuestión de horas. La esperanza es que estas máquinas puedan encargarse de las partes repetitivas y densas en datos del trabajo, liberando a los expertos humanos para que se concentren en las decisiones complejas que requieren un juicio profundo. Pero para que esto suceda, las máquinas deben ser lo suficientemente precisas como para ser confiadas con las vidas de los pacientes.

Un equipo de investigadores de la Université de Montréal y la Universidad McGill se propuso probar esta idea con un enfoque muy práctico. No intentaron construir un robot complejo y totalmente automatizado que ejecute todo el proceso de revisión de principio a fin. En su lugar, le pidieron a una versión específica y avanzada de un modelo de lenguaje de gran tamaño que realizara cada etapa principal de una revisión sistemática, una por una, utilizando solo instrucciones sencillas y los datos de cinco revisiones médicas ya publicadas. El objetivo era ver si un usuario estándar, sin ningún entrenamiento especial en inteligencia artificial, podía lograr que la computadora hiciera el trabajo tan bien como un equipo humano. Los investigadores se centraron en cinco etapas distintas: crear los términos de búsqueda para encontrar artículos, filtrar los títulos y resúmenes para seleccionar estudios relevantes, extraer puntos de datos específicos de los textos completos, evaluar la calidad y el posible sesgo de los estudios y, finalmente, combinar los datos para producir los resultados finales.

Los resultados revelaron una historia de fortalezas sorprendentes y limitaciones claras. Cuando se trataba de extraer números y hechos específicos del texto de los artículos médicos, el modelo de computadora fue notablemente bueno. De hecho, superó a los autores humanos originales que habían escrito las revisiones. Cuando los investigadores compararon los datos extraídos por la computadora con un estándar nuevo y altamente riguroso creado por revisores expertos, la máquina fue correcta el 93 por ciento de las veces. También fue más rápida, tardando solo minutos en hacer lo que a los humanos les tomaba horas. Del mismo modo, cuando se le pidió juzgar la calidad de los estudios e identificar posibles fallas o sesgos, la computadora volvió a desempeñarse mejor que los humanos, con una precisión del 83 por ciento. Los investigadores señalaron que cuando la computadora cometía un error al juzgar la calidad, tendía a ser excesivamente cautelosa, señalando un estudio como riesgoso cuando podría haber sido seguro, lo cual suele ser un error más seguro de cometer que omitir un problema real.

Sin embargo, la máquina tuvo dificultades significativas en las etapas iniciales del proceso, donde tenía que tomar decisiones basadas en información incompleta. Cuando se le pidió a la computadora generar las cadenas de búsqueda —las listas específicas de palabras utilizadas para encontrar artículos en bases de datos médicas—, encontró aproximadamente el 85 por ciento de los artículos relevantes que los humanos habían encontrado. Este fue un resultado decente, pero significó que perdió una parte significativa de la literatura. La situación empeoró cuando la computadora intentó filtrar el texto completo de los artículos para decidir cuáles incluir en la revisión final. En este paso, el modelo perdió más de la mitad de los artículos importantes que los revisores humanos habían identificado correctamente. Si bien la computadora era muy buena sabiendo qué no incluir, era deficiente encontrando las cosas correctas para mantener. Esto sugiere que, si bien la máquina puede ser una herramienta poderosa para leer y organizar datos, aún no está lista para reemplazar a los humanos en las fases iniciales y críticas de decidir qué investigación es relevante.

El paso final consistió en combinar los datos para calcular los resultados generales de la revisión. Aquí, la computadora produjo números muy cercanos a los resultados humanos, aunque no siempre idénticos. Las diferencias fueron pequeñas y probablemente se debieron a cómo la máquina interpretó datos ambiguos o manejó detalles de cálculo menores. Los investigadores encontraron que la computadora podía generar estos resultados en segundos, una tarea que le tomaría mucho más tiempo a un humano. Sin embargo, el estudio destacó que lograr que la computadora hiciera esto perfectamente requería instrucciones muy específicas y detalladas sobre cómo manejar los datos faltantes y qué métodos estadísticos utilizar. Sin esta guía cuidadosa, los resultados podrían desviarse ligeramente de la verdad.

El estudio concluye que el camino hacia la automatización de la investigación médica no es un salto único, sino una serie de pasos donde se necesitan diferentes herramientas para diferentes trabajos. Para tareas que implican leer y extraer hechos, como extraer datos de tablas o juzgar la calidad de un estudio, estos modelos computacionales ya son superiores a los humanos y pueden usarse de inmediato para acelerar el trabajo. Pero para las tareas más subjetivas, como decidir qué artículos buscar o qué textos completos mantener, las máquinas aún no son lo suficientemente confiables como para trabajar solas. Los investigadores sugieren que el enfoque más efectivo para los no expertos es un modelo híbrido: dejar que la computadora se encargue del trabajo pesado de extracción de datos y verificación de calidad, mientras se mantiene a los expertos humanos en el proceso para guiar la búsqueda y tomar las decisiones finales de filtrado. Esta asociación podría reducir drásticamente el tiempo y el costo de producir evidencia médica sin sacrificar la precisión de la que dependen los pacientes.