Cost-Efficient Large Language Model-Assisted Title­­ and Abstract Screening for Systematic Reviews: Method Evaluation and Validation

Cada año, el mundo produce un asombroso aluvión de nuevos artículos científicos. En campos que van desde la medicina hasta la salud ambiental, los investigadores están publicando más estudios que nunca, creando un diluvio de información que ningún equipo de humanos podría leer en una vida entera. Para dar sentido a este caos, los científicos confían en un proceso riguroso llamado revisión sistemática. Esta no es una mirada casual a la literatura; es una búsqueda metódica de cada uno de los estudios que responden a una pregunta específica, como si un determinado químico causa daño o si un nuevo fármaco funciona mejor que uno antiguo. El primer paso, y a menudo el más agotador, de esta búsqueda es el cribado. Los investigadores deben leer los títulos y los resúmenes cortos de miles de artículos, decidiendo instantáneamente cuáles valen la pena conservar y cuáles deben desecharse. Si se pasa por alto un estudio relevante en esta etapa, toda la revisión podría ser defectuosa, lo que llevaría a conclusiones incorrectas sobre la salud y la seguridad. Durante décadas, este ha sido un trabajo realizado enteramente por ojos humanos, un cuello de botella lento, costoso y que requiere mucha mano de obra que retrasa respuestas vitales.

Un equipo de investigadores de la Oficina Federal de Protección contra la Radiación en Alemania ha probado ahora una nueva forma de abordar este problema utilizando inteligencia artificial. Exploraron si los modelos de lenguaje de gran tamaño —programas informáticos avanzados capaces de comprender y generar lenguaje humano— podrían actuar como un primer filtro, leyendo estos miles de títulos y resúos para decidir cuáles merecen la atención de un humano. El objetivo no era reemplazar a los revisores humanos, sino actuar como un asistente poderoso que pudiera realizar el trabajo pesado, eliminando la gran mayoría de los artículos irrelevantes mientras garantiza que ningún estudio importante sea descartado accidentalmente. Los investigadores trataron esto como un experimento científico, construyendo y probando docenas de formas diferentes de pedirle a la computadora que hiciera el trabajo, midiendo cuidadosamente qué tan bien funcionaba cada método antes de confiarle datos reales.

El equipo comenzó creando un campo de pruebas controlado. Generaron 100 resúmenes sintéticos de artículos científicos, la mitad de los cuales fueron diseñados para cumplir con los estrictos criterios de inclusión y la otra mitad para fallar. Usando este pequeño conjunto, probaron una amplia variedad de estrategias. Algunas estrategias pedían a la computadora dar una respuesta simple de sí o no. Otras le pedían que desglosara la decisión, evaluando cinco partes específicas del diseño de un estudio por separado: las personas involucradas, la exposición o tratamiento, el grupo de comparación, el resultado medido y el tipo de estudio. También probaron si darle a la computadora algunos ejemplos de artículos buenos y malos antes de pedirle que juzgara nuevos ayudaría, y si pedirle a la computadora que explicara su razonamiento para cada decisión mejoraría su precisión. Realizaron estas pruebas tanto en modelos de código abierto, que pueden ejecutarse en computadoras locales, como en modelos propietarios de grandes empresas tecnológicas, comparando su velocidad, costo y precisión.

Tras reducir las mejores aproximaciones, los investigadores pasaron a una fase más rigurosa, probando sus principales candidatos en tres revisiones sistemáticas reales que ya habían sido completadas por expertos humanos. Estas revisiones se centraron en los efectos para la salud de los campos electromagnéticos de radiofrecuencia, un tema que el equipo de investigación conoce bien. Aquí, el trabajo de la computadora era observar los miles de títulos y resúmenes de las búsquedas originales y decidir cuáles fueron los que los humanos mantuvieron finalmente. Los resultados fueron sorprendentes. Los flujos de trabajo más exitosos fueron capaces de identificar casi todos los estudios que los humanos habían incluido, logrando una tasa de sensibilidad de más del 96 por ciento. Esto significa que, si hubiera 100 estudios relevantes ocultos en una pila de miles, la computadora encontraría al menos 96 de ellos. Al mismo tiempo, el sistema fue capaz de identificar y descartar correctamente la gran mayoría de los artículos irrelevantes, reduciendo el número de registros que un humano tendría que leer en más de un 80 por ciento.

El estudio también reveló que el tamaño del modelo informático importaba menos que la forma en que se le pedía trabajar. Los investigadores descubrieron que el enfoque más efectivo no era utilizar los modelos más grandes y caros disponibles, sino utilizar modelos más pequeños y rentables que estuvieran guiados por un método específico. Este método consistía en pedir al modelo que analizara las cinco partes clave del diseño de un estudio individualmente y que proporcionara una breve explicación de por qué aceptaba o rechazaba cada parte. Este razonamiento paso a paso, combinado con algunos ejemplos de cómo es un estudio bueno o malo, permitió que incluso los modelos más pequeños y económicos funcionaran con una precisión cercana a la humana. Los investigadores descubrieron que dividir la tarea en cinco preguntas separadas para que la computadora las respondiera en paralelo en realidad la hacía menos precisa, lo que sugiere que la computadora trabaja mejor cuando considera el panorama completo a la vez, incluso si está analizando las partes en detalle.

Cuando el equipo tomó sus flujos de trabajo con mejor rendimiento y los probó en ocho revisiones sistemáticas completamente diferentes, que cubrían temas desde la investigación del cáncer hasta el tratamiento de la artritis, los resultados se mantuvieron. El sistema encontró consistentemente casi todos los estudios relevantes mientras filtraba el ruido. El costo de ejecutar este proceso fue notablemente bajo, ascendiendo aproximadamente a un dólar estadounidense por cada 1,000 registros examinados. Esto sugiere que la tecnología no es solo una posibilidad teórica, sino una herramienta práctica que puede ser utilizada por equipos de investigación con presupuestos limitados. Los investigadores señalaron que el sistema no es perfecto; a veces tenía dificultades con artículos que tenían muy poca información, como aquellos que solo tenían un título y ningún resumen. En estos casos, el sistema marcaba sabiamente el artículo para que un humano lo revisara, asegurando que nada importante se perdiera.

El estudio concluye que la inteligencia artificial puede servir ahora como un socio altamente confiable en el proceso científico. Al utilizar un flujo de trabajo cuidadosamente diseñado que pide a la computadora pensar a través de los criterios paso a paso y explicar sus elecciones, los investigadores pueden reducir drásticamente el tiempo y el esfuerzo requeridos para revisar la literatura. Esto no significa que los humanos sean obsoletos; más bien, significa que pueden concentrar su energía en los artículos que realmente importan, con la confianza de que la computadora ya ha realizado el barrido inicial. El trabajo proporciona un marco claro y transparente sobre cómo se puede utilizar esta tecnología de manera responsable, ofreciendo un camino a seguir para una síntesis de evidencia más rápida y eficiente en un mundo donde el conocimiento científico crece más rápido que nunca.