ARISMA: Guidelines for AI- and LLM-Assisted Systematic Reviews, Scoping Reviews, and Mapping Studies
Este artículo presenta ARISMA, un marco de directrices integrales que establece principios, una taxonomía de ciclo de vida y estándares de reporte para integrar la IA y los modelos de lenguaje extensos como asistentes auditables y supervisados por humanos en revisiones sistemáticas, revisiones de alcance y estudios de mapeo para asegurar el rigor metodológico y la rendición de cuentas.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo de la investigación científica, existe un tipo específico de trabajo conocido como revisión sistemática. Imagine a un equipo de expertos tratando de responder a una pregunta compleja, como si un nuevo fármaco funciona mejor que uno antiguo, o cuál es el estado actual del conocimiento sobre el cambio climático. Para hacer esto, no pueden simplemente leer algunos artículos interesantes; deben encontrar cada uno de los estudios relevantes jamás publicados sobre el tema, leerlos todos y combinar sus hallazgos en una única conclusión confiable. Este proceso es la base de la medicina y las políticas modernas, pero es increíblemente difícil. A medida que el número de artículos científicos crece cada año, la tarea de encontrarlos y leerlos todos se ha vuelto más lenta, más costosa y más difícil de mantener al día.
Recientemente, poderosos programas informáticos conocidos como inteligencia artificial han entrado en escena. Estas herramientas pueden leer texto, comprender el lenguaje y resumir información a velocidades que ningún humano puede igualar. Los investigadores comenzaron a utilizar la inteligencia artificial para ayudar a encontrar artículos, decidir cuáles conservar y extraer números importantes. Sin embargo, esta nueva velocidad trajo consigo un problema. Nadie tenía un conjunto claro de reglas sobre cómo usar estas herramientas de forma segura. Si un programa informático pasaba por alto un estudio crucial o cometía un error al leer un número, toda la revisión podría ser errónea, y los médicos o responsables políticos que confían en ella podrían tomar malas decisiones. La pregunta no era solo si estas herramientas podían funcionar, sino cómo usarlas sin perder el control de la ciencia.
Un equipo de investigadores de la Universidad de Southern Denmark ha propuesto ahora un nuevo conjunto de directrices llamado ARISMA para resolver este problema. Su trabajo no trata a la inteligencia artificial como un reemplazo de los científicos humanos. En su lugar, la enmarcan como un asistente altamente capacitado que debe ser supervisado, probado y registrado en cada paso. La idea central es simple pero estricta: cada decisión importante en una revisión científica debe seguir siendo comprensible, verificable y, en última instancia, responsabilidad de un ser humano. Los investigadores argumentan que, si bien las máquinas pueden realizar el trabajo pesado, no se les puede permitir decidir silenciosamente qué cuenta como evidencia.
El documento describe un ciclo de vida completo de cómo debe llevarse a cabo una revisión cuando se utilizan estas herramientas. Comienza con la etapa de planificación, donde el equipo humano debe definir claramente qué es lo que está buscando antes de que intervenga cualquier computadora. Las directrices sugieren que la inteligencia artificial puede ser muy útil para la lluvia de ideas sobre términos de búsqueda o para sugerir sinónimos para un tema, pero la estrategia de búsqueda final debe ser verificada por un experto humano. Los investigadores enfatizan que si una computadora omite un estudio importante y conocido durante una prueba de ejecución, la estrategia de búsqueda se considera fallida y debe corregirse antes de ser utilizada con los datos reales. Esto asegura que la búsqueda no sea solo rápida, sino también completa.
Una vez realizada la búsqueda, el equipo se enfrenta a la enorme tarea de filtrar miles de títulos y resúmenes para decidir qué artículos leer en su totalidad. Aquí es donde la inteligencia artificial ha mostrado su mayor promesa, pero también donde las directrices son más cautelosas. El documento explica que una computadora puede usarse para clasificar artículos o sugerir cuáles excluir, pero no puede tomar la decisión final por sí misma. Los investigadores proponen un sistema de "niveles de confianza". En un escenario de baja confianza, la computadora solo sugiere un orden para que los humanos lean. En un escenario de confianza moderada, podría recomendar exclusiones, pero un humano debe verificar cada una de esas recomendaciones. En revisiones de alto riesgo, como aquellas que guiarán tratamientos médicos, la computadora actúa solo como un segundo par de ojos, y el equipo humano toma la decisión final. Crucialmente, antes de que una computadora tenga permitido hacer nada de esto, debe ser probada en un pequeño conjunto de artículos que los humanos ya han calificado. Si la computadora comete demasiados errores en este conjunto de prueba, no se le permite proceder.
Las directrices también abordan la complicada tarea de la extracción de datos, donde los investigadores extraen números específicos como recuentos de pacientes o resultados de tratamientos del texto de un artículo. Aquí, los investigadores son aún más conservadores. Señalan que, si bien las computadoras son buenas encontrando descripciones generales, a menudo tienen dificultades con números exactos ocultos en tablas o frases complejas. El documento sugiere que una computadora puede completar un borrador con detalles descriptivos, pero cada uno de los números que se utilizarán para calcular un resultado final debe ser verificado línea por línea por un humano. Si un humano no verifica la fuente de un número, ese número no puede utilizarse en la revisión final. Esta regla protege contra el hecho de que la computadora "alucine" o invente hechos que suenan plausibles pero que no están en el texto original.
A lo largo del proceso, las directrices exigen un rastro de papel. Cada vez que se utiliza una herramienta informática, los investigadores deben registrar qué herramienta se utilizó, qué versión del software era, qué instrucciones se le dieron y cuál fue el resultado. Si la computadora comete un error, o si el equipo humano decide cambiar la forma en que la computadora trabaja, ese cambio debe ser fechado y explicado. Esto crea un historial de la revisión que permite a cualquiera que lea el informe final ver exactamente dónde ayudó la computadora y dónde tomaron el control los humanos. El documento también aborda el lado legal y ético, recordando a los equipos que deben tener cuidado al enviar datos privados o no publicados a servicios informáticos públicos, ya que esos datos podrían almacenarse o utilizarse de formas que el equipo no pretendía.
Los investigadores desarrollaron estas directrices hablando con veintiún expertos en el campo, incluyendo científicos y especialistas en información. Probaron sus ideas y las refinaron basándose en la retroalimentación, enfocándose en hacer que las reglas fueran prácticas y claras. El resultado es un marco que permite a los equipos utilizar la velocidad de la inteligencia artificial sin sacrificar la precisión y la confiabilidad que requieren las revisiones científicas. El documento concluye que el objetivo no es hacer que las revisiones sean totalmente automáticas, sino hacerlas más auditables. Al tratar a la inteligencia artificial como una herramienta que es inspeccionada y delimitada en lugar de un tomador de decisiones autónomo, las directrices aseguran que las conclusiones finales de una revisión permanezcan fundamentadas en evidencia verificada, con un humano siempre en el proceso para asumir la responsabilidad de la verdad.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.