Can AI support rapid evidence synthesis for policy? An evaluation of Elicit: The AI Research Assistant
Este estudio evalúa la herramienta de IA Elicit para la síntesis de evidencia de políticas, encontrando que, si bien agiliza eficazmente el alcance preliminar de temas, actualmente carece de la precisión y la fiabilidad requeridas para revisiones rápidas complejas sin una supervisión humana significativa.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo de la salud pública y las políticas gubernamentales, las decisiones sobre qué tratamientos o programas financiar dependen de una base de evidencia. Antes de que se redacte una nueva norma, los expertos deben reunir toda la investigación existente sobre un tema, leerla cuidadosamente y resumir lo que dice sobre lo que funciona y lo que no. Este proceso, conocido como síntesis de evidencia, es esencial para tomar decisiones justas y efectivas, pero también es increíblemente laborioso. Tradicionalmente, equipos de investigadores pasan meses buscando entre miles de artículos científicos, comprobando si cada uno se ajusta a la pregunta específica en cuestión y extrayendo los datos para construir un panorama claro. A medida que las necesidades de los responsables políticos se vuelven más urgentes y complejas, existe un deseo creciente de acelerar este trabajo sin perder precisión. Aquí es donde entra en escena la inteligencia artificial, prometiendo actuar como un poderoso asistente capaz de leer y clasificar información a una velocidad que ningún humano podría igualar.
Un equipo de investigadores de universidades del Reino Unido decidió poner a prueba una de estas nuevas herramientas de IA. Querían ver si un programa de software llamado Elicit podía realmente ayudar a los investigadores de políticas a hacer su trabajo de forma más rápida y mejor. Los investigadores eligieron evaluar la herramienta de dos maneras diferentes. Primero, preguntaron si la IA podía actuar como una guía útil para obtener una visión general rápida de un tema amplio, un paso que a menudo se denomina "mapeo" (scoping) que ocurre antes de que comience una revisión completa. Segundo, probaron si la IA podía tomar el lugar de los investigadores humanos al realizar una revisión de evidencia rápida y completa sobre un tema complejo. El tema que eligieron fue uno difícil: averiguar qué programas fomentan con éxito la actividad física entre adultos mayores que enfrentan desventajas sociales y económicas. Este tema fue elegido porque involucra muchas piezas móviles, incluyendo diferentes tipos de personas, diversas clases de actividades y medidas específicas de éxito, lo que constituye una prueba rigurosa para cualquier sistema automatizado.
Los investigadores comenzaron pidiendo a la IA que realizara un escaneo rápido de la literatura para ayudarles a comprender el panorama de las herramientas de actividad física utilizadas en la atención primaria. En este rol, el software resultó bastante útil. Generó un resumen de la evidencia disponible en solo seis minutos, ofreciendo una visión amplia del tema que los expertos consideraron útil para dar forma a su pensamiento. El resultado no fue perfecto y carecía de una explicación detallada de cómo se encontró la información, pero sirvió bien como punto de partida. Les dio al equipo una idea de lo que había por ahí y dónde podrían estar los vacíos, actuando efectivamente como un mapa preliminar rápido antes de que comenzaran el trabajo más difícil de trazar el territorio completo.
Sin embargo, cuando los investigadores pidieron a la IA que realizara la tarea completa y rigurosa de una revisión rápida, los resultados fueron mucho menos alentadores. Introdujeron la misma pregunta compleja sobre la actividad física en poblaciones de adultos mayores desfavorecidos en el sistema y observaron cómo manejaba el trabajo. El proceso tomó más de tres horas, durante las cuales los investigadores humanos tuvieron que dedicar un tiempo significativo a refinar las preguntas y corregir las suposiciones de la IA. Cuando se produjo el informe final, este contenía una lista de cuarenta estudios que la IA afirmaba eran relevantes. Sin embargo, cuando los expertos humanos cotejaron estos estudios con las reglas estrictas de la revisión, descubrieron que treinta y seis de ellos no pertenecían realmente. La IA había incluido estudios que analizaban los resultados incorrectos, se centraban en los grupos de personas equivocados o examinaban intervenciones que no encajaban con los criterios. De hecho, el software pasó por alto treinta y cuatro estudios que el equipo humano había encontrado e incluido con éxito en su propia revisión.
El problema central parecía ser que la IA tenía dificultades con el matiz del lenguaje utilizado en los artículos científicos. Podía identificar fácilmente palabras como "adultos mayores" o "actividad física", pero fallaba al comprender el significado profundo de si un estudio estaba realmente probando lo correcto para el grupo adecuado de personas. Por ejemplo, no podía distinguir entre un programa diseñado para mejorar la salud general y uno diseñado específicamente para aumentar la actividad física, incluso si la redacción era similar. Debido a estos errores, el resumen final producido por la IA estaba lleno de información que no respondía a la pregunta original. Discutía resultados que no eran relevantes y extraía conclusiones basadas en evidencia que no era elegible para la revisión. La revisión liderada por humanos, por el contrario, fue capaz de filtrar el ruido y centrarse solo en los estudios que realmente importaban, resultando en una conclusión mucho más precisa y confiable.
Los investigadores también observaron cómo el software manejaba los datos que sí encontraba. Si bien la IA era capaz de extraer detalles básicos como el país donde se realizó un estudio o el número de participantes, era inconsistente en lo que respecta a la extracción de resultados específicos, como cuánto mejoró una intervención la salud de una persona. En algunos casos, omitía los datos por completo; en otros, no estaba claro qué había encontrado. Además, el software no tenía la capacidad de juzgar la calidad de los estudios, lo que significa que trataba un experimento débil y mal diseñado de la misma manera que uno fuerte y bien realizado. Esta falta de control de calidad es un riesgo significativo, ya que podría llevar a los responsables políticos a confiar en evidencia defectuosa.
En última instancia, el estudio sugiere que, si bien la inteligencia artificial puede ser una herramienta valiosa para obtener una visión rápida y de alto nivel de un tema, aún no está lista para reemplazar a los investigadores humanos en la tarea crítica de realizar una revisión de evidencia completa, especialmente cuando las preguntas son complejas. La IA puede acelerar las etapas tempranas de la investigación, pero todavía comete demasiados errores en las etapas posteriores como para ser confiada por sí sola. Los investigadores concluyeron que, por ahora, el mejor enfoque es utilizar el software como un ayudante que trabaje junto a un experto humano, quien debe verificar cada decisión que toma la máquina. El tiempo ahorrado al usar la IA es actualmente incierto, ya que el esfuerzo humano requerido para corregir sus errores podría cancelar las ganancias iniciales de velocidad. A medida que estas herramientas continúen evolucionando, la esperanza es que sean mejores comprendiendo los detalles sutiles del lenguaje humano y la investigación, pero por el momento, la mente humana sigue siendo esencial para asegurar que la evidencia que guía la política pública sea precisa y confiable.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.