🤖 AI

Self-prompting and cross-model consensus enable reproducible data extraction from scientific literature with large language models

Este artículo demuestra que la combinación de el auto-prompting y el consenso entre modelos con modelos de lenguaje de gran tamaño permite la extracción de datos reproducible y escalable de la literatura científica, manteniendo al mismo tiempo la supervisión experta mediante una división práctica del trabajo.

Autores originales: Valentin Romanov, Monique Bax, Steven Niederer

Publicado 2026-08-20

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Valentin Romanov, Monique Bax, Steven Niederer

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

La ciencia se apoya en una vasta biblioteca de descubrimientos pasados, pero encontrar los hechos específicos ocultos dentro de esos artículos antiguos es un trabajo lento y tedioso. Imagine que un investigador necesita saber exactamente cómo se comporta una proteína del músculo cardíaco bajo ciertas condiciones. Debe leer docenas de artículos, algunos escritos hace décadas, buscando detalles minúsculos como la temperatura, las concentraciones químicas y los métodos de medición. Estos detalles suelen estar enterrados en textos densos o dispersos en tablas, y omitir incluso uno solo puede conducir a errores en nuevas investigaciones. Durante años, los científicos han esperado que los programas informáticos pudieran realizar este trabajo pesado, pero hasta hace poco, estas herramientas eran demasiado poco fiables para confiarles un trabajo tan delicado. A menudo perdían el contexto crucial o inventaban hechos que nunca existieron.

Un nuevo estudio realizado por investigadores del Imperial College London y la Universidad de Cambridge pone a prueba si la última generación de inteligencia artificial puede finalmente resolver este problema. El equipo no se limitó a pedirle a una computadora que leyera un artículo; trataron a la computadora como a un asistente de investigación principiante que necesitaba entrenamiento y supervisión cuidadosos. Establecieron una serie de experimentos para ver qué tan bien podían estos programas extraer datos específicos de artículos científicos, que iban desde tareas simples donde un humano daba un conjunto claro de instrucciones, hasta tareas complejas donde la computadora tenía que encontrar los artículos por sí misma. El objetivo era mapear exactamente dónde tienen éxito estas máquinas y dónde todavía necesitan una mano humana que las guíe.

Los investigadores comenzaron con un desafío directo: ¿podría una computadora extraer números precisos sobre cómo el calcio se une a las proteínas del corazón a partir de dieciocho artículos científicos diferentes? Entregaron a siete de los programas informáticos más avanzados un conjunto de instrucciones detalladas y escritas por expertos, y les pidieron que encontraran siete piezas de información específicas para cada experimento, tales como el tipo de animal utilizado, la temperatura y los valores químicos. Los resultados fueron sorprendentemente sólidos. Los mejores programas acertaron los números más del noventa y cinco por ciento de las veces. De hecho, cuando se les pidió a las computadoras que encontraran solo los números brutos, fueron correctas casi el cien por ciento de las veces. Sin embargo, las máquinas tuvieron dificultades cuando se les pidió que comprendieran la historia detrás de los números. A menudo fallaron al identificar exactamente qué versión de la proteína se estaba probando o las condiciones específicas bajo las cuales se realizó la medición. Esto demostró que, si bien las computadoras eran excelentes encontrando dígitos, aún estaban aprendiendo a comprender el contexto científico que hace que esos dígitos sean significativos.

Para ver si las computadoras podían hacerlo mejor sin que un humano escribiera las instrucciones, los investigadores permitieron que los programas escribieran sus propias guías. Pidieron a cada computadora que buscara las mejores formas de hacer preguntas y que luego creara una hoja de instrucciones maestra para la tarea. Las computadoras sí lograron crear guías útiles, pero los datos que extrajeron utilizando estas instrucciones escritas por ellas mismas fueron ligeramente menos precisos que cuando siguieron el plan original del experto humano. La brecha fue pequeña para los programas superiores, pero creció para otros. Esto sugirió que, si bien las computadoras pueden aprender a hacer buenas preguntas, un experto humano sigue siendo quien mejor sabe cómo enmarcar los matices específicos de un problema científico.

Luego, el equipo llevó a las computadoras más allá, pidiéndoles que actuaran como investigadores autónomos. En este escenario, los programas tenían que encontrar los artículos científicos pertinentes por sí mismos, leerlos y extraer los datos sin ayuda de un humano que los orientara. Aquí es donde los sistemas chocaron contra un muro. Incluso los programas más avanzados perdieron más de la mitad de los artículos correctos que debían encontrar. Algunos de ellos inventaron citas de artículos que no existían, un problema conocido como alucinación, mientras que otros simplemente no pudieron localizar las fuentes correctas. El estudio encontró que cuando una computadora tiene que buscar su propia información, se vuelve mucho menos fiable. Es como pedirle a un estudiante que escriba un informe pero no darle una tarjeta de la biblioteca; podrían adivinar los libros correctos, pero es igual de probable que inventen los títulos.

La parte final del estudio analizó cómo hacer que este proceso funcione en el mundo real. Los investigadores probaron un método en el que utilizaban múltiples computadoras para revisarse el trabajo entre sí. Descubrieron que si una computadora cometía un error, otra a menudo lo detectaba. Al ejecutar la misma tarea cinco veces y tomar la respuesta más común, el equipo pudo mejorar significamente la precisión. También descubrieron que tener diferentes computadoras trabajando en el mismo problema era incluso mejor que hacer que una sola computadora repitiera la tarea cinco veces. Este enfoque creó una red de seguridad donde las computadoras podían señalar los casos difíciles para que un humano los revisara. El estudio concluyó que la mejor manera de usar estas herramientas no es reemplazar a los científicos humanos, sino crear una asociación. En este nuevo flujo de trabajo, la computadora se encarga del trabajo repetitivo de encontrar y extraer datos, mientras que el experto humano interviene para verificar las partes complicadas y resolver cualquier desacuerdo entre las máquinas. Esta división del trabajo permite a los científicos procesar vastas cantidades de literatura rápidamente sin perder el juicio cuidadoso que solo un humano puede proporcionar.

Resumen Técnico: Auto-prompting y Consenso entre Modelos para la Extracción de Datos Reproducible

Declaración del Problema

La extracción precisa de datos matizados y contextualizados de la literatura científica no estructurada es un proceso laborioso propenso al error humano, al cálculo erróneo y a la mala interpretación de los matices de la investigación. Aunque los modelos de lenguaje de gran tamaño (LLM) ofrecen potencial para la automatización, los principios universales para su despliegue efectivo siguen estando poco desarrollados. Existe una brecha crítica en la comprensión de cómo utilizar los LLM de vanguardia accedidos a través de interfaces basadas en navegadores (en contraposición a las llamadas aisladas de API), que a menudo incorporan instrucciones ocultas, mecanismos de recuperación y herramientas de moderación que alteran el comportamiento del modelo. Además, los benchmarks existentes suelen fallar al no abordar la reproducibilidad de la extracción entre ejecuciones, la fiabilidad del descubrimiento autónomo de literatura y los desafíos específicos de aplicar directrices de reporte detalladas donde incluso los expertos humanos pueden discrepar.

Metodología

Los autores evaluaron cuatro flujos de trabajo escalonados diseñados para probar la autonomía y la fiabilidad de siete LLM de vanguardia (GPT-5.5, Opus 4.7/4.8, Gemini 3.1 Pro, Qwen3.7, Kimi K2.6, GLM-5.1/5.2 y DeepSeek v4) en un entorno basado en navegador. El estudio utilizó dos casos de estudio principales:

Extracción de Afinidad de la Troponina C Cardíaca (Benchmark de Verdad de Terreno):
- Cuerpo: 18 artículos de investigación primaria (que datan de la década de 1980) resumidos en Niederer et al. (2006), que contienen 39 condiciones experimentales.
- Tarea: Extraer siete puntos de datos específicos: especie, temperatura, preparación de la troponina, método de medición, concentración de magnesio y constantes de afinidad ( $K_d$ y $K$ ).
- Flujos de Trabajo Probados:
  1. Prompt Curado por Expertos: Los modelos recibieron un prompt fijo, diseñado por humanos, y los artículos. La extracción se repitió cinco veces por modelo para evaluar la consistencia.
  2. Prompts de Autoría Propia: Se instruyó a los modelos para que investigaran prácticas de ingeniería de prompts y terminología de dominio para generar tres prompts candidatos, que luego se agregaron en un único "prompt maestro". Este prompt maestro fue probado contra el mismo corpus.
  3. Investigación Profunda Autónoma: Se encargó a los modelos localizar de forma independiente la literatura primaria (hasta 20 artículos anteriores a 2005) y extraer datos sin fuentes proporcionadas por humanos.
  4. Creación de Datasets Transdisciplinarios: Utilizando las directrices de Sandoval et al. (2024) relativas al reporte de organoides, los modelos generaron prompts maestros para extraer criterios de reporte de 10 artículos de organoides cerebrales. Estos resultados se compararon con las evaluaciones de dos revisores humanos de nivel de doctorado.
Métricas de Evaluación:
- Precisión: Comparación contra un conjunto de datos de verdad de terreno corregido.
- Consistencia: Análisis de la varianza entre cinco ejecuciones independientes (midiendo "siempre correcto", "error sistemático" y "error aleatorio").
- Detección de Alucinaciones: Verificación de la existencia y exactitud de las referencias citadas.
- Acuerdo Humano: Medición de la alineación entre los resultados de los modelos y el consenso de expertos humanos.

Resultados Clave

1. Prompts Curados por Expertos y Rendimiento de los Modelos

Alta Precisión con Guía: Cuando se les proporcionaron prompts expertos y artículos fijos, los LLM de vanguardia lograron una alta precisión. Los tres mejores modelos (GPT-5.5, Opus 4.7, Gemini 3.1 Pro) promediaron un 92.6% de precisión a través de cinco ejecuciones. GPT-5.5 alcanzó un 95.7%.
Numérico vs. Contextual: Los modelos fueron altamente precisos al extraer valores numéricos ( $K$ y $K_d alcanzaron ~99% de precisión), pero tuvieron dificultades con campos contextuales que requieren un razonamiento más profundo, como la identificación de la preparación biológica específica (80.7% de precisión).
Variabilidad entre Ejecuciones: Las ejecuciones únicas fueron insuficientes para representar la capacidad del modelo. Solo el 76.4% de los parámetros fueron correctos en las cinco ejecuciones en todos los modelos. Los mejores modelos lograron un 87.7% de consistencia en las cinco ejecuciones, en comparación con el 67.9% de los demás.
Detección de Errores: El consenso de múltiples ejecuciones de LLM identificó con éxito errores en el conjunto de datos de verdad de terreno original, incluyendo factores de conversión incorrectos y asociaciones de temperatura.

2. Prompts de Autoría Propia

Generación de Prompts: Los modelos pudieron generar prompts maestros que mejoraban sus prompts candidatos individuales. Sin embargo, estos prompts de autoría propia no igualaron el rendimiento del prompt curado por el experto humano.
Caída de Rendimiento: El uso de prompts maestros de autoría propia resultó en una caída de la precisión general (por ejemplo, GPT-5.5 cayó de 95.6% a 90.3%). El declive fue más significativo en la interpretación de los métodos de medición experimental.
Correlación Débil: La calidad de un prompt de autoría propia (calificada contra una rúbrica) no predijo fuertemente la precisión de la extracción.

3. Investigación Profunda Autónoma

Fallo en el Descubrimiento de Literatura: Los agentes autónomos tuvieron dificultades para localizar la literatura primaria correcta. Incluso el agente con mejor desempeño (Opus 4.8) recuperó solo el 53.7% de las 19 referencias de verdad de terreno.
Alucinaciones: Dos agentes (Qwen3.7-Plus y GLM-5.2) generaron citas alucinadas (45% y 29% de las citas únicas, respectivamente). Otros agentes no produjeron alucinaciones, pero aun así omitieron porciones significativas de la literatura objetivo.
Calidad de la Extracción: Cuando se extrajeron datos de estos reportes autónomos, la precisión general frente a la verdad de terreno fue baja (34–39%), aunque los valores de afinidad numérica recuperados estuvieron a menudo dentro de un factor de dos de la verdad.

4. Consenso entre Modelos y Humano en el Bucle (Human-in-the-Loop)

Desacuerdo Humano: Los revisores humanos discreparon en el 20.9% de las evaluaciones, resaltando que la "verdad de terreno" no siempre es binaria.
El Consenso de Modelos como Filtro:
- Cuando los modelos ejecutaron cinco veces, un acuerdo unánime de 5-0 coincidió con el consenso humano el 93.2% de las veces.
- El acuerdo descendió al 65.0% cuando las ejecuciones se dividieron 4-1 y al 55.2% cuando se dividieron 3-2.
- Votación entre Modelos: Agregar los resultados de diferentes modelos (votación por mayoría) produjo un mayor acuerdo con los revisores humanos (93.3% con cinco modelos) que repetir el mismo modelo cinco veces (89.2%).
Reproducibilidad: GPT-5.5 fue el modelo más reproducible (92.6% de consistencia), mientras que Gemini 3.1 Pro fue el menos (81.7%), aunque el voto de mayoría de Gemini aún se alineaba bien con los humanos.

Significancia y Reivindicaciones

El artículo afirma definir una división de trabajo auditable para la curación de datos científicos que equilibra la automatización con la supervisión experta. Los autores sostienen que:

La Reproducibilidad Requiere Consenso: Una sola ejecución de un LLM es poco fiable. La extracción reproducible requiere ejecutar prompts múltiples veces y utilizar el consenso entre modelos para señalar casos de incertidumbre.
El Humano en el Bucle es Esencial para la Matiz: Mientras que los LLM pueden manejar tareas de extracción fijas con prompts expertos, tienen dificultades con el descubrimiento autónomo de literatura o la interpretación de contextos científicos complejos sin guía humana.
Marco Práctico: El estudio proporciona un flujo de trabajo práctico donde los expertos definen el estándar de evidencia y las fuentes, los modelos realizan extracciones repetidas para verificar los resultados, y los investigadores humanos resuelven los casos disputados o de bajo consenso.
La Interfaz Importa: El estudio destaca que las interacciones basadas en navegadores difieren significamente de las llamadas de API, y el rendimiento varía con las actualizaciones de la interfaz y la asignación de cómputo, lo que requiere un benchmarking cuidadoso en el entorno específico de uso.

Los autores concluyen que este enfoque ofrece una ruta práctica para escalar la curación de datos científicos sin renunciar a la supervisión experta, permitiendo la construcción de conjuntos de datos de alta calidad manteniendo la transparencia y la auditabilidad.