Measuring research data reuse in scholarly publications using generative artificial intelligence: Open Science Indicator development and preliminary results

A continuación se presenta un resumen técnico detallado del artículo "Medición de la reutilización de datos de investigación en publicaciones académicas mediante inteligencia artificial generativa: Desarrollo de un indicador de Ciencia Abierta y resultados preliminares".

1. Planteamiento del Problema

La comunidad científica ha luchado durante mucho tiempo por medir con precisión la reutilización de datos de investigación a gran escala.

• Limitaciones de los Métodos Actuales:
  • Encuestas: Aunque las encuestas de autoinforme indican tasas de reutilización elevadas (52–54%), son subjetivas y no escalables.
  • Bibliometría: El análisis de citas tradicional depende de citas formales de conjuntos de datos (por ejemplo, DOIs). Sin embargo, estas se implementan de manera inconsistente y muchos conjuntos de datos reutilizados (por ejemplo, secuencias genéticas) carecen de identificadores persistentes. Los enfoques bibliométricos sugieren actualmente tasas de reutilización de solo 9–16%, lo que crea una brecha significativa entre el comportamiento reportado y las métricas detectadas.
  • PLN Existente: Los intentos automatizados anteriores (por ejemplo, utilizando SciBERT) han mostrado promesa, pero a menudo carecen de la sutileza para distinguir entre la generación de datos, la reutilización y la simple referencia, o no logran capturar el contexto de cómo y por qué se reutilizaron los datos.
• La Brecha: Existe una necesidad crítica de un indicador automatizado y escalable que pueda detectar la reutilización de datos en el texto, identificar conjuntos de datos específicos y comprender el contexto de la reutilización, proporcionando así una imagen más precisa del impacto de las políticas de Ciencia Abierta.

2. Metodología

Los autores (PLOS y DataSeer) desarrollaron una tubería de IA Generativa (LLM) para analizar artículos académicos en busca de generación y reutilización de datos.

A. Definición del Indicador

Mediante una revisión bibliográfica y consultas con partes interesadas (financiadores, instituciones, investigadores), definieron tres requisitos fundamentales para el indicador:

1. Identificar si un artículo reutiliza datos de investigación.
2. Identificar cuáles conjuntos de datos específicos fueron reutilizados.
3. Identificar cómo o por qué se reutilizaron los datos (razonamiento contextual).

B. Desarrollo del Modelo y Arquitectura

• Modelo Base: El equipo ajustó finamente Qwen3-32B (un modelo de lenguaje grande).
• Datos de Entrenamiento: Un conjunto de datos curado de 1.732 artículos de PLOS anotados por expertos humanos. Las anotaciones incluían etiquetas booleanas para generación/reutilización de datos y la extracción de citas, números de acceso, URLs y DOIs.
• Estrategia de Entrenamiento:
  • Técnica: Adaptación de Bajo Rango (LoRA) aplicada a todas las capas lineales (excepto la cabeza final).
  • Optimización: Un proceso de entrenamiento en dos etapas:
    1. Auto-distilación: Ajuste fino en completaciones de alta recompensa (≥0,9) de una ejecución de verificación.
    2. Aprendizaje por Refuerzo (RL): Utilizando Optimización de Política Relativa por Grupos (GRPO) para refinar el modelo.
• Función de Recompensa: Se diseñó una función de recompensa multiplicativa $r(p, c, y) = f(c) \times e(p, c) \times v(c, y)$ para hacer cumplir:
  1. Formato ($f$): Estructura JSON válida.
  2. Fundamentación ($e$): Sin alucinaciones; las salidas deben estar respaldadas por el texto fuente.
  3. Precisión ($v$): Acuerdo con las anotaciones humanas.
• Tubería de Inferencia:
  • Los artículos se convirtieron a Markdown (usando markitdown y Docling).
  • Los artículos largos (>25k tokens) se truncaron preservando los resúmenes y las referencias.
  • Estrategia Pass@3: Para cada artículo, el modelo generó tres completaciones. Un modelo verificador (Qwen3-32B base) las clasificó y se seleccionó la completación mejor clasificada.

C. Evaluación

El modelo se evaluó en un conjunto de prueba retenido de 296 artículos.

• Rendimiento: El modelo logró alta precisión en campos booleanos (89,8% pass@1 para generación de nuevos datos; 79,4% para reutilización) y puntuaciones F1 sólidas para la extracción de identificadores específicos (por ejemplo, 0,997 F1 para citas de nuevos datos).
• Comparación: Superó a otros modelos abiertos probados (GLM-5, gpt-oss-120b, Deepseek-R1).

3. Resultados Clave

El modelo analizó 4.475 artículos de PLOS publicados en el primer trimestre de 2024.

• Tasa General de Reutilización: Se encontró que el 43% de los artículos reutilizaban datos existentes. Esto es significativamente más alto que las estimaciones bibliométricas (9–16%) y más cercano a los datos de encuestas de autoinforme (>50%).
• Generación de Datos: El 59% de los artículos generaron nuevos datos.
• Superposición: El 11% de los artículos tanto generaron nuevos datos como reutilizaron datos existentes.
• Artículos Sin Datos: El 10% de los artículos ni generaron ni reutilizaron datos (una tasa más alta que los indicadores anteriores de PLOS, debido a definiciones más estrictas que excluyen simulaciones puras o revisiones sistemáticas).

Desgloses Regionales y Disciplinarios

• Región:
  • Asia-Pacífico: Tasa de reutilización más alta (46%).
  • África: Tasa de reutilización más baja (31%), con tasas más altas de generación de nuevos datos (66%). Los autores sugieren que esto puede relacionarse con problemas de soberanía de datos o "ciencia helicóptero".
  • América del Norte, América Latina, Europa: Tasas de reutilización agrupadas alrededor del 39–42%.
• Disciplina:
  • Ciencias Sociales: Tasa de reutilización más alta (50%).
  • Ciencias Físicas: Alta reutilización (47%) pero también la tasa más alta de artículos sin ninguna generación o reutilización de datos (18%).
  • Ciencias de la Vida: Mayor generación de nuevos datos (76%) pero la reutilización más baja (37%).

4. Contribuciones Clave

1. Indicador Novel: Desarrolló el primer indicador basado en LLM capaz de medir la reutilización de datos a gran escala, avanzando más allá del simple conteo de citas hacia el análisis semántico del texto.
2. Comprensión Contextual: A diferencia de los métodos anteriores, este enfoque extrae el razonamiento detrás de la reutilización (cómo/por qué), proporcionando metadatos más ricos para la evaluación del impacto.
3. Validación del Rendimiento: Demostró que los LLM ajustados finamente pueden lograr alta precisión en la detección de prácticas de investigación complejas, superando a la bibliometría tradicional y a modelos de PLN anteriores.
4. Definiciones Refinadas: Aclaró la distinción entre "generación de datos" (mover información del mundo físico a lo digital) y "reutilización", corrigiendo sobreestimaciones en los anteriores Indicadores de Ciencia Abierta de PLOS (que reportaban tasas de generación del 98%).

5. Significado e Implicaciones

• Reevaluación del Impacto de la Ciencia Abierta: Los hallazgos sugieren que los impactos positivos del intercambio de datos y las políticas de Ciencia Abierta están actualmente subestimados por las métricas tradicionales. La tasa de reutilización del 43% indica un ecosistema vibrante de reutilización de datos que la bibliometría no logra capturar.
• Política y Financiación: Esta herramienta proporciona a los financiadores (por ejemplo, la Fundación Michael J. Fox) y a los responsables políticos un mecanismo escalable para monitorear los efectos posteriores de los mandatos de intercambio de datos, pasando de medir el cumplimiento (compartir) a medir el impacto (reutilizar).
• Prácticas de Citación: El estudio destaca que los investigadores a menudo describen el uso de datos de maneras que no se ajustan a los estándares formales de citación, reforzando la necesidad de un análisis de contenido impulsado por IA en lugar de depender únicamente de metadatos estructurados.
• Direcciones Futuras: Los autores señalan limitaciones en cuanto a la distinción entre reutilizar los propios datos frente a los de otros y la necesidad de una validación más amplia en diferentes revistas y disciplinas.

En conclusión, este artículo establece que la Inteligencia Artificial Generativa es una herramienta viable y superior para monitorear la verdadera prevalencia y naturaleza de la reutilización de datos de investigación, ofreciendo una base más precisa para evaluar el éxito de las iniciativas de Ciencia Abierta.