Measuring research data reuse in scholarly publications using generative artificial intelligence: Open Science Indicator development and preliminary results

1. Declaração do Problema

A comunidade científica luta há muito tempo para medir com precisão a reutilização de dados de pesquisa em larga escala.

• Limitações dos Métodos Atuais:
  • Pesquisas: Embora pesquisas de autorrelato indiquem altas taxas de reutilização (52–54%), são subjetivas e não escaláveis.
  • Bibliometria: A análise de citações tradicional depende de citações formais de conjuntos de dados (por exemplo, DOIs). No entanto, essas são implementadas de forma inconsistente, e muitos conjuntos de dados reutilizados (por exemplo, sequências genéticas) carecem de identificadores persistentes. Abordagens bibliométricas atualmente sugerem taxas de reutilização de apenas 9–16%, criando uma lacuna significativa entre o comportamento relatado e as métricas detectadas.
  • NLP Existente: Tentativas automatizadas anteriores (por exemplo, usando SciBERT) mostraram promessa, mas frequentemente carecem de nuances para distinguir entre a geração de dados, a reutilização e uma simples referência, ou falham em capturar o contexto de como e por que os dados foram reutilizados.
• A Lacuna: Há uma necessidade crítica de um indicador automatizado e escalável que possa detectar a reutilização de dados em texto, identificar conjuntos de dados específicos e entender o contexto da reutilização, fornecendo assim uma imagem mais precisa do impacto das políticas de Ciência Aberta.

2. Metodologia

Os autores (PLOS e DataSeer) desenvolveram um pipeline de IA Generativa (LLM) para analisar artigos científicos quanto à geração e reutilização de dados.

A. Definição do Indicador

Através de revisão de literatura e consulta com partes interessadas (financiadores, instituições, pesquisadores), definiram três requisitos centrais para o indicador:

1. Identificar se um artigo reutiliza dados de pesquisa.
2. Identificar quais conjuntos de dados específicos foram reutilizados.
3. Identificar como ou por que os dados foram reutilizados (raciocínio contextual).

B. Desenvolvimento e Arquitetura do Modelo

• Modelo Base: A equipe ajustou finamente o Qwen3-32B (um modelo de linguagem grande).
• Dados de Treinamento: Um conjunto de dados curado de 1.732 artigos do PLOS anotados por especialistas humanos. As anotações incluíam rótulos booleanos para geração/reutilização de dados e extração de citações, números de acesso, URLs e DOIs.
• Estratégia de Treinamento:
  • Técnica: Adaptação de Baixa Classificação (LoRA) aplicada a todas as camadas lineares (exceto o cabeçalho final).
  • Otimização: Um processo de treinamento em duas etapas:
    1. Auto-Distilação: Ajuste fino em conclusões de alta recompensa (≥0,9) de uma execução de verificação.
    2. Aprendizado por Reforço (RL): Usando Otimização de Política Relativa em Grupo (GRPO) para refinar o modelo.
• Função de Recompensa: Uma função de recompensa multiplicativa $r(p, c, y) = f(c) \times e(p, c) \times v(c, y)$ foi projetada para impor:
  1. Formato ($f$): Estrutura JSON válida.
  2. Fundamentação ($e$): Nenhuma alucinação; as saídas devem ser apoiadas pelo texto fonte.
  3. Precisão ($v$): Concordância com anotações humanas.
• Pipeline de Inferência:
  • Artigos foram convertidos para Markdown (usando markitdown e Docling).
  • Artigos longos (>25k tokens) foram truncados, preservando resumos e referências.
  • Estratégia Pass@3: Para cada artigo, o modelo gerou três conclusões. Um modelo verificador (Qwen3-32B base) classificou-as, e a conclusão de maior classificação foi selecionada.

C. Avaliação

O modelo foi avaliado em um conjunto de teste retido de 296 artigos.

• Desempenho: O modelo alcançou alta precisão em campos booleanos (89,8% pass@1 para nova geração de dados; 79,4% para reutilização) e fortes pontuações F1 para extração de identificadores específicos (por exemplo, 0,997 F1 para citações de novos dados).
• Comparação: Superou outros modelos abertos testados (GLM-5, gpt-oss-120b, Deepseek-R1).

3. Resultados Principais

O modelo analisou 4.475 artigos do PLOS publicados no primeiro trimestre de 2024.

• Taxa Geral de Reutilização: 43% dos artigos foram encontrados reutilizando dados existentes. Isso é significativamente maior do que as estimativas bibliométricas (9–16%) e mais próximo dos dados de pesquisas de autorrelato (>50%).
• Geração de Dados: 59% dos artigos geraram novos dados.
• Sobreposição: 11% dos artigos tanto geraram novos dados quanto reutilizaram dados existentes.
• Artigos Não-Dados: 10% dos artigos nem geraram nem reutilizaram dados (uma taxa maior do que os indicadores anteriores do PLOS, devido a definições mais estritas que excluem simulações puras ou revisões sistemáticas).

Divisões Regionais e Disciplinares

• Região:
  • Ásia-Pacífico: Maior taxa de reutilização (46%).
  • África: Menor taxa de reutilização (31%), com taxas mais altas de geração de novos dados (66%). Os autores sugerem que isso pode estar relacionado a questões de soberania de dados ou "ciência helicóptero".
  • América do Norte, América Latina, Europa: Taxas de reutilização agrupadas em torno de 39–42%.
• Disciplina:
  • Ciências Sociais: Maior taxa de reutilização (50%).
  • Ciências Físicas: Alta reutilização (47%), mas também a maior taxa de artigos com nenhuma geração ou reutilização de dados (18%).
  • Ciências da Vida: Maior geração de novos dados (76%), mas menor reutilização (37%).

4. Contribuições Principais

1. Indicador Novel: Desenvolveu o primeiro indicador baseado em LLM capaz de medir a reutilização de dados em larga escala, indo além da contagem simples de citações para análise semântica de texto.
2. Compreensão Contextual: Diferentemente de métodos anteriores, esta abordagem extrai o raciocínio por trás da reutilização (como/por que), fornecendo metadados mais ricos para avaliação de impacto.
3. Validação de Desempenho: Demonstrou que LLMs ajustados finamente podem alcançar alta precisão na detecção de práticas de pesquisa complexas, superando bibliometria tradicional e modelos de NLP anteriores.
4. Definições Refinadas: Esclareceu a distinção entre "geração de dados" (mover informações do mundo físico para o digital) e "reutilização", corrigindo superestimativas nos Indicadores de Ciência Aberta anteriores do PLOS (que relatavam taxas de geração de 98%).

5. Significado e Implicações

• Reavaliação do Impacto da Ciência Aberta: As descobertas sugerem que os impactos positivos do compartilhamento de dados e das políticas de Ciência Aberta estão atualmente subestimados por métricas tradicionais. A taxa de reutilização de 43% indica um ecossistema vibrante de reutilização de dados que a bibliometria falha em capturar.
• Política e Financiamento: Esta ferramenta fornece a financiadores (por exemplo, Fundação Michael J. Fox) e formuladores de políticas um mecanismo escalável para monitorar os efeitos a jusante de mandatos de compartilhamento de dados, passando de medir conformidade (compartilhamento) para medir impacto (reutilização).
• Práticas de Citação: O estudo destaca que os pesquisadores frequentemente descrevem o uso de dados de maneiras que não conformam aos padrões formais de citação, reforçando a necessidade de análise de conteúdo impulsionada por IA em vez de depender exclusivamente de metadados estruturados.
• Direções Futuras: Os autores notam limitações quanto à distinção entre reutilizar os próprios dados versus dados de terceiros e à necessidade de validação mais ampla em diferentes periódicos e disciplinas.

Em conclusão, este artigo estabelece que a Inteligência Artificial Generativa é uma ferramenta viável e superior para monitorar a verdadeira prevalência e natureza da reutilização de dados de pesquisa, oferecendo uma base mais precisa para avaliar o sucesso das iniciativas de Ciência Aberta.