SciLaD: A Large-Scale, Transparent, Reproducible Dataset for Natural Scientific Language Processing

Resumo Técnico: SciLaD

1. O Problema

O avanço no Processamento de Linguagem Natural (PLN) tem sido impulsionado por grandes corpora abertos, mas o idioma científico permanece sub-representado em conjuntos de dados abertos e reprodutíveis.

• Limitações Atuais: Muitos modelos científicos existentes (como SciBERT) são treinados em dados que não são totalmente transparentes, muitas vezes utilizando fontes proprietárias ou pipelines de processamento que não são totalmente de código aberto.
• Desafios Técnicos: A extração de texto de publicações científicas é complexa devido à variedade de formatos (PDF, LaTeX, XML JATS), barreiras de acesso (paywalls) e a necessidade de manter a estrutura do documento (metadados, citações, fórmulas) para tarefas downstream.
• Necessidade: Há uma lacuna crítica para um corpus científico de grande escala, construído inteiramente com ferramentas de código aberto, que garanta reprodutibilidade, transparência e acessibilidade para a comunidade de pesquisa.

2. Metodologia

Os autores desenvolveram o SciLaD (Scientific Language Dataset) através de um pipeline automatizado e totalmente de código aberto. O processo divide-se em três etapas principais:

• A. Coleta (Harvesting):

  • Fontes: Os dados foram extraídos principalmente do Unpaywall (um índice de mais de 50 milhões de artigos de acesso aberto), complementado por repositórios públicos como arXiv (LaTeX), PMC (JATS XML) e PLOS.
  • Escala: A coleta inicial resultou em aproximadamente 38,9 milhões de entradas, das quais 31,6 milhões foram documentos PDF válidos.
  • Infraestrutura: O processamento foi realizado em um ambiente HPC (JetStream 2), utilizando 24 instâncias de máquinas virtuais em paralelo.

• B. Pré-processamento e Normalização:

  • Formato Unificado: Para lidar com a heterogeneidade dos formatos, todos os documentos foram convertidos para TEI XML (Text Encoding Initiative), preservando a estrutura do documento e metadados.
  • Ferramentas de Extração:
    • PDFs: Utilizou-se o Grobid (baseado em Redes Neurais Recorrentes e CRF), escolhido em vez de Modelos de Linguagem Visual (VLMs) como o Nougat, devido à escalabilidade e custo. O Grobid é ~400 vezes mais rápido que VLMs e evita erros de OCR, já que a maioria dos PDFs científicos possui uma camada de texto nativa.
    • LaTeX e JATS XML: Convertidos para TEI XML usando LaTeXML e Pub2TEI, respectivamente.
  • Resultado Intermediário: Um corpus de 35,3 milhões de publicações em TEI XML, contendo 109 milhões de nós de citação e 1,51 bilhão de arestas.

• C. Pós-processamento e Filtragem:

  • Conversão para Texto: O TEI XML foi convertido em texto simples (plain text), mantendo parágrafos e citações, mas excluindo tabelas e equações complexas para evitar ruído.
  • Filtragem de Idioma e Qualidade:
    • Seleção exclusiva de documentos em inglês para o conjunto de pré-treinamento.
    • Uso do framework Datatrove para filtragem de qualidade (semelhante ao Gopher), removendo textos com baixa confiança de detecção de idioma (<80%) e problemas de codificação.
  • Deduplicação: Aplicação de MinHash (com 5-grams e 112 funções de hash) para remover documentos duplicados ou altamente similares (limiar de 75%).
  • Corpus Final: O conjunto de dados limpo para inglês contém 10,9 milhões de documentos e 68,7 bilhões de tokens.

3. Contribuições Principais

1. Dataset SciLaD:
   • Um corpus multilíngue de 35,3 milhões de artigos em TEI XML (incluindo estrutura de citações e metadados).
   • Um "split" filtrado e deduplicado em inglês com 10,9 milhões de documentos para pré-treinamento.
   • Totalmente construído com dados de acesso aberto e ferramentas open-source.
2. Pipeline Reprodutível:
   • Disponibilização de todo o código para coleta, processamento (usando Grobid, Pub2TEI, LaTeXML) e avaliação.
   • Pipeline de avaliação unificado para fine-tuning e benchmarking de modelos encoder e encoder-decoder.
3. Modelos de Linguagem Científica (SciLaD-M):
   • Pré-treinamento de dois modelos baseados em RoBERTa-base (110M parâmetros) do zero:
     • SciLaD-M (custom): Usa um tokenizador treinado no próprio dataset.
     • SciLaD-M (RoBERTa): Usa o tokenizador original do RoBERTa.

4. Resultados e Avaliação

Os modelos foram avaliados em 11 conjuntos de dados de referência cobrindo 5 tarefas principais: Reconhecimento de Entidades Nomeadas (NER), Extração PICO, Análise de Dependência (DEP), Classificação de Relações (REL) e Classificação de Texto (CLS).

• Desempenho Geral: O modelo SciLaD-M (custom) alcançou uma pontuação média geral de 74,91, superando o SciBERT (71,19) e os modelos de domínio geral (BERT, RoBERTa).
• Destaque por Tarefa:
  • NER: Superou todos os baselines no dataset BC5CDR (97,20 de F1).
  • Extração PICO: O modelo SciLaD-M (RoBERTa) obteve o melhor desempenho (78,47), superando o SciBERT.
  • Relações (REL): Melhorou significativamente em ChemProt e SciERC, demonstrando capacidade de capturar semântica relacional em domínios heterogêneos.
  • Classificação (CLS): Superou baselines em classificação de intenção de citação (CitationIntent).
• Validação: Os resultados validam que é possível criar modelos de linguagem científica competitivos utilizando exclusivamente dados de acesso aberto e pipelines transparentes, sem depender de dados proprietários ou restritos.

5. Significância e Impacto

• Transparência e Ética: O SciLaD estabelece um novo padrão para a criação de dados científicos, demonstrando que a reprodutibilidade e a ética (uso de dados abertos) não comprometem o desempenho do modelo.
• Acesso Democrático: Ao fornecer um pipeline completo e dados abertos, reduz a barreira de entrada para pesquisadores que desejam desenvolver modelos de linguagem para ciência, sem custos de licenciamento ou acesso a dados restritos.
• Aplicações Futuras: A estrutura em TEI XML permite não apenas tarefas de NLP clássicas, mas também análises de grafos de citação, mineração de bibliografia e modelagem de estrutura de documentos, servindo como base para futuros modelos generativos e de raciocínio científico.

Em suma, o SciLaD é um marco para o PLN científico, provando que grandes corpora de alta qualidade podem ser construídos de forma colaborativa, transparente e ética.