SciLaD: A Large-Scale, Transparent, Reproducible Dataset for Natural Scientific Language Processing

Resumen Técnico: SciLaD

1. El Problema

A pesar de los avances significativos en el Procesamiento del Lenguaje Natural (PLN) impulsados por grandes corpus de datos generales, el lenguaje científico sigue estando subrepresentado en los conjuntos de datos abiertos. Esto limita la reproducibilidad y la transparencia de la investigación en dominios especializados.

• Falta de transparencia: Muchos modelos científicos existentes (como SciBERT o GALACTICA) se entrenan con datos que no son completamente públicos o cuyos pipelines de construcción no son totalmente reproducibles.
• Complejidad estructural: El texto científico posee propiedades lingüísticas y estructurales únicas (terminología precisa, organización formal, argumentación centrada en datos) que difieren del lenguaje cotidiano, requiriendo corpus específicos y bien estructurados.
• Barreras de acceso: La mayoría de las publicaciones científicas están detrás de muros de pago, y aunque existe una gran cantidad de contenido de Acceso Abierto (Open Access - OA), su extracción y normalización automática presentan desafíos técnicos significativos (formatos heterogéneos, falta de capas de texto en PDFs, restricciones legales).

2. Metodología

Los autores presentan SciLaD (Scientific Language Dataset), un corpus masivo construido íntegramente con herramientas de código abierto y fuentes de datos públicas. El proceso se divide en tres etapas principales:

A. Recolección de Datos (Harvesting)

• Fuente principal: Se utilizó la instantánea de Unpaywall (junio de 2023), que indexa más de 50 millones de artículos OA.
• Fuentes complementarias: Se integraron recursos de arXiv (fuentes LaTeX), PMC (JATS XML) y PLOS (XML completo).
• Estrategia: Se descargaron 31.6 millones de documentos PDF y se transformaron formatos estructurados existentes (JATS, LaTeX) para unificarlos.

B. Preprocesamiento y Normalización

• Formato Estándar: Todos los datos se convirtieron a TEI XML (Text Encoding Initiative), preservando la estructura del documento, metadatos y gráficos de citas.
• Extracción de Texto:
  • Se evitó el uso de Modelos de Lenguaje Visuales (VLM) como Nougat debido a su alto costo computacional y lentitud para escalar a millones de páginas.
  • Se utilizó Grobid, una herramienta de código abierto basada en redes neuronales recurrentes (RNN) y Campos Aleatorios Condicionales (CRF), capaz de procesar ~120 páginas/segundo en hardware estándar.
  • Para LaTeX y JATS XML, se emplearon LaTeXML y Pub2TEI respectivamente para estandarizar la estructura.
• Resultado Intermedio: 35.3 millones de publicaciones en TEI XML, incluyendo 109 millones de nodos de citas y 1.51 mil millones de aristas de conexión.

C. Postprocesamiento y Filtrado

• Conversión a Texto Plano: Se extrajo el texto de los archivos TEI XML, eliminando fórmulas y tablas complejas para mantener la calidad, pero conservando párrafos, títulos y referencias.
• Filtrado de Idioma: Se seleccionaron exclusivamente documentos en inglés. Se aplicó detección de idioma con fasttext y se eliminaron documentos con puntuación de confianza <80%.
• Limpieza de Calidad: Se utilizó el framework Datatrove para aplicar filtros de calidad de lenguaje (basados en Gopher) y eliminar datos ruidosos.
• Deduplicación: Se aplicó deduplicación a nivel de documento utilizando MinHash (5-gramas, 112 funciones hash), eliminando documentos con similitud superior al 75%.
• Corpus Final: Un conjunto de 10.9 millones de documentos en inglés, con un total de 68.7 mil millones de tokens.

D. Entrenamiento y Evaluación

• Modelos: Se entrenaron dos variantes de un modelo RoBERTa-base (110M parámetros) desde cero:
  1. SciLaD-M (custom): Entrenado con un tokenizador personalizado creado sobre SciLaD.
  2. SciLaD-M (RoBERTa): Entrenado con el tokenizador original de RoBERTa.
• Pipeline de Evaluación: Se desarrolló un pipeline reproducible para evaluar el modelo en 5 tareas y 11 conjuntos de datos de referencia (benchmarks), incluyendo NER, extracción PICO, clasificación de texto y análisis de dependencias.

3. Contribuciones Clave

1. Corpus Masivo y Transparente: Un dataset de 35.3 millones de artículos científicos en formato TEI XML (multilingüe) y un subconjunto filtrado de 10.9 millones en inglés, todo derivado de fuentes de Acceso Abierto.
2. Pipeline Reproducible: La publicación completa del pipeline de construcción (código abierto) utilizando herramientas como Grobid, Datatrove y Pub2TEI, permitiendo a la comunidad extender y mantener el dataset.
3. Modelos de Referencia: Entrenamiento y publicación de dos modelos de lenguaje científico (SciLaD-M) que demuestran la viabilidad de crear modelos de alta calidad sin depender de datos propietarios o cerrados.
4. Infraestructura de Evaluación: Un framework de evaluación estandarizado para comparar arquitecturas de codificadores (encoders) y secuencia-a-secuencia en tareas científicas.

4. Resultados

Los modelos SciLaD-M fueron evaluados frente a baselines establecidos como SciBERT, BERT y RoBERTa en tareas de NLP científico:

• Rendimiento General: SciLaD-M (custom) alcanzó una puntuación promedio de 74.91, superando ligeramente a SciBERT (71.19) y demostrando un rendimiento comparable o superior en la mayoría de las tareas.
• Reconocimiento de Entidades Nombradas (NER):
  • Logró el mejor puntaje en BC5CDR (97.20 F1), superando a todos los baselines.
  • Superó significativamente a los modelos de dominio general (BERT/RoBERTa) en tareas biomédicas y de ciencias de la computación.
• Extracción de Relaciones (REL): Obtuvo los mejores resultados en ChemProt (83.83) y SciERC (81.23), indicando una captura efectiva de la semántica relacional científica.
• Análisis de Dependencias (DEP): Superó a todos los baselines en el corpus GENIA, tanto en puntuación de unión etiquetada (LAS) como no etiquetada (UAS).
• Conclusión de Resultados: Los resultados validan que un corpus construido exclusivamente con datos de Acceso Abierto y herramientas transparentes puede generar modelos de lenguaje científicos competitivos, sin necesidad de datos restringidos o ilegales.

5. Significado e Impacto

• Reproducibilidad y Ética: SciLaD establece un "plano azul" ético y escalable para la creación de datos en PLN científico, demostrando que no es necesario recurrir a infraestructuras propietarias o datos con licencias ambiguas para lograr alto rendimiento.
• Accesibilidad: Al publicar el dataset, los modelos y el código, se elimina la barrera de entrada para investigadores que desean trabajar en PLN científico, fomentando la transparencia.
• Futuro de la Investigación: El dataset, con su estructura TEI XML rica en metadatos y gráficos de citas, sienta las bases para tareas futuras más complejas, como el razonamiento de largo contexto, la generación de resúmenes de documentos completos y el modelado avanzado de gráficos de citas.
• Comunidad: Proporciona una base sólida para el desarrollo de LLMs científicos especializados, promoviendo la equidad en el acceso a herramientas de IA de vanguardia para la ciencia.

En resumen, SciLaD no es solo un dataset, sino una demostración técnica de que la transparencia, la apertura y la reproducibilidad son compatibles con el estado del arte en el modelado de lenguaje científico.