💬 NLP

Large-scale dataset of automatically classified rhetorical sections in scientific papers

Este artículo presenta un conjunto de datos a gran escala de secciones retóricas clasificadas automáticamente para 15,6 millones de artículos científicos del Semantic Scholar Open Research Corpus, validado para alcanzar el nivel de acuerdo humano y permitir un análisis computacional granular de los patrones de escritura científica.

Autores originales: Daniel Verdi, Jacob Aarup Dalsgaard, Roberta Sinatra

Publicado 2026-07-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Daniel Verdi, Jacob Aarup Dalsgaard, Roberta Sinatra

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que entras en una biblioteca masiva que contiene 15,6 millones de artículos científicos. Si intentaras leerlos todos, te sentirías abrumado. Pero lo que es aún más confuso es que cada artículo es un poco como un rompecabezas: algunos tienen capítulos claros como "Introducción" o "Métodos", mientras que otros usan títulos extraños como "El viaje del descubrimiento" o "Lo que encontramos".

Este artículo trata sobre la construcción de un bibliotecario automatizado súper rápido que pueda recorrer toda esta biblioteca, mirar cada uno de los artículos e instantáneamente clasificar las páginas en sus capítulos correctos.

Así es como lo hicieron, explicado de forma sencilla:

1. El problema: El "Escritorio Desordenado"

Los científicos suelen escribir artículos en un formato estándar llamado IMRaD (Introducción, Métodos, Resultados y Discusión). Es como una receta: dices qué estás cocinando, cómo lo vas a cocinar, qué pasó y qué piensas al respecto.

Pero en el mundo real, los científicos son desordenados.

Un artículo puede llamar a la sección de "Métodos" "Diseño Experimental".
Otro puede llamar a los "Resultados" "Hallazgos".
Algunos artículos mezclan secciones, como "Resultos y Discusión".

Intentar encontrar la sección de "Métodos" en millones de artículos a mano es imposible. Los intentos anteriores de hacer esto con computadoras fueron como intentar encontrar una aguja en un pajar usando un imán diminuto: solo funcionaban con montones pequeños de artículos y no escalaban.

2. La solución: El "Detective Basado en Reglas"

En lugar de usar una IA compleja y costosa que intente "pensar" como un humano (lo que toma una eternidad y cuesta una fortuna), los autores construyeron un Detective Basado en Reglas.

Piensa en este detective como un bibliotecario muy estricto con una lista de verificación:

Paso 1 (La Coincidencia Exacta): El detective busca la palabra "Introducción". Si la ve, la etiqueta.
Paso 2 (La Coincidencia de Patrones): El detective busca variaciones. Si ve "Diseño de Estudio" o "Cómo lo hicimos", sabe: "¡Ah, esa es la sección de Métodos!".
El truco de "Rellenar los Huecos": A veces, el detective pierde de vista un encabezado. Pero sabe que si la página anterior dice "Métodos" y la página siguiente dice "Resultados", todo lo que hay en medio debe ser parte de la sección de "Métodos". Rellena los huecos automáticamente.

¿Por qué este enfoque?
Los autores eligieron este método "tonto" pero rápido por encima de una IA "inteligente" porque:

Velocidad: Procesó 15 millones de artículos en solo unas pocas horas en computadoras normales.
Transparencia: Puedes mirar las reglas y decir: "Oh, etiquetó esto como 'Métodos' porque vio la palabra 'Diseño'". Con una IA compleja, a menudo es una "caja negra" donde no sabes por qué tomó una decisión.
Costo: Fue increíblemente barato de ejecutar.

3. El Resultado: Una Biblioteca Limpia y Organizada

Después de pasar al detective por la biblioteca, filtraron los artículos que eran demasiado desordenados (como un artículo con una sola sección, que no es un estudio científico real).

El Conjunto de Datos Final:

13,5 millones de artículos están ahora organizados ordenadamente.
Cada artículo tiene sus secciones etiquetadas (Introducción, Métodos, Resultados, etc.).
Cubre principalmente ciencia, tecnología, ingeniería y matemáticas (STEM), con una gran parte de artículos médicos y de biología.

4. ¿Funcionó? (La "Prueba del Gusto")

Para asegurarse de que su detective no estaba simplemente adivinando, realizaron dos pruebas:

Prueba Humana: Contrataron a 32 personas inteligentes (con maestrías o doctorados) para etiquetar manualmente 100 artículos.
Prueba de IA: Le pidieron a un Modelo de Lenguaje Grande y potente (como un chatbot superinteligente) que etiquetara 1.000 artículos.

El Veredicto:
El detective basado en reglas funcionó tan bien como los humanos.

Los humanos estuvieron de acuerdo entre sí el 61% de las veces (lo cual es bastante bajo, ¡demostrando que incluso los expertos encuentran algunas secciones confusas!).
El detective estuvo de acuerdo con los humanos casi al mismo ritmo (58%).
Esto significa que la computadora es tan buena como un experto humano para clasificar estos artículos, pero puede hacerlo millones de veces más rápido.

5. ¿Qué hay en la caja?

Los autores no se guardaron esto solo para ellos. Publicaron todo el mapa de la biblioteca de forma gratuita.

No entregaron el texto completo de los artículos (porque eso ya está disponible en otros lugares).
En su lugar, entregaron un "mapa" que indica exactamente dónde comienza y termina la "Introducción" en cada uno de esos 13,5 millones de artículos.

Resumen

Este artículo trata sobre la creación de un mapa masivo y gratuito de la escritura científica. Al usar reglas simples y rápidas en lugar de una IA compleja, lograron organizar millones de artículos científicos desordenados en capítulos ordenados. Esto permite a otros investigadores estudiar cómo escriben los científicos, detectar tendencias en diferentes campos o analizar la comunicación científica a una escala que antes era imposible.

La Conclusión: Construyeron un robot bibliotecario rápido, barato y confiable que puede clasificar los artículos científicos del mundo mejor de lo que podría hacerlo un humano, y entregaron las llaves a todo el mundo.

Resumen Técnico: Conjunto de datos a gran escala de secciones retóricas clasificadas automáticamente en artículos científicos

Planteamiento del problema
Los artículos científicos se adhieren a estructuras retóricas (por ejemplo, Introducción, Métodos, Resultados, Discusión) que organizan el contenido para propósitos comunicativos específicos, siguiendo frecuentemente el formato IMRaD. Si bien el análisis de estas estructuras a escala podría permitir estudios granulares de los patrones de escritura científica y del discurso, la anotación manual de millones de artículos es impracticable. Los enfoques automatizados existentes enfrentan limitaciones significativas: a menudo se evalúan en conjuntos de datos pequeños (cientos de artículos), carecen de generalizabilidad a corpus de escala de millones y frecuentemente dependen de código no público, lo que impide la replicación. Además, los métodos previos tienen dificultades con la variabilidad de los encabezados de sección entre disciplinas, editoriales y estructuras de documentos.

Metodología
Los autores desarrollaron un algoritmo de clasificación basado en reglas diseñado para la escala y las características del Semantic Scholar Open Research Corpus (S2ORC), que contiene 15,6 millones de artículos científicos de acceso abierto. El flujo de trabajo procesa documentos XML estructurados analizados mediante GROBID.

La metodología central involucra una estrategia de etiquetado de dos pasadas:

Coincidencia exacta: La primera pasada utiliza la coincidencia exacta de cadenas contra un diccionario de títulos de sección comunes y genéricos (por ejemplo, "métodos", "resultados") para capturar encabezados con terminología estándar.
Expresiones regulares: La segunda pasada emplea patrones de regex para identificar variaciones semánticas más amplias de los encabezados de sección (por ejemplo, "diseño del estudio" mapeado a "métodos") mientras excluye términos excesivamente generales para evitar falsos positivos.

Tras las pasadas iniciales, el sistema aplica propagación de etiquetas para asignar etiquetas a las filas no etiquetadas entre dos encabezados etiquetados, asumiendo que pertenecen a la sección precedente. Se incluye un manejo especial para encabezados no centrales (por ejemplo, pies de figura) y una etiqueta de "desarrollo" para las secciones principales de nivel superior que no coinciden con los diccionarios estándar pero que son identificadas mediante pistas estructurales (por ejemplo, encabezados numerados).

Para asegurar la calidad, el conjunto de datos se somete a un filtrado:

Los artículos deben tener al menos dos secciones identificadas para ser retenidos.
Se aplica un umbral a la proporción máxima que una sola sección puede ocupar en un artículo (excluyendo las referencias), utilizando una regla de Rango Intercuartílico (IQR) ( $k=0.50$ ) para filtrar artículos donde la propagación de etiquetas probablemente falló (por ejemplo, donde la mayor parte del texto es etiquetada erróneamente como introducción).

El conjunto de datos final agrega el texto de filas consecutivas con etiquetas idénticas, produciendo entradas a nivel de sección. Los autores eligieron explícitamente métodos basados en reglas sobre aprendizaje automático o Modelos de Lenguaje Extensos (LLMs) para garantizar la transparencia, la capacidad de control y la eficiencia computacional, señalando que el rendimiento del método parece acercarse al techo alcanzable utilizando solo el texto del encabezado sin un análisis semántico de contexto completo.

Contribuciones clave

Escala del conjunto de datos: Los autores presentan un conjunto de datos de anotaciones a nivel de sección para 13,5 millones de artículos (el 86% del corpus S2ORC inicialmente clasificado), lo que representa dos órdenes de magnitud más de artículos anotados que los conjuntos de datos previos.
Validación: El estudio proporciona una validación exhaustiva utilizando tanto anotadores humanos (100 artículos) como anotación basada en LLM (1.000 artículos).
Ciencia Abierta: A diferencia de esfuerzos previos, el código para el flujo de clasificación y el conjunto de datos completo están disponibles públicamente, lo que permite la replicación y extensión.
Enfoque disciplinario: El conjunto de datos cubre principalmente disciplinas STEM (aprox. 75%), con una fuerte representación en medicina (25,6%), biología e ingeniería.

Resultados

Puntuaciones de acuerdo: El clasificador basado en reglas logró un acuerdo de Alfa de Krippendorff de 0,5848 con anotadores humanos. Esto es notablemente comparable al acuerdo entre expertos humanos independientes (0,6092) y entre humanos y el LLM (0,6293).
Rendimiento por sección:
- Alto rendimiento: El algoritmo funciona sólidamente en las secciones estándar de IMRaD. Para "Métodos" (F1 = 0,79) y "Conclusión" (F1 = 0,91), el enfoque basado en reglas se alinea estrechamente con los expertos humanos. "Introducción" muestra una alta recuperación (0,89), mientras que "Métodos" y "Resultados" muestran una alta precisión (0,86).
- Desafíos: El rendimiento disminuye para las categorías de "Revisión de literatura" (F1 = 0,17) y "Desarrollo". La etiqueta de "Revisión de literatura" sufre de baja recuperación (0,09) debido a títulos descriptivos no estandarizados. La etiqueta de "Desarrollo" muestra una alta recuperación (0,79) pero baja precisión (0,12), lo que indica que captura límites estructurales pero a menudo captura en exceso secciones que los humanos podrían clasificar de manera diferente (por ejemplo, como métodos o resultados).
Métricas de validación: El acuerdo inter-ejecución del LLM fue de 0,9261, mientras que el acuerdo inter-anotador humano fue de 0,61, lo que resalta la subjetividad inherente y la complejidad de la clasificación retórica incluso entre hablantes nativos altamente educados.

Significancia y Reivindicaciones
El artículo afirma que este recurso aborda brechas clave en las herramientas existentes para analizar la estructura retórica de la literatura científica al combinar escala, validación y disponibilidad pública. Los autores sostienen que el conjunto de datos permite estudios computacionales a gran escala del discurso científico, el examen de las convenciones de escritura específicas de cada disciplina y el seguimiento de los cambios en la comunicación científica a lo largo del tiempo a nivel de sección.

Los autores señalan modestamente que el conjunto de datos es más adecuado para artículos empíricos con estructuras tipo IMRaD y puede no capturar completamente los matices organizativos de los artículos de humanidades y ciencias sociales o tipos de documentos no estándar. Enfatizan que el enfoque basado en reglas ofrece un equilibrio óptimo entre precisión, transparencia y eficiencia de recursos para la anotación a escala de corpus, logrando niveles de rendimiento comparables a los de los expertos humanos para las secciones empíricas principales.