💬 NLP

Large-scale dataset of automatically classified rhetorical sections in scientific papers

Este artigo apresenta um conjunto de dados em larga escala de seções retóricas classificadas automaticamente para 15,6 milhões de artigos científicos do Semantic Scholar Open Research Corpus, validado para atingir o nível de concordância humana e permitindo uma análise computacional granular de padrões de escrita científica.

Autores originais: Daniel Verdi, Jacob Aarup Dalsgaard, Roberta Sinatra

Publicado 2026-07-07

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Daniel Verdi, Jacob Aarup Dalsgaard, Roberta Sinatra

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você entra em uma biblioteca imensa contendo 15,6 milhões de artigos científicos. Se você tentasse ler todos eles, ficaria sobrecarregado. Mas o que é ainda mais confuso é que cada artigo é um pouco como um quebra-cabeça: alguns têm capítulos claros como "Introdução" ou "Métodos", enquanto outros usam títulos estranhos como "A Jornada da Descoberta" ou "O Que Encontramos".

Este artigo é sobre a construção de um bibliotecário super-rápido e automatizado que pode percorrer toda essa biblioteca, olhar para cada um dos artigos e, instantaneamente, organizar as páginas em seus capítulos corretos.

Veja como eles fizeram isso, explicado de forma simples:

1. O Problema: A "Mesa Bagunçada"

Os cientistas geralmente escrevem artigos em um formato padrão chamado IMRaD (Introdução, Métodos, Resultados e Discussão). É como uma receita: você diz o que está cozinhando, como irá cozinhar, o que aconteceu e o que você acha disso.

Mas, no mundo real, os cientistas são bagunçados.

Um artigo pode chamar a seção de "Métodos" de "Design Experimental".
Outro pode chamar "Resultados" de "Achados".
Alguns artigos misturam seções, como "Resultados e Discussão".

Tentar encontrar a seção de "Métodos" em milhões de artigos manualmente é impossível. Tentativas anteriores de fazer isso com computadores eram como tentar encontrar uma agulha em um palheiro usando um ímã minúsculo — elas só funcionavam em pequenas pilhas de artigos e não escalavam.

2. A Solução: O "Detetive Baseado em Regras"

Em vez de usar uma IA complexa e cara que tenta "pensar" como um humano (o que leva uma eternidade e custa uma fortuna), os autores construíram um Detetive Baseado em Regras.

Pense neste detetive como um bibliotecário muito rigoroso com um checklist:

Passo 1 (A Correspondência Exata): O detetive procura pela palavra "Introdução". Se ele a vê, ele a marca.
Passo 2 (A Correspondência de Padrão): O detetive procura por variações. Se ele vê "Design do Estudo" ou "Como Fizemos Isso", ele sabe: "Ah, isso é a seção de Métodos!".
O Truque do "Preencher as Lacunas": Às vezes, o detetive perde um cabeçalho. Mas ele sabe que, se a página anterior diz "Métodos" e a página seguinte diz "Resultados", tudo o que estiver entre elas deve fazer parte da seção de "Métodos". Ele preenche as lacunas automaticamente.

Por que essa abordagem?
Os autores escolheram este método "burro", mas rápido, em vez de uma IA "inteligente" porque:

Velocidade: Processou 15 milhões de artigos em apenas algumas horas em computadores normais.
Transparência: Você pode olhar para as regras e dizer: "Ah, ele rotulou isso como 'Métodos' porque viu a palavra 'Design'". Com uma IA complexa, é frequentemente uma "caixa preta" onde você não sabe por que ela tomou uma decisão.
Custo: Foi incrivelmente barato de executar.

3. O Resultado: Uma Biblioteca Limpa e Organizada

Após passar o detetive pela biblioteca, eles filtraram os artigos que eram muito bagunçados (como um artigo com apenas uma seção, que não é um estudo científico real).

O Conjunto de Dados Final:

13,5 milhões de artigos agora estão organizados de forma limpa.
Cada artigo tem suas seções rotuladas (Introdução, Métodos, Resultados, etc.).
Cobre principalmente ciência, tecnologia, engenharia e matemática (STEM), com uma grande parcela sendo de artigos médicos e biológicos.

4. Funcionou? (O "Teste de Sabor")

Para garantir que o detetive deles não estava apenas adivinhando, eles realizaram dois testes:

Teste Humano: Eles contrataram 32 pessoas inteligentes (com mestrado ou doutorado) para rotular manualmente 100 artigos.
Teste de IA: Eles pediram a um Modelo de Linguagem Grande e poderoso (como um chatbot super inteligente) para rotular 1.000 artigos.

O Veredito:
O detetive baseado em regras performou tão bem quanto os humanos.

Os humanos concordaram entre si cerca de 61% das vezes (o que é, na verdade, um número baixo, mostrando que até especialistas acham algumas seções confusas!).
O detetive concordou com os humanos quase na mesma taxa (58%).
Isso significa que o computador é tão bom quanto um especialista humano em classificar esses artigos, mas pode fazer isso milhões de vezes mais rápido.

5. O Que Tem na Caixa?

Os autores não guardaram isso apenas para si. Eles lançaram o mapa completo da biblioteca gratuitamente.

Eles não entregaram o texto completo dos artigos (porque isso já está disponível em outros lugares).
Em vez disso, eles forneceram um "mapa" que diz exatamente onde a "Introdução" começa e termina em cada um desses 13,5 milhões de artigos.

Resumo

Este artigo é sobre a criação de um mapa massivo e gratuito da escrita científica. Ao usar regras simples e rápidas em vez de IA complexa, eles organizaram com sucesso milhões de artigos científicos bagunçados em capítulos organizados. Isso permite que outros pesquisadores estudem como os cientistas escrevem, identifiquem tendências em diferentes campos ou analisem a comunicação científica em uma escala que antes era impossível.

A Conclusão: Eles construíram um bibliotecário robô rápido, barato e confiável que consegue organizar os artigos científicos do mundo melhor do que um humano conseguiria, e entregaram as chaves para todos.

Resumo Técnico: Conjunto de dados em larga escala de seções retóricas classificadas automaticamente em artigos científicos

Definição do Problema
Artigos científicos aderem a estruturas retóricas (por exemplo, Introdução, Métodos, Resultados, Discussão) que organizam o conteúdo para propósitos comunicativos específicos, frequentemente seguindo o formato IMRaD. Embora a análise dessas estruturas em escala possa permitir estudos granulares de padrões de escrita científica e discurso, a anotação manual de milhões de artigos é impraticável. As abordagens automatizadas existentes enfrentam limitações significativas: são frequentemente avaliadas em conjuntos de dados pequenos (centenas de artigos), carecem de generalização para corpora de escala de milhões e frequentemente dependem de código não público, impedindo a replicação. Além disso, métodos anteriores têm dificuldade com a variabilidade dos cabeçalhos de seção entre disciplinas, editoras e estruturas de documentos.

Metodologia
Os autores desenvolveram um algoritmo de classificação baseado em regras projetado para a escala e as características do Semantic Scholar Open Research Corpus (S2ORC), que contém 15,6 milhões de artigos científicos de acesso aberto. O pipeline processa documentos XML estruturados extraídos via GROBID.

A metodologia central envolve uma estratégia de rotulagem de duas passagens:

Correspondência Exata: A primeira passagem utiliza correspondência de strings exatas contra um dicionário de títulos de seção comuns e genéricos (por exemplo, "methods", "results") para capturar cabeçalhos com terminologia padrão.
Expressões Regulares: A segunda passagem emprega padrões de regex para identificar variações semânticas mais amplas de cabeçalhos de seção (por exemplo, "study design" mapeado para "methods"), enquanto exclui termos excessivamente genéricos para evitar falsos positivos.

Após as passagens iniciais, o sistema aplica propagação de rótulos para atribuir rótulos a linhas não rotuladas entre dois cabeçalhos rotulados, assumindo que elas pertencem à seção precedente. O tratamento especial é incluído para cabeçalhos não essenciais (ex: legendas de figuras) e um rótulo de "desenvolvimento" para as principais seções de alto nível que não correspondem aos dicionários padrão, mas são identificadas via pistas estruturais (ex: cabeçalhos numerados).

Para garantir a qualidade, o conjunto de dados passa por filtragem:

Os artigos devem possuir pelo menos duas seções identificadas para serem retidos.
Um limiar é aplicado à proporção máxima que uma única seção pode ocupar de um artigo (excluindo referências), utilizando uma regra de Intervalo Interquartil (IQR) ( $k=0.50$ ) para filtrar artigos onde a propagação de rótulos provavelmente falhou (ex: onde a maior parte do texto é erroneamente rotulada como introdução).

O conjunto de dados final agrega o texto de linhas consecutivas com rótulos idênticos, produzindo entradas ao nível da seção. Os autores escolheram explicitamente métodos baseados em regras em vez de aprendizado de máquina ou Grandes Modelos de Linguagem (LLMs) para garantir transparência, controlabilidade e eficiência computacional, observando que o desempenho do método parece se aproximar do teto alcançável usando apenas o texto do cabeçalho sem análise semântica de contexto completo.

Principais Contribuições

Escala do Conjunto de Dados: Os autores apresentam um conjunto de dados de anotações ao nível de seção para 13,5 milhões de artigos (86% do corpus S2ORC inicialmente classificado), representando dois orders de magnitude a mais de artigos anotados do que conjuntos de dados anteriores.
Validação: O estudo fornece validação abrangente usando tanto anotadores humanos (100 artigos) quanto anotação baseada em LLM (1.000 artigos).
Ciência Aberta: Diferente de esforços anteriores, o código para o pipeline de classificação e o conjunto de dados completo estão publicamente disponíveis, permitindo replicação e extensão.
Foco Disciplinar: O conjunto de dados cobre principalmente disciplinas STEM (aprox. 75%), com forte representação em medicina (25,6%), biologia e engenharia.

Resultados

Scores de Concordância: O classificador baseado em regras alcançou um Alfa de Krippendorff de 0,5848 com anotadores humanos. Isso é notavelmente comparável à concordância entre especialistas humanos independentes (0,6092) e entre humanos e o LLM (0,6293).
Desempenho por Seção:
- Alto Desempenho: O algoritmo performa fortemente em seções padrão do IMRaD. Para "Methods" (F1 = 0,79) e "Conclusion" (F1 = 0,91), a abordagem baseada em regras alinha-se de perto com especialistas humanos. "Introduction" mostra alta revocação (0,89), enquanto "Methods" e "Results" mostram alta precisão (0,86).
- Desafios: O desempenho diminui para as categorias "Lit review" (F1 = 0,17) e "Development". O rótulo "Lit review" sofre de baixa revocação (0,09) devido a títulos descritivos não padronizados. O rótulo "Development" mostra alta revocação (0,79), mas baixa precisão (0,12), indicando que captura fronteiras estruturais, mas frequentemente captura demais seções que humanos poderiam classificar de forma diferente (ex: como métodos ou resultados).
Métricas de Validação: A concordância inter-execução do LLM foi de 0,9261, enquanto a concordância inter-anotador humano foi de 0,61, destacando a subjetividade inerente e a complexidade da classificação retórica mesmo entre falantes nativos altamente instruídos.

Significância e Alegações
O artigo afirma que este recurso aborda lacunas fundamentais nas ferramentas existentes para analisar a estrutura retórica da literatura científica ao combinar escala, validação e disponibilidade pública. Os autores afirmam que o conjunto de dados permite estudos computacionais de larga escala do discurso científico, o exame de convenções de escrita específicas de cada disciplina e o rastreamento de mudanças na comunicação científica ao longo do tempo ao nível da seção.

Os autores observam modestamente que o conjunto de dados é mais adequado para artigos empíricos com estruturas do tipo IMRaD e pode não capturar totalmente as nuances organizacionais de artigos das humanidades e ciências sociais ou tipos de documentos não padronizados. Eles enfatizam que a abordagem baseada em regras oferece um equilíbrio ideal entre precisão, transparência e eficiência de recursos para a anotação em escala de corpus, alcançando níveis de desempenho comparáveis aos de especialistas humanos para as seções empícas centrais.