💬 NLP

Large-scale dataset of automatically classified rhetorical sections in scientific papers

Dit artikel presenteert een grootschalige dataset van automatisch geclassificeerde retorische secties voor 15,6 miljoen wetenschappelijke artikelen uit de Semantic Scholar Open Research Corpus, gevalideerd om menselijke overeenstemming te bereiken en wat granulaire computationele analyse van wetenschappelijke schrijfpatronen mogelijk maakt.

Oorspronkelijke auteurs: Daniel Verdi, Jacob Aarup Dalsgaard, Roberta Sinatra

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Daniel Verdi, Jacob Aarup Dalsgaard, Roberta Sinatra

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek binnenloopt met 15,6 miljoen wetenschappelijke artikelen. Als je ze allemaal zou proberen te lezen, zou je overweldigd raken. Maar nog verwarrender is dat elk artikel een beetje een puzzel is: sommige hebben duidelijke hoofdstukken zoals "Inleiding" of "Methoden", terwijl anderen vreemde titels gebruiken zoals "De Reis van Ontdekking" of "Wat We Heb Ontdekt".

Dit artikel gaat over het bouwen van een supersnelle, geautomatiseerde bibliothecaris die door deze hele bibliotheek kan lopen, elk artikel kan bekijken en de pagina's direct in de juiste hoofdstukken kan sorteren.

Zo hebben ze het gedaan, eenvoudig uitgelegd:

1. Het Problek: De "Rommelige Bureau"

Wetenschappers schrijven hun artikelen meestal in een standaardformaat genaamd IMRaD (Introduction, Methods, Results, and Discussion). Het is als een recept: je zegt wat je aan het koken bent, hoe je het gaat koken, wat er is gebeurd en wat je ervan vindt.

Maar in de echte wereld zijn wetenschappers slordig.

Het ene artikel noemt de "Methoden"-sectie misschien "Experimenteel Ontwerp".
Een ander noemt "Resultaten" misschien "Bevindingen".
Sommige artikelen mengen secties, zoals "Resultaten en Discussie".

Het handmatig zoeken naar de "Methoden"-sectie in miljoenen artikelen is onmogelijk. Eerdere pogingen om dit met computers te doen, waren als het zoeken naar een speld in een hooiberg met een kleine magneet — ze werkten alleen op kleine stapels papier en konden niet opschalen.

2. De Oplossing: De "Regel-gebaseerde Detective"

In plaats van een complexe, dure AI te gebruiken die probeert te "denken" als een mens (wat eeuwig duurt en een fortuin kost), bouwden de auteurs een Regel-gebaseerde Detective.

Zie deze detective als een zeer strikte bibliothecaris met een checklist:

Pass 1 (De Exacte Match): De detective zoekt naar het woord "Inleiding". Als hij het ziet, markeert hij het.
Pass 2 (De Patroon Match): De detective zoekt naar variaties. Als hij "Studieontwerp" of "Hoe we het hebben aangepakt" ziet, weet hij: "Ah, dat is de Methoden-sectie!"
De "Invul-de-gaten"-truc: Soms mist de detective een koptekst. Maar hij weet dat als de pagina vóór de huidige "Methoden" zegt en de pagina erna "Resultaten", alles daartussenin moet deel uitmaken van de "Methoden"-sectie. Hij vult de gaten automatisch in.

Waarom deze aanpak?
De auteurs kozen voor deze "domme" maar snelle methode boven een "slimme" AI omdat:

Snelheid: Het verwerkte 15 miljoen artikelen in slechts een paar uur op normale computers.
Transparantie: Je kunt naar de regels kijken en zeggen: "Oh, hij labelde dit als 'Methoden' omdat hij het woord 'Ontwerp' zag." Met een complexe AI is het vaak een "black box" waarbij je niet weet waarom een bepaalde keuze is gemaakt.
Kosten: Het was ongelooflijk goedkoop om uit te voeren.

3. Het Resultaat: Een Schone, Georganiseerde Bibliotheek

Nadat de detective door de bibliotheek was gelopen, filterden ze de artikelen eruit die te rommelig waren (zoals een artikel met slechts één sectie, wat geen echt wetenschappelijk onderzoek is).

De Definitieve Dataset:

13,5 miljoen artikelen zijn nu netjes georganiseerd.
Elk artikel heeft zijn secties gelabeld (Inleiding, Methoden, Resultaten, etc.).
Het beslaat voornamelijk wetenschap, technologie, techniek en wiskunde (STEM), met een groot deel dat bestaat uit medische en biologische artikels.

4. Werkte het? (De "Proef van Smaak")

Om er zeker van te zijn dat hun detective niet gewoon aan het gokken was, lieten ze twee tests uitvoeren:

Menselijke Test: Ze huurden 32 slimme mensen in (met een master of PhD) om 100 artikelen handmatig te labelen.
AI Test: Ze vroegen een krachtig Large Language Model (zoals een super-slimme chatbot) om 1.000 artikelen te labelen.

De Conclusie:
De regel-gebaseerde detective presteerde net zo goed als de mensen.

De mensen waren het in 61% van de gevallen met elkaar eens (wat eigenlijk best laag is, wat laat zien dat zelfs experts sommige secties verwarrend vinden!).
De detective was het in bijna hetzelfde tempo met de mensen eens (58%).
Dit betekent dat de computer net zo goed is als een menselijke expert bij het sorteren van deze artikelen, maar dat hij het miljoenen keren sneller kan doen.

5. Wat zit er in de doos?

De auteurs hielden dit niet alleen voor zichzelf. Ze hebben de volledige kaart van de bibliotheek gratis vrijgegeven.

Ze hebben niet de volledige tekst van de artikelen weggegeven (omdat die elders al beschikbaar is).
In plaats daarvan gaven ze een "kaart" die precies aangeeft waar de "Inleiding" begint en eindigt in elk van die 13,5 miljoen artikelen.

Samenvatting

Dit artikel gaat over het creëren van een enorme, gratis kaart van wetenschappelijk schrijven. Door eenvoudige, snelle regels te gebruiken in plaats van complexe AI, hebben ze miljoenen rommelige wetenschappelijke artikelen succesvol georganiseerd in nette hoofdstukken. Dit stelt andere onderzoekers in staat om te bestuderen hoe wetenschappers schrijven, trends in verschillende vakgebieden te ontdekken of wetenschappelijke communicatie te analyseren op een schaal die voorheen onmogelijk was.

De Kernboodschap: Ze hebben een snelle, goedkope en betrouwbare robot-bibliothecaris gebouwd die de wereldwijde wetenschappelijke artikelen beter kan sorteren dan een mens, en ze hebben de sleutels aan iedereen gegeven.

Technische Samenvatting: Grootschalige dataset van automatisch geclassificeerde retorische secties in wetenschappelijke artikelen

Probleemstelling
Wetenschappelijke artikelen houden zich aan retorische structuren (bijv. Introductie, Methoden, Resultaten, Discussie) die de inhoud organiseren voor specifieke communicatieve doeleinden, vaak volgens het IMRaD-formaat. Hoewel het analyseren van deze structuren op grote schaal de fijnmazige studie van wetenschappelijke schrijfpatronen en discours zou kunnen mogelijk maken, is het handmatig annoteren van miljoenen artikelen onpraktisch. Bestaande geautomatiseerde benaderingen kampen met aanzienlijke beperkingen: ze worden vaak geëvalueerd op kleine datasets (honderden artikelen), missen generaliseerbaarheid naar corpora op miljoenschaal, en vertrouwen vaak op niet-publieke code, wat replicatie verhindert. Bovendien hebben voorgaande methoden moeite met de variabiliteit van sectiekopjes tussen disciplines, uitgevers en documentstructuren.

Methodologie
De auteurs hebben een regelgebaseerd classificatiealgoritme ontwikkeld dat is ontworpen voor de schaal en de kenmerken van de Semantic Scholar Open Research Corpus (S2ORC), die 15,6 miljoen open-access wetenschappelijke artikelen bevat. De pipeline verwerkt gestructureerde XML-documenten die zijn geparsed via GROBID.

De kernmethodologie bestaat uit een twee-staps labelstrategie:

Exacte Matching: De eerste stap gebruikt exacte string-matching tegen een woordenboek van veelvoorkomende, generieke sectietitels (bijv. "methods", "results") om koppen met standaardterminologie te vangen.
Reguliere Expressies: De tweede stap maakt gebruik van regex-patronen om bredere semantische variaties van sectiekoppen te identificeren (bijv. "study design" gemapt naar "methods"), terwijl overlengend algemene termen worden uitgesloten om fout-positieven te voorkomen.

Na de initiële stappen past het systeem labelpropagatie toe om labels toe te wijzen aan niet-gelabelde rijen tussen twee gelabelde koppen, uitgaande van de aanname dat zij tot de voorafgaande sectie behoren. Er is speciale behandeling opgenomen voor niet-kernsecties (bijv. figuuronderschriften) en een "development"-label voor belangrijke top-level secties die niet overeenkomen met standaardwoordenboeken maar worden geïdentificeerd via structurele aanwijzingen (bijv. genummerde koppen).

Om de kwaliteit te waarborgen, ondergaat de dataset filtering:

Artikelen moeten ten minste twee geïdentificeerde secties hebben om behouden te blijven.
Een drempelwaarde wordt toegepast op het maximale aandeel dat een enkele sectie van een artikel kan beslaan (exclusief referenties), waarbij gebruik wordt gemaakt van een Interkwartielafstand (IQR) regel ( $k=0.50$ ) om artikelen eruit te filteren waarbij labelpropagatie waarschijnlijk is mislukt (bijv. waar het grootste deel van de tekst onterecht als introductie is gelabeld).

De uiteindelijke dataset aggregeert tekst van opeenvolgende rijen met identieke labels, wat resulteert in sectie-niveau entries. De auteurs kozen expliciet voor regelgebaseerde methoden boven machine learning of Large Language Models (LLM's) om transparantie, controleerbaarheid en computationele efficiëntie te waarborgen, waarbij zij opmerkten dat de prestaties van de methode de bovengrens lijkt te benaderen die haalbaar is met enkel de tekst van de koppen zonder volledige contextuele semantische analyse.

Belangrijkste Bijdragen

Schaal van de Dataset: De auteurs presenteren een dataset van sectie-niveau annotaties voor 13,5 miljoen artikelen (86% van de initieel geclassificeerde S2ORC-corpus), wat twee ordes van grootte meer geannoteerde artikelen vertegenwoordigt dan voorheen beschikbare datasets.
Validatie: De studie biedt uitgebreide validatie met behulp van zowel menselijke annotatoren (100 artikelen) als LLM-gebaseerde annotatie (1.000 artikelen).
Open Science: In tegen tegenstelling tot eerdere inspanningen zijn de code voor de classificatiepipeline en de volledige dataset publiekelijk beschikbaar, wat replicatie en uitbreiding mogelijk maakt.
Disciplinefocus: De dataset dekt primair STEM-disciplines (ca. 75%), met een sterke representatie van geneeskunde (25,6%), biologie en engineering.

Resultaten

Overeenstemmingsscores: De regelgebaseerde classifier bereikte een Krippendorff's Alpha-overeenkomst van 0,5848 met menselijke annotatoren. Dit is opmerkelijk vergelijkbaar met de overeenkomst tussen onafhankelijke menselijke experts (0,6092) en tussen mensen en de LLM (0,6293).
Prestaties per Sectie:
- Hoge Prestaties: Het algoritme presteert sterk op standaard IMRaD-secties. Voor "Methods" (F1 = 0,79) en "Conclusion" (F1 = 0,91) sluit de regelgebaseerde aanpak nauw aan bij menselijke experts. "Introduction" vertoont een hoge recall (0,89), terwijl "Methods" en "Results" een hoge precisie laten zien (0,86).
- Uitdagingen: De prestaties nemen af voor de categorieën "Lit review" (F1 = 0,17) en "Development". Het label "Lit review" lijdt onder een lage recall (0,09) door niet-standaard, beschrijvende titels. Het "Development"-label vertoont een hoge recall (0,79) maar een lage precisie (0,12), wat aangeeft dat het weliswaar structurele grenzen vangt, maar vaak secties over-vangt die mensen anders zouden classificeren (bijv. als methoden of resultaten).
Validatiemetrieken: De LLM inter-run overeenkomst was 0,9261, terwijl de menselijke inter-annotator overeenkomst 0,61 was, wat de inherente subjectiviteit en complexiteit van retorische classificatie benadrukt, zelfs onder hoogopgeleide moedertaalsprekers.

Significantie en Claims
Het artikel claimt dat deze bron de hiaten in bestaande instrumenten voor het analyseren van de retorische structuur van wetenschappelijke literatuur aanpakt door schaal, validatie en publieke beschikbaarheid te combineren. De auteurs stellen dat de dataset grootschalige computationele studies van wetenschappelijk discours, het onderzoek naar discipline-specifieke schrijfconventies en het volgen van veranderingen in wetenschappelijke communicatie in de loop van de tijd op sectieniveau mogelijk maakt.

De auteurs merken bescheiden op dat de dataset het best geschikt is voor empirische artikelen met IMRaD-achtige structuren en mogelijk niet volledig de organisatorische nuances van geesteswetenschappen en sociale wetenschappen of niet-standaard documenttypen zal vatten. Zij benadrukken dat de regelgebaseerde aanpak een optimaal evenwicht biedt tussen nauwkeurigheid, transparantie en efficiëntie van middelen voor corpus-schaal annotatie, waarbij prestatieniveaus die vergelijkbaar zijn met menselijke experts voor kern-empirische secties worden bereikt.