💬 NLP

Large-scale dataset of automatically classified rhetorical sections in scientific papers

Dieses Paper präsentiert einen groß angelegten Datensatz automatisch klassifizierter rhetorischer Abschnitte für 15,6 Millionen wissenschaftliche Arbeiten aus dem Semantic Scholar Open Research Corpus, der validiert wurde, um eine Übereinstimmung auf menschlichem Niveau zu erreichen und eine granulare computergestützte Analyse wissenschaftlicher Schreibmuster zu ermöglichen.

Ursprüngliche Autoren: Daniel Verdi, Jacob Aarup Dalsgaard, Roberta Sinatra

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Daniel Verdi, Jacob Aarup Dalsgaard, Roberta Sinatra

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betreten eine riesige Bibliothek mit 15,6 Millionen wissenschaftlichen Arbeiten. Wenn Sie versuchen würden, alle zu lesen, wären Sie völlig überfordert. Aber noch verwirrender ist, dass jede Arbeit ein wenig wie ein Puzzle ist: Einige haben klare Kapitel wie „Einleitung“ oder „Methoden“, während andere seltsame Titel wie „Die Reise der Entdeckung“ oder „Was wir fanden“ tragen.

Dieses Paper handelt davon, einen superschnellen, automatisierten Bibliothekar zu bauen, der durch diese gesamte Bibliothek gehen, jede einzelne Arbeit prüfen und die Seiten sofort in ihre korrekten Kapitel sortieren kann.

So haben sie es gemacht, einfach erklärt:

1. Das Problem: Der „unordentliche Schreibtisch“

Wissenschaftler schreiben ihre Arbeiten normalerweise in einem Standardformat namens IMRaD (Introduction, Methods, Results, and Discussion – Einleitung, Methoden, Ergebnisse und Diskussion). Es ist wie ein Rezept: Man sagt, was man kocht, wie man es kocht, was passiert ist und was man darüber denkt.

Aber in der Realität sind Wissenschaftler unordentlich.

Eine Arbeit bezeichnet den Abschnitt „Methoden“ vielleicht als „Experimentelles Design“.
Eine andere nennt „Ergebnisse“ vielleicht „Funde“.
Manche Arbeiten vermischen Abschnitte, wie zum Beispiel „Ergebnisse und Diskussion“.

Zu versuchen, den „Methoden“-Abschnitt in Millionen von Papieren von Hand zu finden, ist unmöglich. Frühere Versuche, dies mit Computern zu tun, waren wie der Versuch, eine Nadel im Heuhaufen mit einem winzigen Magneten zu finden – sie funktionierten nur bei kleinen Papierstapeln und ließen sich nicht hochskalieren.

2. Die Lösung: Der „Regelbasierte Detektiv“

Anstatt einen komplexen, teuren KI-Ansatz zu verwenden, der versucht, wie ein Mensch zu „denken“ (was ewig dauert und ein Vermögen kostet), bauten die Autoren einen Regelbasierten Detektiv.

Stellen Sie sich diesen Detektiv wie einen sehr strengen Bibliothekar mit einer Checkliste vor:

Durchgang 1 (Der exakte Treffer): Der Detektiv sucht nach dem Wort „Einleitung“. Wenn er es sieht, markiert er es.
Durchgang 2 (Der Musterabgleich): Der Detektiv sucht nach Variationen. Wenn er „Studienentwurf“ oder „Wie wir es gemacht haben“ sieht, weiß er: „Ah, das ist der Methoden-Abschnitt!“
Der „Lückentext“-Trick: Manchmal übersieht der Detektiv eine Überschrift. Aber er weiß auch: Wenn die Seite vor der aktuellen Seite „Methoden“ sagt und die Seite danach „Ergebnisse“ sagt, dann muss alles dazwischen Teil des „Methoden“-Abschnitts sein. Er füllt die Lücken automatisch auf.

Warum dieser Ansatz?
Die Autoren entschieden sich für diese „dumme“, aber schnelle Methode anstelle einer „schlauen“ KI, weil:

Geschwindigkeit: Sie verarbeiteten 15 Millionen Arbeiten in nur wenigen Stunden auf normalen Computern.
Transparenz: Man kann die Regeln einsehen und sagen: „Oh, er hat dies als ‚Methoden‘ markiert, weil er das Wort ‚Design‘ gesehen hat.“ Bei einer komplexen KI handelt es sich oft um eine „Black Box“, bei der man nicht weiß, warum eine Entscheidung getroffen wurde.
Kosten: Es war unglaublich günstig in der Ausführung.

3. Das Ergebnis: Eine saubere, organisierte Bibliothek

Nachdem der Detektiv die Bibliothek durchlaufen hatte, filterten sie die Arbeiten heraus, die zu unordentlich waren (wie etwa eine Arbeit mit nur einem einzigen Abschnitt, was keine echte wissenschaftliche Studie darstellt).

Der finale Datensatz:

13,5 Millionen Arbeiten sind nun ordentlich organisiert.
Jede Arbeit hat ihre Abschnitte beschriftet (Einleitung, Methoden, Ergebnisse usw.).
Er deckt hauptsächlich Naturwissenschaften, Technik, Ingenieurwesen und Mathematik (STEM) ab, mit einem sehr großen Anteil an medizinischen und biologischen Arbeiten.

4. Hat es funktioniert? (Der „Geschmackstest“)

Um sicherzustellen, dass ihr Detektiv nicht nur rät, führten sie zwei Tests durch:

Der Human-Test: Sie engagierten 32 kluge Köpfe (mit Master-Abschluss oder PhD), die manuell 100 Arbeiten beschrifteten.
Der KI-Test: Sie baten ein leistungsstarkes Large Language Model (wie einen superintelligenten Chatbot), 1.000 Arbeiten zu beschriften.

Das Urteil:
Der regelbasierte Detektiv schnitt genauso gut ab wie die Menschen.

Die Menschen stimmten in 61 % der Fälle überein (was eigentlich ziemlich niedrig ist und zeigt, dass selbst Experten manche Abschnitte verwirrend finden!).
Der Detektiv stimmte in fast demselben Maße mit den Menschen überein (58 %).
Das bedeutet, dass der Computer so gut ist wie ein menschlicher Experte beim Sortieren dieser Arbeiten, aber er kann es Millionen Mal schneller erledigen.

5. Was ist in der Box?

Die Autoren haben dies nicht nur für sich behalten. Sie haben die gesamte Karte der Bibliothek kostenlos veröffentlicht.

Sie haben nicht den Volltext der Arbeiten herausgegeben (da dieser bereits anderswo verfügbar ist).
Stattdessen gaben sie eine „Karte“, die genau angibt, wo die „Einleitung“ in jeder einzelnen dieser 13,5 Millionen Arbeiten beginnt und endet.

Zusammenfassung

In diesem Paper geht es darum, eine massive, kostenlose Karte des wissenschaftlichen Schreibens zu erstellen. Durch den Einsatz einfacher, schneller Regeln anstelle von komplexer KI ist es ihnen gelungen, Millionen von unordentlichen wissenschaftlichen Arbeiten in ordentliche Kapitel zu sortieren. Dies ermöglicht es anderen Forschern, zu untersuchen, wie Wissenschaftler schreiben, Trends in verschiedenen Fachgebieten zu erkennen oder die wissenschaftliche Kommunikation in einem Ausmaß zu analysieren, das zuvor unmöglich war.

Der Kernpunkt: Sie haben einen schnellen, günstigen und zuverlässigen Roboter-Bibliothekar gebaut, der die wissenschaftlichen Arbeiten der Welt besser sortieren kann als ein Mensch, und sie haben den Schlüssel dazu jedem zur Verfügung gestellt.

Technische Zusammenfassung: Groß angelegter Datensatz automatisch klassifizierter rhetorischer Abschnitte in wissenschaftlichen Arbeiten

Problemstellung
Wissenschaftliche Arbeiten folgen rhetorischen Strukturen (z. B. Einleitung, Methoden, Ergebnisse, Diskussion), die Inhalte für spezifische kommunikative Zwecke organisieren und häufig dem IMRaD-Format folgen. Während die Analyse dieser Strukturen in großem Maßstab detaillierte Studien über wissenschaftliche Schreibmuster und Diskurse ermöglichen könnte, ist die manuelle Annotation von Millionen von Arbeiten unpraktikabel. Bestehende automatisierte Ansätze stehen vor erheblichen Einschränkungen: Sie werden oft auf kleinen Datensätzen (einige hundert Arbeiten) evaluiert, lassen sich nicht auf Korpora in Millionenhöhe verallgemeinern und beruhen häufig auf nicht-öffentlichem Code, was eine Replikation verhindert. Zudem haben vorangegangene Methoden Schwierigkeiten mit der Variabilität von Abschnittsüberschriften über Disziplinen, Verlage und Dokumentstrukturen hinweg.

Methodik
Die Autoren entwickelten einen regelbasierten Klassifizierungsalgorithmus, der auf die Skalierbarkeit und die Charakteristika des Semantic Scholar Open Research Corpus (S2ORC) ausgelegt ist, welcher 15,6 Millionen Open-Access-wissenschaftliche Arbeiten enthält. Die Pipeline verarbeitet strukturierte XML-Dokumente, die via GROBID geparst wurden.

Die Kernmethodik umfasst eine Zwei-Pass-Labeling-Strategie:

Exaktes Matching: Der erste Pass nutzt das exakte String-Matching gegen ein Wörterbuch gängiger, generischer Abschnittstitel (z. B. „methods“, „results“), um Überschriften mit Standardterminologie zu erfassen.
Reguläre Ausdrücke: Der zweite Pass verwendet Regex-Muster, um breitere semantische Variationen von Abschnittsüberschriften zu identifizieren (z. B. wird „study design“ auf „methods“ abgebildet), während übermäßig allgemeine Begriffe ausgeschlossen werden, um falsch-positive Ergebnisse zu vermeiden.

Im Anschluss an die ersten Durchläufe wendet das System eine Label-Propagation an, um nicht gelabelte Zeilen zwischen zwei gelabelten Überschriften zuzuweisen, unter der Annahme, dass sie zum vorangehenden Abschnitt gehören. Eine spezielle Handhabung erfolgt für Nicht-Kern-Überschriften (z. B. Abbildungsunterschriften) und ein „Development“-Label für wichtige Top-Level-Abschnitte, die zwar keine Standard-Wörterbücher erfüllen, aber über strukturelle Merkmale (z. B. nummerierte Überschriften) identifiziert werden können.

Um die Qualität zu gewährleisten, durchläuft der Datensatz eine Filterung:

Arbeiten müssen mindestens zwei identifizierte Abschnitte aufweisen, um beibehalten zu werden.
Es wird ein Schwellenwert für den maximalen Anteil eines Abschnitts an einer Arbeit angewendet (unter Ausschluss von Referenzen), wobei eine Interquartilsabstand-Regel (IQR, $k=0.50$ ) genutzt wird, um Arbeiten herauszufiltern, bei denen die Label-Propagation wahrscheinlich fehlgeschlagen ist (z. B. wenn der Großteil des Textes fälschlicherweise als „Introduction“ gelabelt wurde).

Der endgültige Datensatz aggregiert den Text aufeinanderfolgender Zeilen mit identischen Labels und erzeugt so abschnittsebene Einträge. Die Autoren entschieden sich explizit für regelbasierte Methoden anstelle von maschinellem Lernen oder Large Language Models (LLMs), um Transparenz, Kontrollierbarkeit und Recheneffizienz zu gewährleisten, und merkten an, dass die Leistung der Methode das Maximum zu erreichen scheint, das allein durch die Verwendung von Header-Text ohne semantische Vollkontext-Analyse erzielbar ist.

Wesentliche Beiträge

Datensatz-Skalierung: Die Autoren präsentieren einen Datensatz mit abschnittsebenen-Annotationen für 13,5 Millionen Arbeiten (86 % des ursprünglich klassifizierten S2ORC-Korpus), was zwei Größenordnungen mehr annotierte Arbeiten darstellt als bisherige Datensätze.
Validierung: Die Studie bietet eine umfassende Validierung sowohl durch menschliche Annotatoren (100 Arbeiten) als auch durch LLM-basierte Annotation (1.000 Arbeiten).
Open Science: Im Gegensatz zu früheren Bemühungen sind der Code für die Klassifizierungs-Pipeline und der vollständige Datensatz öffentlich zugänglich, was Replikation und Erweiterung ermöglicht.
Disziplin-Fokus: Der Datensatz deckt primär STEM-Disziplinen ab (ca. 75 %), mit einer starken Repräsentation in Medizin (25,6 %), Biologie und Ingenieurwesen.

Ergebnisse

Agreement-Scores: Der regelbasierte Klassifizierer erreichte eine Krippendorffs Alpha-Übereinstimmung von 0,5848 mit menschlichen Annotatoren. Dies ist bemerkenswert vergleichbar mit der Übereinstimmung zwischen unabhängigen menschlichen Experten (0,6092) und zwischen Menschen und dem LLM (0,6293).
Leistung nach Abschnitten:
- Hohe Leistung: Der Algorithmus arbeitet stark bei Standard-IMRaD-Abschnitten. Bei „Methods“ (F1 = 0,79) und „Conclusion“ (F1 = 0,91) stimmt der regelbasierte Ansatz eng mit menschlichen Experten überein. „Introduction“ zeigt eine hohe Recall (0,89), während „Methods“ und „Results“ eine hohe Precision (0,86) aufweisen.
- Herausforderungen: Die Leistung sinkt für die Kategorien „Lit review“ und „Development“. Das Label „Lit review“ leidet unter einem niedrigen Recall (0,09) aufgrund nicht-standardisierter, deskriptiver Titel. Das „Development“-Label zeigt einen hohen Recall (0,79), aber eine niedrige Precision (0,12), was darauf hindeutet, dass es zwar strukturelle Grenzen erfasst, aber oft Abschnitte übermäßig erfasst, die Menschen anders klassifizieren würden (z. B. als Methoden oder Ergebnisse).
Validierungsmetriken: Die LLM-Inter-Run-Übereinstimmung lag bei 0,9261, während die menschliche Inter-Annotator-Übereinstimmung bei 0,61 lag, was die inhärente Subjektivität und Komplexität der rhetorischen Klassifizierung selbst unter hochgebildeten Muttersprachlern verdeutlicht.

Bedeutung und Ansprüche
Das Paper behauptet, dass diese Ressource die bestehenden Lücken bei Werkzeugen zur Analyse der rhetorischen Struktur wissenschaftlicher Literatur schließt, indem sie Skalierbarkeit, Validierung und öffentliche Verfügbarkeit kombiniert. Die Autoren behaupten, dass der Datensatz groß angelegte computergestützte Studien der wissenschaftlichen Diskurse, die Untersuchung disziplinspezifischer Schreibkonventionen und die Verfolgung von Veränderungen in der wissenschaftlichen Kommunikation im Zeitverlauf auf Abschnittebene ermöglicht.

Die Autoren merken bescheiden an, dass der Datensatz am besten für empirische Arbeiten mit IMRaD-ähnlichen Strukturen geeignet ist und die organisatorischen Nuancen von Arbeiten aus den Geistes- und Sozialwissenschaften oder nicht-standardisierten Dokumenttypen möglicherweise nicht vollständig erfasst. Sie betonen, dass der regelbasierte Ansatz ein optimales Gleichgewicht zwischen Genauigkeit, Transparenz und Ressourceneffizienz für die Korpus-Skala-Annotation bietet und dabei Leistungsniveaus erreicht, die für die Kern-Empirie-Abschnitte mit menschlichen Experten vergleichbar sind.