💬 NLP

OARelatedWork: A Large-Scale Dataset of Related Work Sections with Full-texts from Open Access Sources

Dit artikel introduceert OARelatedWork, de eerste grootschalige dataset die volledige tekstuele gerelateerde werken genereert uit open-access bronnen, wat onthult dat hoewel moderne LLM's moeite hebben met het synthetiseren van massieve contexten vergeleken met abstracts, ze menselijke baselines kunnen overtreffen in op bewijs gebaseerde feitelijkheid, hetgeen nieuwe frameworks voor evaluatie op beweringniveau noodzakelijk maakt om ontoereikende referentiegebaseerde metrieken te vervangen.

Oorspronkelijke auteurs: Martin Docekal, Martin Fajcik, Pavel Smrz

Gepubliceerd 2026-06-02

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Martin Docekal, Martin Fajcik, Pavel Smrz

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Het schrijven van het "Hoofdstuk over Anderen"

Stel je voor dat je een roman schrijft. Voordat je je eigen verhaal vertelt, moet je een hoofdstuk schrijven genaamd "Gerelateerd Werk" (Related Work). In dit hoofdstuk moet je samenvatten wat andere auteurs vóór jou hebben geschreven, uitleggen hoe hun verhalen lijken op dat van jou, en laten zien waar jouw verhaal verschilt.

Lama een tijdje waren computers die dit probeerden te doen als studenten die alleen de tekst op de achterkant van boeken (de abstracts) mochten lezen. Ze moesten het hele verhaal raden op basis van een minuscule samenvatting. Dit paper introduceert een nieuwe dataset genaamd OARelatedWork die de regels verandert: nu mag de computer de hele bibliotheek (de volledige tekst van elk boek) lezen voordat hij zijn hoofdstuk probeert te schrijven.

Het Probleen: De "Blurb" versus het "Boek"

Voorheen bouwden onderzoekers datasets waarbij computers alleen de korte samenvattingen van geciteerde papers zagen.

De Oude Manier: Het is alsof je een boekrecensie probeert te schrijven op basis van alleen de achterflap. Je krijgt misschien de hoofdlijn mee, maar je mist de details, de nuances en het specifieke bewijs.
De Nieuwe Manier (OARelatedWork): Deze dataset geeft de computer de volledige tekst van 94.000 papers en de volledige tekst van de miljoenen boeken die zij refereren. Het dwingt de AI om het hele boek te lezen, niet alleen de blurb.

Wat ze vonden: De "Slimme" versus de "Mens"

De onderzoekers testten deze nieuwe dataset met verschillende AI-modellen en vergeleken ze met menselijke schrijvers. Ze ontdekten enkele verrassende dingen:

Meer informatie kan een valstrik zijn: Wanneer de AI de volledige tekst van boeken kreeg in plaats van alleen de blurbs, maakte het eigenlijk meer fouten over waar de citaten geplaatst moesten worden. Het was alsof je een student een tekstboek van 1.000 pagina's gaf en vroeg om één specifiek feit te vinden; ze raakten overweldigd en wezen soms naar de verkeerde pagina.
Mensen "verzinnen dingen" (Abstractie): Menselijke auteurs zijn zeer creatief. Ze lezen vaak een boek, sluiten het, en schrijven dan een zin die klinkt alsof deze uit dat boek komt, zelfs als de exacte woorden er niet in stonden. Ze mengen ideeën uit verschillende delen van het boek om een vloeiend verhaal te creëren.
AI is de "Strenge Bibliothecaris": Omdat de AI getraind is om heel voorzichtig te zijn en alleen dingen te zeggen die hij met een directe quote kan bewijzen, bleek hij bij een strikte beoordeling feitelijk nauwkeuriger te zijn dan mensen.
- De Analogie: Stel je voor dat een menselijke schrijver een jazzmuzikant is die een prachtige melodie improviseert die goed voelt, maar misschien niet exact de bladmuziek volgt. De AI is een strikte dirigent die elke noot controleert tegen de bladmuziek. In dit specifieke spelletje van "heb je de regels gevolgd?", won de AI.

Het Scorebord: Hoe beoordelen we?

Het paper betoogt dat de oude manier van het beoordelen van deze samenvattingen (het tellen van hoeveel woorden er overlappen tussen het werk van de AI en het werk van een mens) kapot is.

De Oude Score: Als het beoordelen van een essay van een student door te tellen hoeveel woorden hij gebruikte die ook in het voorbeeld van de leraar stonden. Als de student andere woorden gebruikte om hetzelfde te zeggen, kreeg hij een slecht cijfer.
De Nieuwe Score: De auteurs creëerden een "Statement-Level Judge". In plaats van naar het hele essay te kijken, breken ze het af zin voor zin en vragen: "Is dit feit waar? Is de citatie correct?"
- Ze ontdekten dat standaard beoordelingstools hier slecht in zijn. Je hebt een slimme AI-rechter nodig (zoals een senior professor) om de feiten te controleren, niet alleen een spellingcontrole.

De Conclusie

Dit paper zegt: "Stop met het geven van alleen de achterflap-blurbs aan AI. Geef het de hele bibliotheek."

De Dataset: Het is een enorme collectie open-access papers met volledige teksten.
De Les: Wanneer AI het hele boek moet lezen, worstelt het met het samenvoegen van informatie tot een vloeiend geheel zoals mensen dat doen, maar wordt het ongelooflijk goed in het strikt volgen van de feiten.
De Toekomst: Om betere tools voor onderzoekers te bouwen, moeten we stoppen met het testen van AI op korte samenvattingen en beginnen met het testen op de volledige, rommelige, complexe realiteit van het lezen van volledige academische papers.

Kortom: Dit paper bouwde een gigantische bibliotheek voor AI om te oefenen met het schrijven van literatuuronderzoeken. Het ontdekte dat hoewel AI beter is in het volgen van de regels van fact-checking dan mensen, mensen nog steeds beter zijn in het weven van die feiten in een vloeiend, natuurlijk verhaal.

Technische Samenvatting: OARelatedWork

Probleemstelling

De generatie van "Related Work"-secties (gerelateerd werk) is een cruciale maar nog onvoldoende aangepakte uitdaging in Natural Language Processing (NLP). Hoewel de generatie van gerelateerd werk verder gaat dan multi-document samenvattingen, vereist het uniek niet alleen het samenvatten van gerefereerde papers, maar ook het positioneren van een doelwerk binnen eerder onderzoek door middel van comparatieve discours. Bestaande benaderingen kampen met drie primaire beperkingen:

Inputbeperkingen: De meeste datasets en modellen vertrouwen uitsluitend op abstracts van papers vanwege de technische moeilijkheid van het verwerken van lange full-text inputs. Dit beperkt het vermogen van het model om diepe, op bewijs gebaseerde inzichten te synthetiseren.
Outputgranulariteit: Bestaande benchmarks beperken de generatie vaak tot enkelvoudige paragrafen, waardoor het onmogelijk is om het vermogen van een model te evalueren om goed gestructureerde, meersectie-omvattende hoofdstukken over gerelateerd werk te produceren.
Inadequate Evaluatie: Standaard referentiegebaseerde metrieken (bijv. ROUGE, BERTScore) zijn onvoldoende voor langvormige, gestructureerde generatie. Ze hebben moeite met het beoordelen van feitelijke getrouwheid en correleren vaak slecht met menselijk oordeel in scenario's met een lange context.

Verder ontbreekt het het vakgebied aan een grootschalige dataset waarbij elke geciteerde paper in de validatie- en testsplits beschikbaar is in volledige tekst, wat gecontroleerde evaluatie van full-text synthesecapaciteiten verhindert.

Methodologie

Dataset Constructie: OARelatedWork

De auteurs introduceren OARelatedWork, de eerste grootschalige multi-document samenvattingsdataset die is ontworpen voor het genereren van volledige secties over gerelateerd werk vanuit open-access bronnen.

Corpus Bron: De dataset is gebouwd door het CORE-corpus (5,4M documenten in XML/TEI-formaat) en het Semantic Scholar-corpus (129,2M documenten, inclusief S2ORC en API-data) samen te voegen.
Verwerkingspipeline:
- Bibliografische Koppeling: Een meerfasig proces met behulp van Microsoft Academic Graph (MAG), de Semantic Scholar citatiegrafiek en een aangepaste zoeker om citaties te koppelen aan full-text documenten. Dit verhoogde het aantal geïdentificeerde bibliografische vermeldingen met 0,6% (ongeveer 11,6M links).
- Filtering: Documenten werden gefilterd om ervoor te zorgen dat secties over gerelateerd werk ten minste drie zinnen bevatten, ten minste twee documenten citeren en dat er gekoppelde full-texts zijn voor alle geciteerde papers in de validatie- en testsplits.
- Structuur: De data wordt gerepresenteerd in JSON met een hiërarchische boomstructuur (secties, subsecties, paragrafen, zinnen) om toekomstig gebruik te faciliteren.
Statistieken: De uiteindelijke dataset bevat 94.450 papers met secties over gerelateerd werk en 5,8 miljoen unieke geciteerde papers. Cruciaal is dat de validatie- en testsets 100% full-text beschikbaarheid garanderen voor geciteerde referenties, een kenmerk dat ontbreekt in eerdere datasets zoals S2ORC, Delve en Multi-XSci.

Taakdefinitie

De taak behelst het genereren van een sectie over gerelateerd werk $Y$ gegeven:

Een combinatie van input-contenttypen (abstracts en/of full texts van de doelpaper en geciteerde papers).
Een doel-lengte $L$ .
Structurele instructies (of er subsecties gebruikt moeten worden).

Het systeem moet informatie uit meerdere bronnen synthetiseren om een coherent, gestructureerd narratief te produceren.

Evaluatiekader

Om de tekortkomingen van traditionele metrieken aan te pakken, stellen de auteurs een statement-niveau evaluatiekader voor:

LLM Judges: Een gekwantiseerde Gemma 4 31B model (zonder redeneercapaciteit) wordt gebruikt als rechter om feitelijke beweringen uit de gegenereerde tekst te extraheren en ze te classificeren in vier categorieën: Waar, Waar maar foutieve citatie, Onverifieerbaar, en Onwaar.
Menselijke Evaluatie: Een fijnmazige menselijke evaluatie werd uitgevoerd op 40 papers (120 secties, 408 statements) om de LLM-rechters te valideren en getrouwheid, relevantie en taal kwaliteit te beoordelen.
Metrieken: Naast de statement-niveau getrouwheidsmetrieken rapporteert de studie ROUGE-scores, BERTScore en citation coverage F1.

Belangrijkste Bijdragen

OARelatedWork Dataset: Een grootschalige bron die de verschuiving mogelijk maakt van abstract-alleen naar full-text gerelateerd werk generatie. Het biedt de eerste benchmark waar testsets gegarandeerde full-text toegang bieden voor alle geciteerde referenties.
Empirische Analyse van Menselijk Schrijven: Door middel van menselijke evaluatie onthullen de auteurs dat menselijke auteurs vaak abstractieve claims introduceren die niet gegrond zijn in gelokaliseerde bronteksten (hoge "Onverifieerbaar" ratio's in strikte evaluaties).
LLM vs. Menselijke Baselines: De studie toont aan dat geavanceerde LLM's (specifiek GPT-4o-mini) menselijke baselines kunnen overtreffen in strikte, op bewijs gebaseerde getrouwheid wanneer ze worden geëvalueerd tegen de verstrekte context.
Meta-Evaluatie van Metrieken: Het artikel bewijst dat standaard referentiegebaseerde metrieken (zoals ROUGE, BERTScore) onvoldoende zijn voor deze taak. Het valideert het gebruik van LLM-gebaseerde rechters voor betrouwbare evaluatie van gestructureerde, langvormige generatie.

Resultaten

Modelprestaties

De auteurs benchmarkten een spectrum aan modellen, inclusal extractieve baselines (LEAD, TextRank), een gefinetuned multi-document samenvattingsmodel (PRIMERA), en zero-shot LLM's (Llama 3.2 3B, GPT-4o-mini).

Impact van Full-Text Inputs: Het verstrekken van full texts in plaats van abstracts vormt een significante uitdaging voor modellen. Voor GPT-4o-mini daalde de "Waar" bewijs-gebaseerde ratio van 92,9% (alleen abstracts) naar 83,8% (full texts), gepaard gaand met toenames in "Foutieve Citatie" en "Onverifieerbaar". Dit suggereert dat het synthetiseren van enorme full-text contexten een grote uitdaging blijft, zelfs voor moderne LLM's.
Extractief vs. Abstractief: Extractieve baselines behaalden zeer hoge "Waar" scores (95–99%), maar dit wordt toegeschreven aan het hergebruiken van de brontekst in plaats van synthese. Daarentegen vertoonden abstractieve modellen hogere ratio's van hallucinaties of citatiefouten, maar een betere coherentie.
Mens vs. Model: In een paargewijze menselijke evaluatie domineerde GPT-4o-mini zowel PRIMERA als menselijke auteurs overweldigend op het gebied van Relevantie, Taal en Algemene Rangschikking. Wat betreft Getrouwheid (Faithfulness), presteerde GPT-4o-mini statistisch gelijk aan PRIMERA, maar presteerde het beter dan menselijke auteurs op het gebied van strikte, statement-niveau getrouwheid.

Menselijk Schrijfgedrag

Analyse van 408 door mensen geschreven statements onthulde:

Hoge Onverifieerbaarheid: Menselijke auteurs hadden een hoog percentage "Onverifieerbare" statements (18,5% in de gold set), vaak door informatie te integreren die verspreid is over het document in plaats van te vertrouwen op gelokaliseerde bewijssegmenten.
Citatie-fouten: Mensen introduceerden frequent claims die niet gegrond waren in de specifieke gelokaliseerde brontekst, wat leidde tot een hoger percentage "Waar maar foutieve citatie" of "Onverifieerbaar" classificaties onder strikte evaluatie.

Validatie van Metrieken

De meta-evaluatie bevestigde dat referentiegebaseerde metrieken (ROUGH, BERTScore) slecht correleren met menselijk oordeel bij deze taak. LLM-gebaseerde rechters (specifiek Gemini 3.1 Pro en Gemma 4) vertoonden een sterke correlatie met menselijke annotaties, wat de voorgestelde statement-niveau framework valideert.

Betekenis en Claims

Het artikel claimt dat OARelatedWork het veld verschuift naar een realistisch, full-section paradigma door gebruik te maken van uitgebreide full-text contexten. De primaire betekenis ligt in:

Uitdagen van de Status Quo: Het demonstreert dat het bewegen voorbij abstracts naar full-text synthese noodzakelijk is voor realistische generatie van gerelateerd werk, ondanks de verhoogde moeilijkheidsgraad.
Herwaardering van Menselijke Baselines: Het daagt de aanname uit dat menselijk schrijven de gouden standaard is voor feitelijke getrouwheid in deze context, door aan te tonen dat LLM's strikter gegrond kunnen zijn in de verstrekte bewijslast.
Evaluatiestandaarden: Het vestigt de standaard dat standaard metrieken onvoldoende zijn voor langvormige gestructureerde outputs en introduceert een robuust, statement-niveau evaluatiekader als de nieuwe standaard voor dit domein.

De auteurs concluderen dat hoewel huidige modellen worstelen met het enorme volume aan full-text context, de combinatie van gestructureerde data, fijnmazige feitelijke annotaties en gespecialiseerde evaluatiekaders een noodzakelijke fundering biedt voor toekomstig onderzoek in geautomatiseerd wetenschappelijk schrijven.