SciDef: Datasets and Tools for Automated Definition Extraction from Scientific Literature with LLMs

Het artikel introduceert SciDef, een uitgebreid pakket aan middelen bestaande uit de DefExtra-benchmark, DefSim-gelijkenisbeoordelingen en een open LLM-gebaseerde pijplijn om geautomatiseerde extractie van wetenschappelijke definities te bevorderen, terwijl het relevantiebewuste filtering identificeert als de primaire uitdaging voor volledig automatische systemen.

De kern

Stel je voor dat je een gigantisch, universeel woordenboek voor wetenschappers probeert te bouwen. Het probleem is dat elke wetenschapper zijn eigen regels schrijft. De ene onderzoeker definieert "media bias" misschien als "gekleurde berichtgeving", terwijl een ander het "interne bias in artikelen" noemt. Ze praten over hetzelfde, maar gebruiken verschillende woorden. Dit maakt het ongelooflijk moeilijk om hun werk te vergelijken of tools te bouwen die wetenschap als geheel begrijpen.

De auteurs van dit paper, SciDef, zijn als een team van bibliothecarissen en ingenieurs die beslotenent deze chaos op te lossen. Ze bouwden een toolkit om computers automatisch definities te laten vinden, lezen en vergelijken.

Zo werkt hun toolkit, onderverdeeld in drie hoofdonderdelen:

1. Het "Gouden Standaard" Woordenboek (DefExtra)

Zie DefExtra als een enorme, zorgvuldig samengestelde set flashcards.

• Wat het is: Een collectie van 268 echte definities die mensen handmatig uit 75 verschillende academische papers hebben gehaald.
• De crux: Ze hebben niet zomaar elke zin gepakt die op een definitie leek. Ze filterden vage beschrijvingen eruit en hielden alleen de "door de auteur gestelde" definities over—de definities die de wetenschappers daadwerkelijk gebruikten om hun termen uit te leggen.
• Waarom het belangrijk is: Voorheen moest je, als je een computerprogramma wilde testen om te zien of het definities kon vinden, je eigen test maken. Nu kan iedereen deze zelfde "Gouden Standaard"-set gebruiken om te zien wie het beste presteert.

2. De "Smaaktest" (DefSim)

Een definitie vinden is makkelijk; weten of twee definities hetzelfde betekenen is moeilijk.

• Het probleem: Als een computer zegt "Media bias is slechte verslaggeving" en het menselijke antwoord is "Media bias is gekleurde berichtgeving", zijn ze dan hetzelfde? Een simpele computercontrole zou kunnen zeggen: "Nee, de woorden zijn anders."
• De oplossing: DefSim is een kleine set van 60 paren definities waarbij mensen een "gelijkenisscore" hebben gegeven van 1 tot 5 (zoals het beoordelen van hoe vergelijkbaar twee liedjes klinken).
• Het doel: Dit dient als een "smaaktest" om te zien of de wiskunde van de computer (zijn gelijkenismetriek) overeenkomt met de menselijke intuïtie. Het paper stelde vast dat een specifiek type AI-logica (genaamd NLI) erg goed is in het doorstaan van deze smaaktest.

3. De Robot-bibliothecaris (SciDef Pipeline)

Dit is de eigenlijke machine die het werk doet.

• Hoe het werkt: Stel je een robot voor die een PDF van een wetenschappelijk artikel neemt, het in kleine stukjes hakt (zoals het snijden van een brood) en vervolgens een Large Language Model (LLM) vraagt: "Vind de definities in dit stukje."
• Het experiment: De auteurs testten 16 verschillende AI-modellen met verschillende manieren van vragen stellen (prompts) en verschillende manieren van snijden (chunking).
• De resultaten:
  • De "Alles-vinden"-strategie: Sommige instellingen zorgden ervoor dat de robot bijna elke definitie vond (86,4% van hen!). Echter, het vond ook veel troep. Het was als een metaaldetector die piept voor elk stuk metaal, inclust zelfs dopjes en spijkers, en niet alleen voor gouden munten.
  • De "Slimme" strategie: De best presterende opstelling gebruikte een speciale optimalisatietechniek (DSPy). Het vond niet elke enkele definitie, maar de definities die het vond waren van hoge kwaliteit en relevant. Het behaalde een score van 0,397, wat het hoogste was van de groep.
  • De bottleneck: Het belangrijkste probleem is niet het vinden van de definities; het is het filteren. De robots zijn goed in het uitwerpen van een breed net, maar ze worstelen ermee om irrelevant "lawaai" weg te gooien zonder menselijke hulp.

De Belangrijkste Conclusie

De auteurs beweren niet dat robots nu perfect wetenschap kunnen lezen en begrijpen op hun eigen. In plaats daarvan zeggen ze:

1. We hebben de tools: Ze hebben de wereld de data gegeven (DefExtra, DefSim) en de robot (SciDef) om de voortgang te blijven boeken.
2. Robots zijn goed in "High Recall": Ze kunnen bijna alles vinden waar je naar op zoek bent, maar ze brengen ook veel rommel mee terug.
3. Mensen zijn nog steeds nodig: Omdat de robots over-genereren (te veel troep vinden), is de volgende stap voor onderzoekers het bouwen van betere filters om het onderscheid te maken tussen de "gouden munten" en de "flesjesdoppen".

Kortom, SciDef is een startpakket voor iedereen die computers wil leren hoe ze de taal van de wetenschap moeten begrijpen, compleet met een testdeck, een beoordelingsrubriek en een werkend prototype.

Technische samenvatting

Technische Samenvatting: SciDef – Datasets en Tools voor Geautomatiseerde Definitie-extractie uit Wetenschappelijke Literatuur met LLM's

Probleemstelling

Wetenschappelijke concepten worden frequent inconsistent gedefinieerd over verschillende academische papers heen, wat barrières opwerpt voor het vergelijken van bevindingen, het hergebruik van terminologie en het construeren van betrouwbare downstream-bronnen. Terwijl de volumes van publicaties toenemen, wordt het handmatig identificeren en consolideren van definities voor specifieke trefwoorden onhaalbaar. Hoewel Large Language Models (LLM's) veelbelovend zijn bij het herkennen van definitieve verklaringen die verder gaan dan oppervlakkige trefwoordpatronen, wordt reproduceerbaar onderzoek in dit domein gehinderd door een gebrek aan publieke benchmarks voor geëxtraheerde definities, toegewijde datasets voor het evalueren van definitiegelijkenis, en herbruikbare infrastructuur voor het vergelijken van extractie-pipelines en prompting-strategieën.

Methodologie

De auteurs introduceren SciDef, een uitgebreid resource-suite bestaande uit twee datasets en een open-source LLM-gebaseerde pipeline. De methodologie is gestructureerd rond drie kerncomponenten:

1. Datasetconstructie

• DefExtra (Extractie Benchmark): Een dataset van 268 door mensen gevalideerde, door auteurs gestelde definities, geëxtraheerd uit 75 gecureerde academische papers (gepubliceerd 1987–2025), primair gericht op het domein van media bias. De dataset bevat bronmetadata, contextspannen en labels die onderscheid maken tussen expliciete (directe citaten) en impliciete (herschreven maar duidelijke) definities. Het markeert ook papers die buiten het domein vallen om de robuustheid van modellen te testen. De constructie omvatte een meerfasig proces: initiële retrieval en annotatie op basis van de TaxoMatic-inspanning, gevolgd door strikte handmatige filtering door twee auteurs om alleen verifieerbare, door auteurs gestelde definities te behouden, en tot slot uitbreiding met aanvullende papers geannoteerd door een aparte groep van 11 annotatoren.
• DefSim (Gelijkenis Benchmark): Een validatieresource bestaande uit 60 definitieparen met menselijke semantische gelijkenis-labels (beoordeeld op een schaal van 1–5). De paren bevatten gold-prediction, gold-gold en prediction-prediction combinaties om exacte, gedeeltelijke en niet-overeenkomstige gevallen te dekken. Deze dataset is ontworpen om semantische matching-metrieken te valideren in plaats van ze te tunen.

2. De SciDef Pipeline

SciDef is een modulaire, reproduceerbare pipeline voor PDF-preprocessing, chunking, definitie-extractie, prompt-optimalisatie en evaluatie.

• Preprocessing: PDF's worden geparsed met behulp van GROBID.
• Chunking: Vier strategieën worden geëvalueerd: sectie-niveau, paragraaf-niveau, zin-niveau, en een sliding window van drie zinnen.
• Extractiestrategieën: De pipeline vergelijkt verschillende prompting-benaderingen:
  • OneStep: Extraheert direct definities uit een chunk.
  • MultiStep: Bepaalt eerst of een chunk een definitie bevat voordat er geëxtraheerd wordt.
  • Few-Shot Varianten: Inclusief trainingsvoorbeelden (OneStep-FS, MultiStep-FS).
  • DSPy Optimalisatie: Implementeert en optimaliseert prompts met behulp van BootstrapFewShot, BootstrapFewShotWithRandomSearch, en MIPROv2. Tijdens optimalisatie voorspellen modellen lokale contextspannen als een aanvullend grondingssignaal.
• Evaluatieprotocol: De pipeline evalueert 16 LLM's (open en propriëtair) tegen DefExtra. Omdat exacte string-matching onvoldoende is voor geparafraseerde definities, selecteren de auteurs een paargewijze metriek gebaseerd op algemene semantische gelijkenis-benchmarks (STS3k, SICK, MSRP, QQP). Zij identificeren Natural Language Inference (NLI) als de superieure metriek en gebruiken DefSim om de afstemming met menselijke oordelen te valideren.
• Scoring: Een bidirectionele best-match score wordt berekend. Deze meet de dekking van menselijke annotaties (recall) terwijl overgeneratie (precision) wordt bestraft door semantische gelijkenis (via de NLI-metriek) te combineren met overeenstemming in expliciet/impliciet type.

Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen:

1. DefExtra: Een benchmark van 268 door mensen geëxtraheerde definities met rijke metadata, inclusief definitietype-labels en out-of-domain indicatoren.
2. DefSim: Een taakspecifieke validatieresource van 60 definitiepaar-gelijkenisbeoordelingen om semantische matching-metrieken te evalueren.
3. SciDef: Een open, gedocumenteerde en versiede LLM-pipeline die PDF-preprocessing, chunking, extractie, prompt-optimalisatie en evaluatie ondersteunt.
4. Validatie-experimenten: Een uitgebreide benchmarking van 16 LLM's over meerdere prompting-strategieën en chunking-schema's, wat het nut van de vrijgegeven resources aantoont voor het vergelijken van extractieprestaties.

Resultaten

De auteurs valideerden de resources met media bias als een uitdagende casestudy vanwege de inconsistente definities over verschillende disciplines heen.

• Metriek Validatie: NLI-gebaseerde metrieken presteerden beter dan embedding cosine similarity en LLM-as-a-Judge scoring op algemene semantische benchmarks. Op DefSim vertoonde de NLI-metriek een sterke Pearson correlatie ($\rho = 0.937$) met menselijke gelijkenisbeoordelingen, en menselijke annotatoren vertoonden een hoge overeenkomst ($\alpha = 0.924$).
• Extractieprestaties:
  • De sterkste set-level configuratie (een DSPy-geoptimaliseerde extractor gebruikmakend van een Qwen-familie model met sectie-niveau chunking) behaalde een score van 0.397.
  • De configuratie met de hoogste dekking (een one-step few-shot extractor) matchte ten minste één voorspelling met 86,4% van de gold-definities. Echter, deze configuratie genereerde significant te veel kandidaat-definities (gemiddeld 39,13 voorspellingen per paper), wat resulteerde in een lagere algemene score.
  • De best scorende extractors (voornamelijk DSPy-gebaseerd) toonden een betere balans tussen dekking en specificiteit, met gemiddelde voorspellingen rond de 5–12 per paper.
• Belangrijkste Bevinding: Hoewel LLM's een hoog percentage wetenschappelijke definities kunnen terugvinden, gaat een hoge recall vaak ten koste van relevantie. De benchmark maakt effectief onderscheid tussen modellen die veel plausibele kandidaten vinden en modellen die de specifieke, relevante definities identificeren.

Betekenis en Claims

Het artikel positioneert SciDef als een herbruikbare benchmark en tooling-laag voor definitie-gecentreerde literatuuranalyse. De auteurs beweren dat hun resources onderzoekers in staat stellen om:

• Nieuwe definitie-extractors te vergelijken met een gestandaardiseerde, door mensen gevalideerde benchmark.
• Definitie-matching metrieken te valideren met taakspecifieke menselijke oordelen.
• Kandidaat-definities te verzamelen voor downstream-taken zoals literatuuronderzoek, taxonomie-constructie, ontologie-engineering en domeinmapping.

De auteurs concluderen bescheiden dat huidige LLM's effectief dienen als high-recall definitie-ontdekkingsinstrumenten, maar nog niet behandeld moeten worden als volledig automatische definitie-selectoren. De primaire bottleneck voor volledig automatische extractie blijft relevantie-bewuste filtering, aangezien modellen frequent veel plausibele maar irrelevante kandidaten ophalen. Bij consequent is daarom nog steeds noodzakelijk voor high-stakes toepassingen. Het werk benadrukt de noodzaak van verdere ontwikkeling in filteringmechanismen om de kloof tussen hoge recall en hoge precisie in wetenschappelijke definitie-extractie te overbruggen.