NERdME: a Named Entity Recognition Dataset for Indexing Research Artifacts in Code Repositories

Dit artikel introduceert NERdME, een nieuw dataset van handmatig geannoteerde README-bestanden die de kloof overbrugt tussen bestaande wetenschappelijke informatiewinning en de extractie van implementatie-details uit code-repositories.

De kern

Stel je voor dat de wereld van wetenschappelijk onderzoek een enorme, drukke bibliotheek is. Tot nu toe hebben onderzoekers zich vooral gericht op het lezen van de formele boeken (de wetenschappelijke artikelen) om te begrijpen wat er gebeurt. Ze hebben slimme robots gebouwd die deze boeken kunnen scannen om namen van auteurs, methoden en resultaten eruit te halen.

Maar er is een groot probleem: de echte bouwwerkzaamheden staan niet in die boeken. Ze staan in de werkplaats, oftewel de code-repositories op platforms zoals GitHub. Hier vind je de daadwerkelijke software, de datasets en de instructies. Deze informatie zit vaak in een bestand dat een README heet.

Het probleem met README-bestanden is dat ze eruitzien als een losse, vrije notitieblok. Ze zijn geschreven in een taal die voor mensen makkelijk is, maar voor computers een rommelige brij zonder duidelijke structuur. Het is alsof iemand een recept op een krant schrijft met potlood, zonder kopjes of lijstjes. Een computer ziet daar alleen maar tekst, maar begrijpt niet wat een "ingrediënt" is en wat een "stap" is.

Wat is NERdME?

De auteurs van dit paper hebben een oplossing bedacht: NERdME.

Je kunt NERdME zien als een groot, zorgvuldig samengesteld woordenboek en een trainingscursus voor computers, speciaal gemaakt voor die rommelige README-bestanden.

1. De Verzameling: Ze hebben 200 van die README-bestanden genomen en ze handmatig door mensen laten nakijken.
2. De Markering: Mensen hebben in deze bestanden specifieke stukjes tekst omcirkeld en gelabeld. Ze hebben gezegd: "Dit stukje tekst is een Software-naam", "Dit is een Dataset", "Dit is een Licentie" of "Dit is een Programmeertaal".
3. Het Resultaat: Ze hebben meer dan 10.000 van deze stukjes tekst gelabeld. Dit is het eerste keer dat er een dataset is die zowel de "boeken-taal" (artikelen) als de "bouw-taal" (software) in één dataset combineert.

Waarom is dit zo belangrijk? (De Analogie van de Twee Werelden)

Stel je voor dat je een huis wilt bouwen.

• De wetenschappelijke paper is de architecttekening. Die vertelt je wat er gebouwd wordt en waarom.
• De README is de bouwpakket-instructie. Die vertelt je welke schroeven je nodig hebt, welke gereedschappen je moet gebruiken en hoe je de muren moet metselen.

Tot nu toe konden computers alleen de architecttekening lezen. Ze wisten niet welke schroeven er nodig waren. Met NERdME leren we de computer nu ook de instructie te lezen.

Wat hebben ze ontdekt?

De auteurs hebben getest hoe goed moderne kunstmatige intelligentie (zoals de slimme chatbots die je kent) deze nieuwe taak aankan.

• De "Slimme" Robots (LLMs): Grote AI-modellen zijn goed in het begrijpen van de soort informatie (bijvoorbeeld: "Ah, dit gaat over een dataset"). Maar ze zijn vaak niet precies genoeg. Ze kunnen zeggen dat er een dataset genoemd wordt, maar ze missen vaak de exacte grenzen van de naam. Het is alsof ze weten dat er een auto in de garage staat, maar ze kunnen niet precies zeggen waar de bumper begint en eindigt.
• De "Getrainde" Robots: Als je de AI specifiek traint op deze nieuwe dataset, worden ze veel beter. Ze leren precies waar de namen beginnen en eindigen.
• De Moeilijke Dingen: Sommige dingen komen heel vaak voor (zoals "Python" als programmeertaal), en daar zijn de robots goed in. Andere dingen zijn zeldzaam (zoals een specifieke "workshop" of "ontologie"), en daar hebben de robots het nog lastig. Dit is een echte test voor de toekomst van AI.

Wat kun je er mee doen? (De Toekomst)

Het mooiste voorbeeld van wat je met NERdME kunt doen, is het vinden van de juiste puzzelstukjes.

Stel, een wetenschapper zegt in een paper: "We hebben dit gedaan met de ImageNet-dataset."
Met NERdME kan een computer in het README-bestand van de code kijken, de naam ImageNet herkennen, en direct een link leggen naar de officiële downloadpagina van die dataset op een andere website (Zenodo).

Dit betekent dat:

1. Wetenschappelijke ontdekkingen makkelijker te vinden zijn.
2. Software en data die bij een onderzoek horen, niet meer verloren gaan in de digitale duisternis.
3. Alles met elkaar verbonden wordt, zodat wetenschappers sneller kunnen bouwen op elkaars werk.

Samenvattend

NERdME is een nieuwe schatkaart. Het helpt computers om de "geheime taal" van software-repositories te begrijpen, zodat de enorme hoeveelheid waardevolle informatie die daar zit, eindelijk netjes in de grote bibliotheek van de mensheid kan worden opgeslagen en gevonden. Het is de brug tussen wat we zeggen dat we hebben gedaan (in artikelen) en wat we daadwerkelijk hebben gebouwd (in code).

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "NERdME: a Named Entity Recognition Dataset for Indexing Research Artifacts in Code Repositories" in het Nederlands.

Probleemstelling

Bestaande datasets voor Scholarly Information Extraction (SIE), zoals SciERC en SciREX, richten zich uitsluitend op wetenschappelijke artikelen. Hierdoor missen ze cruciale implementatiedetails die zich bevinden in code-repositories (zoals GitHub). Deze repositories bevatten vaak README-bestanden in Markdown, waarin metadata over datasets, broncode, licenties en afhankelijkheden wordt beschreven.

De huidige uitdagingen zijn:

1. Gebrek aan semantische structuur: README-bestanden zijn vrij-vormige tekst zonder expliciete semantische aanwijzingen, wat geautomatiseerde informatieverzameling bemoeilijkt.
2. Ontbrekende dekking: Bestaande datasets dekken ofwel alleen "paper-level" entiteiten (bijv. methoden, taken) ofwel "implementation-level" entiteiten (bijv. software, licenties), maar nooit beide gecombineerd.
3. Verlies van connectie: Er is geen manier om conceptuele entiteiten in wetenschappelijke teksten automatisch te koppelen aan hun technische implementatie in repositories.

Methodologie

Dataset Constructie (NERdME)
De auteurs hebben NERdME ontwikkeld, een nieuw dataset voor Named Entity Recognition (NER) specifiek voor GitHub README-bestanden.

• Data Collectie: 200 README-bestanden geselecteerd van "Papers with Code" (PwC), gekoppeld aan data science papers. De selectie garandeerde een rijke academische context en dekking van alle doel-entiteitstypen.
• Entiteitstypen: Er zijn 10 entiteitstypen gedefinieerd op basis van het NFDI4DS-ontologie, die zowel paper-level als implementation-level concepten omvatten:
  • Paper-level: CONFERENCE, DATASET, EVALUATION METRIC, PUBLICATION, WORKSHOP.
  • Implementation-level: SOFTWARE, PROGRAMMING LANGUAGE, LICENSE, ONTOLOGY, PROJECT.
• Annotatie: De dataset is handmatig geannoteerd door drie experts in informatica met behulp van het INCEpTION-tool.
  • Er zijn 10.691 gelabelde spans (tekstfragmenten) gegenereerd, waarvan 4.328 uniek.
  • Kwaliteitsborging: Alleen spans waar minimaal twee van de drie annotatoren het over eens waren, werden behouden. Een strikte regel voor zinsconsistentie werd toegepast om ambiguïteit te minimaliseren.
  • Inter-annotator overeenstemming: De Krippendorff's alpha-score bedroeg 0,70, wat wijst op een substantiële overeenstemming.
• Statistieken: De dataset is opgesplitst in training (70%), validatie (10%) en test (20%). De verdeling is ongelijk (long-tail), waarbij entiteiten zoals SOFTWARE en DATASET frequent voorkomen, terwijl WORKSHOP en ONTOLOGY zeldzamer zijn.

Experimenten

1. NER-taken:
   • Baselines: Vergelijking tussen Zero-shot Large Language Models (LLMs) (bijv. GPT-4o, LLaMA3) en Fine-tuned Transformers (SciBERT, RoBERTa).
   • Evaluatie: Per entiteitstyp apart geëvalueerd om cross-type interferentie te voorkomen. Gebruik van Exact Match en Partial Match F1-scores op karakter-niveau.
2. Downstream Taak (Entity Linking):
   • Een experiment om de geëxtraheerde "DATASET"-entiteiten te koppelen aan hun canonieke records in Zenodo.
   • Twee strategieën: Fuzzy matching (lexicaal) en Semantische similariteit (gebaseerd op een pretrained encoder).

Belangrijkste Bijdragen

1. NERdME Dataset: Het eerste bron dat zowel paper-level als implementation-level entiteiten in README-documentatie gezamenlijk vastlegt met span-niveau annotaties.
2. Benchmarking: Een state-of-the-art evaluatie die de beperkingen van huidige modellen blootlegt, vooral bij zeldzame en fijnkorrelige entiteiten (zoals WORKSHOP en ONTOLOGY).
3. Toepasbaarheid: Aantonen dat README-gebaseerde entiteiten effectief kunnen worden gebruikt voor downstream taken zoals artifact discovery en metadata-integratie via Entity Linking.

Resultaten

NER Prestaties

• Supervisie-effect: Fine-tuned modellen presteerden aanzienlijk beter dan zero-shot LLMs, vooral bij veelvoorkomende entiteiten.
  • Voorbeeld: SOFTWARE F1-score steeg van 23,12% (zero-shot) naar 72,46% (fine-tuned).
  • Voorbeeld: PUBLICATION steeg van 64,95% naar 82,12%.
• Long-tail uitdagingen: Zeldzame entiteiten (bijv. WORKSHOP met slechts 79 spans) bleven lastig te extraheren, met name voor fine-tuned modellen die op 0,00% Exact Match F1 uitkwamen voor WORKSHOP. Dit onderstreept de complexiteit van de dataset.
• Span-grenzen: Er is een grote daling te zien tussen Partial Match en Exact Match scores (bijv. CONFERENCE daalde van 77,38% naar 47,63% bij zero-shot). Dit toont aan dat het nauwkeurig bepalen van de grenzen van entiteiten in vrije tekst een grote uitdaging blijft.

Linguïstische Analyse

• Paper-level entiteiten zijn lexicaal unieker en langer (gemiddelde lengte 10 tekens) dan implementation-level entiteiten (gemiddelde lengte 6 tekens), die vaker gestandaardiseerd zijn.
• Implementation-level entiteiten tonen een hogere "perplexity" voor taalmodellen, wat wijst op complexere, symbolen-rijke structuren (bijv. versienummers in softwarenamen).

Entity Linking Resultaten

• Semantische matching overtrof fuzzy matching significant.
  • F1-score: 47,75% (Semantisch) vs 17,67% (Fuzzy).
  • MRR (Mean Reciprocal Rank): 37,69% vs 15,27%.
• Dit bewijst dat de geëxtraheerde spans voldoende semantische informatie bevatten om betrouwbare koppelingen met externe wetenschappelijke bronnen tot stand te brengen.

Betekenis en Conclusie

NERdME vult een kritieke lacune in het landschap van Scholarly Information Extraction. Het biedt een realistische testomgeving voor het extraheren van metadata uit de "onderkant" van het wetenschappelijk ecosysteem (code-repositories).

De studie toont aan dat:

1. Bestaande SIE-benchmarks uitgebreid moeten worden met implementation-level entiteiten.
2. Hoewel LLMs veelbelovend zijn, hebben ze baat bij domeinspecifieke fine-tuning voor deze taak.
3. README-bestanden een waardevolle bron zijn voor het verrijken van metadata en het ontdekken van wetenschappelijke artifacts, wat essentieel is voor reproduceerbaarheid en kennisintegratie.

De dataset en de annotatiegidsen zijn openbaar beschikbaar gesteld, wat verdere research mogelijk maakt in coreferentie-oplossing, adaptatie van LLMs voor domeinspecifieke extractie en het omgaan met onvolledige data in heterogene onderzoeksartefacten.