NERdME: a Named Entity Recognition Dataset for Indexing Research Artifacts in Code Repositories

Die Studie stellt NERdME vor, einen neuartigen Datensatz mit annotierten README-Dateien, der die Lücke bei der Extraktion von Implementierungsdetails aus Code-Repositories schließt und die automatische Erforschung von Forschungsartefakten ermöglicht.

Das Wesentliche

NERdME: Ein neuer Schlüssel für den Schatz der Forschungs-Software

Stell dir vor, die wissenschaftliche Welt ist eine riesige Bibliothek. Bisher haben wir uns fast nur auf die Bücher (die wissenschaftlichen Papers) konzentriert. Wir wissen genau, wie man darin nach Autoren, Titeln und Methoden sucht. Aber was ist mit dem, was hinter den Kulissen passiert? Was ist mit dem eigentlichen Werkzeugkasten, den die Forscher benutzt haben, um diese Bücher zu schreiben?

Das ist das Problem, das die Autoren mit NERdME lösen wollen.

Das Problem: Die unordentliche Werkstatt

Stell dir vor, ein Wissenschaftler veröffentlicht ein neues Buch über ein genial neues Rezept. Im Buch steht alles über die Zutaten und die Zubereitung. Aber der eigentliche Kochtopf, das Messer und die Zutatenpakete, die er benutzt hat, liegen in einer separaten, etwas chaotischen Werkstatt (dem Code-Repository auf GitHub).

In dieser Werkstatt gibt es eine Art "Zettelkasten" (die README-Datei). Darauf steht alles Wichtige: "Hier ist das Dataset", "Das läuft mit Python", "Hier ist die Lizenz". Aber dieser Zettelkasten ist wie ein freies Gespräch: Es gibt keine festen Felder, keine strukturierten Listen. Es ist einfach Text, der so geschrieben ist, wie es dem Autor gerade einfällt.

Bisherige Computer-Programme (KI) waren wie Bibliothekare, die nur Bücher lesen konnten. Wenn sie in diese Werkstatt kamen, waren sie verwirrt. Sie konnten die wichtigen Werkzeuge (Software, Datensätze, Lizenzen) nicht automatisch finden und in ihre Kataloge eintragen.

Die Lösung: NERdME (Der neue Katalog)

Die Forscher haben NERdME entwickelt. Das ist im Grunde ein großes, handgeschriebenes Übungsbuch für Computer, damit diese lernen, was in diesen chaotischen Werkstatt-Zetteln steht.

1. Das Material: Sie haben 200 dieser README-Zettel genommen und sie von Menschen mit einer Lupe untersucht.
2. Die Markierung: Die Menschen haben mit einem roten Stift genau umkreist, was was ist.
   • Ist das ein Datensatz? (Wie ein spezielles Mehl)
   • Ist das eine Software? (Wie ein spezielles Messer)
   • Ist das eine Programmiersprache? (Wie eine bestimmte Kochtechnik)
   • Ist das eine Lizenz? (Wie die Nutzungsbedingungen für den Topf)
3. Die Besonderheit: Bisher gab es Übungsbücher nur für die "Bücher" (wissenschaftliche Papers) oder nur für die "Werkzeuge". NERdME ist das erste Buch, das beides verbindet. Es lehrt den Computer, dass ein "Datensatz" sowohl im wissenschaftlichen Papier als auch im Code-Repository vorkommt, aber oft anders aussieht.

Wie gut funktioniert das? (Das Training)

Die Forscher haben verschiedene KI-Modelle mit diesem neuen Übungsbuch trainiert:

• Die "Großen" (LLMs): Das sind die riesigen, allgemeinen KI-Modelle (wie ein sehr gebildeter, aber etwas oberflächlicher Bibliothekar). Sie können schon viel, aber sie machen Fehler bei den feinen Details in der Werkstatt.
• Die "Spezialisten" (Fine-tuned Transformers): Das sind KIs, die speziell auf dieses Übungsbuch trainiert wurden. Sie lernen, genau hinzusehen.

Das Ergebnis: Die spezialisierten KIs waren viel besser darin, die Werkzeuge zu finden. Sie lernten, dass "Python" eine Programmiersprache ist und nicht nur ein Wort in einem Satz. Aber es gab auch Herausforderungen: Bei sehr seltenen Dingen (wie einem speziellen Workshop oder einer Ontologie) hatten die KIs noch Mühe, weil es im Übungsbuch einfach zu wenige Beispiele dafür gab.

Warum ist das wichtig? (Der downstream-Effekt)

Stell dir vor, du findest einen tollen Code auf GitHub. Du möchtest wissen: "Gibt es dazu eine Publikation? Wo kann ich die Daten herunterladen?"
Dank NERdME kann die KI jetzt:

1. Den Namen des Datensatzes aus dem chaotischen Text "herauspicken".
2. Wie ein Detektiv im Internet suchen und diesen Datensatz mit dem offiziellen Eintrag in einer Datenbank (Zenodo) verknüpfen.

Das ist wie wenn die KI aus einem losen Zettel in der Werkstatt automatisch ein perfektes Bibliotheksetikett macht und das Werkzeug in den globalen Katalog einfügt.

Fazit

NERdME ist wie ein neuer Schlüssel, der uns erlaubt, die verschlüsselten Schätze in den Code-Repositories zu öffnen. Es hilft uns, die Lücke zwischen der Theorie (dem Papier) und der Praxis (dem Code) zu schließen. Damit wird die Wissenschaft nicht nur besser lesbar, sondern auch besser auffindbar und nutzbar für alle.

Kurz gesagt: Wir haben endlich eine Anleitung, damit Computer verstehen, was in den "Werkstatt-Zetteln" der Wissenschaftler steht, und diese Informationen automatisch in die große Welt der Forschung integrieren können.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „NERdME: a Named Entity Recognition Dataset for Indexing Research Artifacts in Code Repositories" auf Deutsch:

1. Problemstellung

Der Bereich der wissenschaftlichen Informationsentnahme (Scholarly Information Extraction, SIE) konzentriert sich traditionell stark auf strukturierte wissenschaftliche Publikationen (z. B. Abstracts oder Volltexte). Bekannte Datensätze wie SciERC oder SciREX extrahieren zwar Entitäten auf „Paper-Ebene" (z. B. Aufgaben, Methoden, Metriken), ignorieren jedoch die Implementierungsdetails, die in Code-Repositories (wie GitHub) enthalten sind.

• Die Lücke: Forschungssoftware-Repositories enthalten essenzielle Metadaten für die Reproduzierbarkeit (Datensätze, Abhängigkeiten, Lizenzen, Nutzungsdetails), die oft nicht in den zugehörigen Publikationen erwähnt werden.
• Die Herausforderung: Diese Informationen befinden sich in README-Dateien, die im freien Markdown-Format verfasst sind. Sie bieten zwar eine grobe Dokumentstruktur, aber keine expliziten semantischen Hinweise, was eine automatische Extraktion erschwert.
• Fehlende Ressourcen: Bisherige Datensätze decken entweder nur Paper-Entitäten oder nur Implementierungs-Entitäten ab, aber nicht beides gleichzeitig. Zudem fehlt es an Datensätzen mit spannenbasierten Annotationen (Span-level) für README-Dateien, die es ermöglichen, konzeptionelle Entitäten aus wissenschaftlichen Texten mit Implementierungs-Entitäten in Software-Repositories zu verknüpfen.

2. Methodik und Datensatzkonstruktion (NERdME)

Um diese Lücke zu schließen, wurde NERdME entwickelt, ein Named Entity Recognition (NER)-Datensatz, der aus GitHub-README-Dateien stammt.

• Datenerhebung:

  • Es wurden 200 README-Dateien von Data-Science-Papers der Plattform „Papers with Code" ausgewählt.
  • Die Auswahl erfolgte aus einem Pool von über 2.600 Repositories, um einen reichen wissenschaftlichen Kontext und eine Abdeckung der Zielentitäten zu gewährleisten.
  • Die Größe von 200 Dateien stellt einen Kompromiss zwischen Skalierbarkeit und der hohen Kosten für qualitativ hochwertige manuelle Annotation dar (ca. 1 Stunde pro Datei).

• Annotationsschema:

  • Entitätstypen: Der Datensatz umfasst 10 Entitätstypen, basierend auf der NFDI4DS-Ontologie. Diese decken zwei Ebenen ab:
    • Paper-Ebene: CONFERENCE, DATASET, EVALUATION METRIC, PUBLICATION, WORKSHOP.
    • Implementierungsebene: SOFTWARE, PROGRAMMING LANGUAGE, LICENSE, ONTOLOGY, PROJECT.
  • Prozess: Jede Datei wurde von drei unabhängigen Annotatoren (mit Informatik-Hintergrund) unter Verwendung des Tools INCEpTION annotiert.
  • Qualitätssicherung:
    • Nur Spannen, die von mindestens zwei Annotatoren übereinstimmend markiert wurden, wurden behalten.
    • Eine konservative Regel wurde angewendet: Wenn innerhalb eines Satzes für einen bestimmten Entitätstyp sowohl übereinstimmende als auch abweichende Spannen existierten, wurden alle Spannen dieses Typs in diesem Satz entfernt, um Typen-Konsistenz zu gewährleisten.
  • Statistik: Der Datensatz enthält insgesamt 10.691 annotierte Spannen (davon 4.328 eindeutig), aufgeteilt in Trainings-, Validierungs- und Testsets (70/10/20). Die Verteilung ist natürlich unausgewogen (Long-Tail), wobei „SOFTWARE" und „DATASET" häufig vorkommen, während „WORKSHOP" und „ONTOLOGY" selten sind.

• Sprachliche Analyse:

  • Eine linguistische Analyse zeigt signifikante Unterschiede zwischen den Entitätstypen: Paper-Entitäten sind lexikalisch einzigartiger und länger (z. B. Titel von Publikationen), während Implementierungs-Entitäten kürzer, standardisierter und oft symbolhaltig sind (z. B. Versionsnummern, Lizenznamen), was zu einer höheren Perplexität führt.

3. Experimente und Ergebnisse

A. NER-Aufgabe (Named Entity Recognition)

Als Baseline wurden zwei Ansätze verglichen:

1. Zero-Shot Large Language Models (LLMs): Modelle wie Mistral-7B, LLaMA3.1, GPT-4o-mini etc. ohne Feinabstimmung.
2. Feinabgestimmte Transformer: Modelle wie SciBERT und RoBERTa-base, die auf die spezifischen Entitätstypen trainiert wurden.

Ergebnisse:

• Überlegenheit des Fine-Tunings: Feinabgestimmte Modelle zeigten bei Entitäten mit vielen Annotationen massive Verbesserungen im Vergleich zu Zero-Shot-LLMs.
  • Beispiel SOFTWARE: F1-Score (Exact Match) stieg von 23,12 % (Zero-Shot) auf 72,46 % (Fine-Tuned).
  • Beispiel DATASET: Stieg von 45,30 % auf 63,94 %.
• Herausforderungen bei Long-Tail-Entitäten: Seltene Entitätstypen wie „WORKSHOP" (nur 79 Spannen) oder „ONTOLOGY" (112 Spannen) zeigten deutlich schlechtere Ergebnisse, was die Notwendigkeit größerer Datensätze oder spezieller Strategien für seltene Klassen unterstreicht.
• Spannen-Grenzen: Es gab eine große Diskrepanz zwischen „Partial Match" (teilweise Übereinstimmung) und „Exact Match" (exakte Übereinstimmung). Dies zeigt, dass die genaue Abgrenzung von Entitäten in freiem Text (z. B. bei Titeln mit Satzzeichen) eine große Herausforderung darstellt.

B. Downstream-Aufgabe: Entity Linking (EL)

Um die praktische Anwendbarkeit zu demonstrieren, wurde ein Entity-Linking-Experiment durchgeführt, bei dem extrahierte „DATASET"-Entitäten aus NERdME mit kanonischen Einträgen in Zenodo verknüpft wurden.

• Methoden: Vergleich von „Fuzzy Matching" (lexikalische Ähnlichkeit) und „Semantic Similarity Matching" (mittels vortrainiertem Encoder all-MiniLM-L6-v2).
• Ergebnisse:
  • Semantische Ähnlichkeit übertraf Fuzzy Matching deutlich in allen Metriken.
  • F1-Score: 47,75 % (Semantisch) vs. 17,67 % (Fuzzy).
  • MRR (Mean Reciprocal Rank): 37,69 % vs. 15,27 %.
  • Dies beweist, dass die in NERdME annotierten Spannen starke semantische Hinweise enthalten, die eine zuverlässige Verknüpfung mit externen Forschungsressourcen ermöglichen.

4. Hauptbeiträge

1. NERdME-Datensatz: Der erste manuell kuratierte NER-Datensatz für GitHub-READMEs, der sowohl Paper- als auch Implementierungs-Entitäten (10 Typen) mit über 10.000 Spannen abdeckt.
2. Benchmarking: Eine umfassende Evaluation, die zeigt, dass State-of-the-Art-Modelle (LLMs und Transformer) bei der Extraktion aus READMEs an ihre Grenzen stoßen, insbesondere bei seltenen Entitäten und der genauen Spannenbestimmung.
3. Anwendbarkeit: Nachweis, dass die extrahierten Entitäten effektiv für downstream-Aufgaben wie das Entdecken von Forschungsartefakten und die Integration von Metadaten genutzt werden können.

5. Signifikanz und Ausblick

NERdME schließt eine kritische Lücke im Ökosystem der wissenschaftlichen Informationsentnahme. Es ermöglicht die automatische Indexierung von Forschungsartefakten direkt aus Code-Repositories, was für die Reproduzierbarkeit und die Vernetzung der „Web of Research Artifacts" essenziell ist.

Der Datensatz eröffnet neue Forschungsrichtungen, darunter:

• Coreferenzauflösung zwischen wissenschaftlichen Entitäten und Software-Implementierungen.
• Informationsentnahme aus heterogenen Forschungsartefakten.
• Anpassung von LLMs für domänenspezifische Aufgaben unter Berücksichtigung unvollständiger Daten.

Zusammenfassend liefert NERdME nicht nur einen neuen Benchmark, sondern auch die notwendige Infrastruktur, um die Lücke zwischen wissenschaftlicher Publikation und deren technischer Umsetzung in Software zu überbrücken.