Author Name Disambiguation in Portuguese Scientific Publications: The SBC-AND dataset
Dieses Paper stellt SBC-AND vor, einen kuratierten Datensatz aus 442 portugiesischen wissenschaftlichen Publikationsdatensätzen, der darauf ausgelegt ist, die Unterrepräsentanz nicht-englischer Sprachen in der Forschung zur Autorennamen-Disambiguierung zu adressieren und als anspruchsvoller Benchmark für die Evaluierung multilingualer Disambiguierungsmodelle zu dienen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Problem: Das Namensschild-Chaos
Stellen Sie sich vor, Sie betreten eine riesige Bibliothek, in der Millionen von Menschen Bücher geschrieben haben. Das Problem ist, dass viele Menschen den gleichen Namen haben, wie zum Beispiel „John Smith“ oder „Maria Silva“.
In der Welt der Wissenschaft ist das ein riesiges Kopfzerbrechen. Wenn eine Forscherin namens „Maria Silva“ eine Arbeit über Computer schreibt und eine andere „Maria Silva“ eine Arbeit über Geschichte schreibt, könnte die Bibliothek fälschlicherweise denken, es handele sich um dieselbe Person. Dies verfälscht ihren Ruf, ihre Zitationszahlen und das Verständnis darüber, wer mit wem zusammenarbeitet. Diese Aufgabe, herauszufinden, welche „Maria Silva“ welches Papier geschrieben hat, wird als Author Name Disambiguation (AND) bezeichnet.
Die Lücke: Die englischsprachige Party
Seit langem bauen Wissenschaftler Werkzeuge, um dieses Chaos zu lösen, aber sie haben hauptsächlich mit englischen Namen geübt. Es ist, als hätte man einen Partyplaner, der groß darin ist, englischsprachige Gäste zu organisieren, aber noch nie jemanden mit einem portugiesischen Namen getroffen hat.
Portugiesische Namen sind knifflig. Sie haben oft mehrere Nachnamen (wie „Silva“ oder „Santos“) und kleine Bindewörter wie „de“, „da“ oder „dos“. Zudem werden diese Namen in wissenschaftlichen Aufzeichnungen oft abgekürzt oder inkonsistent geschrieben (z. B. „A. Silva“ gegenüber „Ana Silva“). Aus diesem Grund haben bestehende Werkzeuge Schwierigkeiten, wenn sie auf portugiesische Publikationen stoßen.
Die Lösung: Das SBC-AND „Trainingsgym“
Die Autoren dieser Arbeit haben ein neues Werkzeug namens SBC-AND entwickelt. Betrachten Sie dies als ein spezialisiertes Trainingsgym für Computerprogramme.
- Was ist darin enthalten? Es ist eine Sammlung von 442 echten wissenschaftlichen Artikeln aus brasilianischen Informatik-Journalen.
- Wie ist es organisiert? Die Autoren haben diese Artikel genommen und sie in „ambivalente Blöcke“ sortiert. Stellen Sie sich eine Box mit der Aufschrift „Silva“ vor. In dieser Box befinden_sich Arbeiten von 232 verschiedenen echten Menschen, die alle diesen Nachnamen teilen.
- Das Ziel: Der Datensatz ist „kuratiert“, was bedeutet, dass ein Mensch bereits überprüft und markiert hat, welche Arbeiten exakt zu welcher echten Person gehören. Dies gibt dem Computer einen „richtigen Lösungsschlüssel“, um sich selbst zu testen.
Das Experiment: Das Gehirn des Computers testen
Die Forscher haben den Datensatz nicht nur erstellt; sie haben ihn auch einem Test unterzogen. Sie verwendeten ein flexibles Computersystem (genannt ADAN), das versucht, die Arbeiten wieder in die richtigen Gruppen zu sortieren.
Sie testeten das System mit zwei verschiedenen „Gehirn“-Modellen (KI-Modelle, die Sprache verstehen):
- BAAI/bge-m3: Ein multilinguales Modell.
- IBM Granite: Ein weiteres multilinguales Modell.
Sie passten auch die „Tiefe“ des Systems (wie viele Denkschichten es durchläuft) und die Dauer seines Trainings (Trainings-Epochen) an.
Die Ergebnisse: Eine harte Herausforderung
Hier ist das, was passierte, als der Computer versuchte, die Arbeiten zu sortieren:
- Das „Große Ganze“ vs. die „Details“: Der Computer war eigentlich ziemlich gut darin, die Gruppen voneinander getrennt zu halten (wie die „Silva“-Box von der „Oliveira“-Box fernzuhalten). Er hatte jedoch Schwierigkeiten, die Arbeiten innerhalb der „Silva“-Box korrekt zu sortieren.
- Die Punktzahl: Der Computer erreichte eine ordentliche Punktzahl bei der Gesamtstruktur (etwa 90 % Genauigkeit), aber als es darum ging, spezifische Paare von Arbeiten der richtigen Autorin zuzuordnen, sank die Punktzahl erheblich (etwa 45 %).
- Warum? Die Arbeit erklärt, dass dies daran liegt, dass viele der echten Autoren im Datensatz nur ein oder zwei Arbeiten gelistet haben. Es ist, als würde man versuchen, eine Person auf einer Party zu identifizieren, wenn man sie nur einmal sieht; es ist sehr schwer, sie von jemand anderem zu unterscheiden, der ähnlich aussieht.
- Der Gewinner: Das IBM Granite-Modell schnitt etwas besser ab als das andere, insbesondere wenn es eine bestimmte Menge an „Denktiefe“ (zwei Schichten) verwendete. Das System „tiefer“ zu machen (drei Schichten), half nicht; es machte die Sache tatsächlich nur unübersichtlicher.
Das Fazit
Die Arbeit kommt zu dem Schluss, dass SBC-AND ein sehr harter Test für die aktuelle Technologie ist. Sie verdeutlicht, dass Computer zwar immer besser darin werden, wissenschaftliche Daten zu organisieren, aber immer noch Schwierigkeiten mit Sprachen wie Portugiesisch haben, in denen Namen komplex sind und Autoren oft nicht viele Publikationen haben, die bei der Identifizierung helfen könnten.
Die Autoren haben diesen Datensatz online zur Verfügung gestellt, damit andere Forscher ihn nutzen können, um bessere Werkzeuge zu entwickeln, um sicherzustellen, dass in Zukunft jede „Maria Silva“ die Anerkennung für ihre eigene Arbeit erhält.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.