💻 computer science

Author Name Disambiguation in Portuguese Scientific Publications: The SBC-AND dataset

Dit artikel introduceert SBC-AND, een gecureerde dataset van 442 Portugese wetenschappelijke publicatiegegevens, ontworpen om de ondervertegenwoordiging van niet-Engelse talen in onderzoek naar het disambiguëren van auteursnamen aan te pakken en te dienen als een uitdagende benchmark voor het evalueren van meertalige disambiguatiemodellen.

Oorspronkelijke auteurs: Natan de S. Rodrigues, Samuel Gomes dos Santos, Vitória Maria Diniz, Sirlene A. Rodrigues Costa

Gepubliceerd 2026-07-09

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Natan de S. Rodrigues, Samuel Gomes dos Santos, Vitória Maria Diniz, Sirlene A. Rodrigues Costa

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Naamkaartjes" Verwarring

Stel je voor dat je een enorme bibliotheek binnenloopt waar miljoenen mensen boeken hebben geschreven. Het probleem is dat veel mensen dezelfde naam hebben, zoals "John Smith" of "Maria Silva."

In de wereld van de wetenschap is dit een enorme hoofdpijn. Als een onderzoeker genaamd "Maria Silva" een artikel schrijft over computers, en een andere "Maria Silva" schrijft een artikel over geschiedenis, kan de bibliotheek per ongeluk denken dat ze dezelfde persoon zijn. Dit verpest hun reputatie, hun citatiescores en de manier waarop we begrijpen met wie zij samenwerken. Deze taak om uit te zoeken welke "Maria Silva" welk artikel heeft geschreven, wordt Author Name Disambiguation (AND) genoemd.

De Kloof: Het "Engelssprekende Feestje"

Al een lange tijd bouwen wetenschappers tools om deze verwarring op te lossen, maar die hebben vooral geoefend met Engelse namen. Het is alsof je een feestplanner hebt die geweldig is in het organiseren van Engelstalige gasten, maar nog nooit iemand met een Portugese naam heeft ontmoet.

Portugese namen zijn lastig. Ze hebben vaak meerdere achternamen (zo's als "Silva" of "Santos") en kleine verbindingswoorden zoals "de," "da," of "dos." Bovendien worden deze namen in wetenschappelijke registers vaak afgekort of inconsistent geschreven (bijv. "A. Silva" vs. "Ana Silva"). Daarom hebben de bestaande tools moeite wanneer ze met Portugese publicaties te maken krijgen.

De Oplossing: De SBC-AND "Trainingsgym"

De auteurs van dit artikel hebben een nieuwe tool gemaakt genaamd SBC-AND. Zie dit als een gespecialiseerde trainingsgym voor computerprogramma's.

Wat zit erin? Het is een collectie van 442 echte wetenschappelijke artikelen uit Braziliaanse computerwetenschappelijke tijdschriften.
Hoe is het georganiseerd? De auteurs hebben deze artikelen genomen en ze gesorteerd in "ambigue blokken." Stel je een doos voor met het label "Silva." In die doos zitten artikelen van 232 verschillende echte mensen die allemaal diezelfde achternaam delen.
Het Doel: De dataset is "gecureerd", wat betekent dat een mens al heeft gecontroleerd en gelabeld welke artikelen precies bij welke echte persoon horen. Dit geeft de computer een "correct antwoordmodel" om zichzelf tegen te testen.

Het Experiment: Het Brein van de Computer Testen

De onderzoekers hebben de dataset niet alleen gemaakt; ze hebben hem ook op de proef gesteld. Ze gebruikten een flexibel computersysteem (genaamd ADAN) dat probeert de artikelen terug te sorteren in de juiste groepen.

Ze testten het systeem met twee verschillende "brein"-modellen (AI-modellen die taal begrijpen):

BAAI/bge-m3: Een meertalig model.
IBM Granite: Een ander meertalig model.

Ze pasten ook de "diepte" van het systeem aan (hoeveel lagen denkwerk het doet) en hoe lang het oefende (training epochs).

De Resultaten: Een Moeilijke Uitdaging

Dit is wat er gebeurde toen de computer probeerde de artikelen te sorteren:

Het "Grote Plaatje" vs. de "Details": De computer was eigenlijk best goed in het gescheiden houden van de groepen van elkaar (zoals de "Silva"-doos uit de buurt houden van de "Oliveira"-doos). Echter, het had moeite om de artikelen binnen de "Silva"-doos correct te sorteren.
De Score: De computer behaalde een redelijke score op de algemene structuur (ongeveer 90% nauwkeurigheid), maar wanneer het kwam op het matchen van specifieke paren artikelen aan de juiste auteur, daalde de score aanzienlijk (ongeveer 45%).
Waarom? Het artikel legt uit dat dit komt omdat veel van de echte auteurs in de dataset slechts één of twee artikelen vermeld hebben staan. Het is alsof je probeert een persoon te identificeren op een feestje wanneer je diegene slechts één keer ziet; het is erg moeilijk om diegene te onderscheiden van iemand anders die er vergelijkbaar uitziet.
De Winnaar: Het IBM Granite-model presteerde iets beter dan het andere, vooral wanneer het een specifieke hoeveelheid "denkdiepte" gebruikte (twee lagen). Het systeem "dieper" maken (drie lagen) hielp niet; het maakte de boel juist rommeliger.

De Conclusie

Het artikel concludeert dat SBC-AND een zeer zware test is voor de huidige technologie. Het benadrukt dat hoewel computers steeds beter worden in het organiseren van wetenschappelijke gegevens, ze nog steeds worstelen met talen zoals Portugees, waarbij namen complex zijn en auteurs vaak niet veel publicaties hebben om hen te helpen identificeren.

De auteurs hebben deze dataset online beschikbaar gesteld, zodat andere onderzoekers deze kunnen gebruiken om betere tools te bouwen, zodat in de toekomst elke "Maria Silva" de erkenning krijgt die zij verdient voor haar eigen werk.

Technische Samenvatting: Disambiguatie van Auteursnamen in Portugese Wetenschappelijke Publicaties: De SBC-AND Dataset

Probleemstelling
Disambiguatie van auteursnamen (Author Name Disambiguation, AND) is cruciaal voor het behoud van de nauwkeurigheid van bibliografische gegevens, wat invloed heeft op citatie-aantallen, samenwerkingsnetwerken en wetenschappelijke evaluatiemetrieken. Hoewel er de afgelopen twee decennia aanzienlijke vooruitgang is geboekt op het gebied van AND, met name door gebruik te maken van tekstembeddings en graafmodellen, richten de meeste publieke datasets en benchmarks zich op Engelstalige publicaties. Dit laat Portugese taalverslagen ondervertegenwoordigd. Portugese namen brengen specifieke uitdagingen met zich mee, waaronder meerdere achternamen, partikels (bijv. "de," "da," "dos") en inconsistente metadata-formattering (bijv. ontbrekende accenten, afkortingen, gebrek aan ORCID-identificatoren). Bestaande Portugese datasets, zoals BDBComp, missen de gestandaardiseerde structuur die vereist is voor integratie met moderne, configureerbare AND-frameworks, wat reproduceerbaarheid en vergelijkende analyse belemmert.

Methodologie
Om deze hiaten aan te pakken, hebben de auteurs SBC-AND ontwikkeld, een gecureerde en gestandaardiseerde dataset specifiek voor AND in Portugese wetenschappelijke publicaties.

Data Curatie: De dataset aggregeert 442 publicatie-records uit open-access tijdschriften beheerd door de Braziliaanse Computer Society (SBC), inclusief de Journal of the Brazilian Computer Society en andere tijdschriften die op het SOL-platform worden gehost. De collectie richt zich op Braziliaanse en Portugese onderzoekers om Lusofone linguïstische patronen vast te leggen.
Structuur: De data is georganiseerd in 21 ambigue auteurblokken (gegroepeerd per afgekortte handtekening, bijv. "A. Silva") die in totaal 232 echte auteurclusters bevatten. Elk blok is opgeslagen als een individueel JSON-bestand met metadata zoals titel, auteurs, coauteurs, abstract, trefwoorden, venue en publicatiejaar.
Curatieproces: Een Python-script verzamelde de initiële metadata, gevolgd door handmatige curatie om echte auteurs te verifiëren en ambiguïteit op te lossen met bewijs uit titels, affiliaties, coauteurs en onderzoeksgebieden.
Experimenteel Framework: De dataset werd geëvalueerd met behulp van ADAN, een configureerbaar AND-framework. De experimenten maakten gebruik van:
- Embedding Modellen: Twee meertalige modellen werden getest: BAAI/bge-m3 en IBM Granite.
- Graafarchitectuur: Heterogene grafen werden geconstrueerd waarbij publicatie-records knopen zijn en bibliografisch bewijs (co-auteurschap, venues) relaties zijn. Graph Convolutional Networks (GCN) werden toegepast om graaf-bewuste representaties te leren.
- Configuraties: De auteurs testten 18 configuraties door het aantal GCN-lagen (1, 2 of 3) en het aantal trainings-epochs (1000, 2000 of 3000) te variëren.
Evaluatiemetrieken: Prestaties werden beoordeeld met behulp van Pairwise Precision ($pP$), Pairwise Recall ($pR$), Pairwise F1 ($pF1$), Average Cluster Purity (ACP), Average Author Purity (AAP) en de K-metriek ( $K$ ).

Belangrijkste Bijdragen
Het artikel levert drie primaire bijdragen:

SBC-AND Dataset: De introductie van een nieuwe, gestandaardiseerde dataset voor Portugees AND-onderzoek, voorzien van volledige metadata en een JSON-structuur die compatibel is met moderne frameworks.
Configureerbare Evaluatie: De toepassing van een flexibel, configureerbaar framework (ADAN) om de dataset te evalueren onder verschillende experimentele instellingen, waarbij wordt aangetoond hoe verschillende embedding-modellen en graafdieptes presteren op Portugese data.
Karakterisering van Uitdagingen: Een kwantitatieve en kwalitatieve analyse die specifieke moeilijkheden identificeert in Portugese AND, met name met betrekking tot veelvoorkomende achternamen en een lage record-recurrence per auteur.

Resultaten
De evaluatie van SBC-AND met behulp van het ADAN-framework leverde de volgende bevindingen op:

Benchmark Moeilijkheidsgraad: De dataset blijkt een veeleisende benchmark te zijn. Hoewel globale clustering-metrieken (ACP, AAP en $K$ ) hoog bleven (waarbij $K$ 0,9168 bereikte), waren de Pairwise F1-scores aanzienlijk lager (beste $pF1$ van 0,4600). Dit geeft aan dat hoewel het systeem een coherente globale clusterstructuur behoudt, het moeite heeft om alle individuele record-associaties correct te herstellen.
Modelprestaties: Het IBM Granite embedding-model presteerde beter dan BAAI/bge-m3 in alle configuraties, waarbij het de beste $pF1$-score (0,4600) behaalde met twee GCN-lagen en 1000 epochs.
Graafdiepte: Het verhogen van de GCN-lagen voorbij twee verbeterde de prestaties niet; in sommige gevallen leek diepere propagatie (3 lagen) ruis of overmatige smoothing te introduceren.
Variantie op Blokniveau: Prestaties varieerden aanzienlijk tussen ambigue blokken. Blokken met veelvoorkomende achternamen (bijv. "silva," "santos") en een lage record-recurrence (auteurs met slechts één of enkele records) resulteerden in $pF1$-scores nabij 0,00, terwijl blokken met een hogere auteur-recurrence betere prestaties lieten zien.

Betekenis
De auteurs positioneren SBC-AND als een noodzakelijke bron om de reproduceerbaarheid en toekomstig onderzoek in meertalige en met beperkte middelen (low-resource) voorzien van bibliografische data te ondersteunen. Door een gestandaardiseerde dataset voor Portugese publicaties te bieden, maakt dit werk het mogelijk om huidige AND-methoden te testen in een linguïstische context die voorheen werd gedomineerd door Engelse data. De resultaten benadrukken dat hoewel globale clusteringstructuren behouden kunnen blijven, de specifieke uitdaging om auteurs met veelvoorkomende achternamen en schaarse publicatie-records te onderscheiden, een aanzienlijke hindernis blijft voor de huidige state-of-the-art methoden. De dataset wordt beschikbaar gesteld in een online repository om verdere studie en de ontwikkeling van robuustere disambiguatie-tools voor de Lusofone wetenschappelijke gemeenschap te faciliteren.