💬 NLP

NameBERT: Scaling Name-Based Nationality Classification with LLM-Augmented Open Academic Data

Dit paper introduceert NameBERT, een efficiënt model voor het classificeren van nationaliteit op basis van namen dat gebruikmaakt van LLM's om een groot dataset uit de Open Academic Graph aan te vullen, waardoor de prestaties voor ondervertegenwoordigde landen aanzienlijk verbeteren zonder de hoge kosten van directe LLM-inferentie.

Oorspronkelijke auteurs: Cong Ming, Ruixin Shi, Yifan Hu

Gepubliceerd 2026-04-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Cong Ming, Ruixin Shi, Yifan Hu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

NaamBERT: De Slimme Naam-Vertaler die de Wereld Begrijpt

Stel je voor dat je een enorme bibliotheek binnenstapt. In deze bibliotheek staan miljarden boeken, en op elke rug staat de naam van de auteur. Je wilt weten: "Van welk land komt deze persoon?" Soms is het makkelijk (een naam als 'Jan' suggereert Nederland), maar vaak is het lastig. Is 'Kim' uit Korea, China of misschien wel de VS?

Dit is precies het probleem dat de onderzoekers van deze paper proberen op te lossen. Ze hebben een slimme computerprogramma gebouwd, genaamd NameBERT, dat namen kan vertalen naar nationaliteiten. Hier is hoe het werkt, vertaald naar alledaags taalgebruik:

1. Het Probleem: De "Lange Staart" van de Wereld

Stel je een ijsje voor. De meeste mensen eten de populaire smaken: Chocolade, Vanille en Aardbei. In de wereld van namen is dat hetzelfde: er zijn heel veel namen uit landen als China, de VS en Duitsland. Maar er zijn ook smaken die bijna niemand bestelt, zoals 'Bhutan', 'Noord-Korea' of 'Bhutan'.

Vroeger waren de computerprogramma's die nationaliteiten voorspellen, als een ijsverkoper die alleen de populaire smaken kent. Als je vroeg om een zeldzame smaak, gaf hij je een verkeerd antwoord of zei hij: "Ik weet het niet." Ze hadden te weinig voorbeelden van die zeldzame landen om goed te leren.

2. De Oplossing: Een Nieuwe Bibliotheek (OAG)

De onderzoekers hadden een briljant idee. Ze keken niet naar sociale media of telefoonboeken, maar naar de Open Academic Graph (OAG). Dit is een gigantische database van wetenschappelijke artikelen.

De Analogie: Stel je voor dat je wilt weten waar mensen vandaan komen. Je zou kunnen kijken naar hun paspoort, maar dat is privégegevens. In plaats daarvan kijken ze naar waar mensen werken. Als iemand een artikel schrijft voor de "Universiteit van Tokio", is de kans groot dat die persoon een connectie met Japan heeft.
Ze hebben 1,4 miljoen namen uit deze database gehaald en gekoppeld aan het land waar de universiteit staat. Dit gaf hen een enorme, diverse verzameling namen, veel groter dan wat anderen ooit hadden.

3. De Magische Truc: De "AI-Bakker" (LLM Augmentatie)

Er was nog steeds een probleem: de zeldzame landen (de "lange staart") hadden nog steeds te weinig namen. De computer kon daar nog steeds niet goed van leren.

Hier komen de Grote Taalmodellen (LLMs) zoals de beroemde AI's van vandaag de dag in beeld. Maar de onderzoekers gebruikten ze niet om de antwoorden te geven (want dat is te duur en te traag).

De Analogie: Stel je voor dat je een bakker bent die taarten voor een feestje maakt. Je hebt genoeg deeg voor de grote taarten (China, VS), maar je hebt te weinig deeg voor de kleine taartjes (de zeldzame landen).
In plaats van de AI te vragen om de taartjes te bakken (wat duur is), vraag je de AI: "Maak eens een lijstje met 5.000 nieuwe, geloofwaardige namen voor mensen uit Bhutan."
De AI fungeert als een deeg-vermenigvuldiger. Hij genereert nieuwe, fictieve namen die er echt uitzien, zodat de bakker (NameBERT) genoeg oefenmateriaal heeft om die zeldzame landen te leren herkennen.

4. Het Resultaat: De Snelle, Slimme Naam-Vertaler

Het resultaat is NameBERT. Dit is een model dat:

Veel beter is dan de oude modellen. Het herkent namen uit bijna elk land, zelfs de zeldzame.
Veel sneller en goedkoper is dan het gebruik van dure AI's (zoals GPT-5) om elke naam te checken.
- Vergelijking: Als je 1.000 namen per seconde wilt checken, kost een dure AI-verbinding je veel geld en tijd. NameBERT doet dit lokaal op een gewone computer in een flits, voor bijna geen geld.

5. Waarom is dit belangrijk?

Dit is niet alleen een technisch spelletje. Het helpt bij het opsporen van vooroordelen.

Stel je voor dat een bedrijf wil weten of hun sollicitatieproces eerlijk is. Als ze geen gegevens hebben over de nationaliteit van sollicitanten, kunnen ze dit nu schatten op basis van hun naam.
Het helpt ook om te zien of AI's (zoals chatbots) vooroordelen hebben. Als een AI een vraag over een Japans persoon beantwoordt met een Engels antwoord, kan NameBERT helpen om dat patroon te zien.

Samenvatting in één zin

De onderzoekers hebben een enorme bibliotheek van wetenschappelijke namen gebruikt om een slimme, snelle en goedkope computer te bouwen die namen kan vertalen naar nationaliteiten, en ze hebben een slimme truc gebruikt om de "vergeten" landen in de wereld ook goed te leren kennen.

Probleemstelling

Het afleiden van nationaliteit uit persoonlijke namen is een cruciale vaardigheid voor het monitoren van gelijkheid en bias, personalisatie van diensten, en sociologisch onderzoek. Bestaande methoden hebben echter aanzienlijke beperkingen:

Data-tekort en bias: Veel modellen zijn getraind op kleine, specifieke of proprietaire datasets (zoals Twitter of kiesregisters), wat leidt tot dekkingstekorten en slechte prestaties voor ondervertegenwoordigde landen (de "long tail").
Granulariteit: Bestaande modellen richten zich vaak op etniciteit in plaats van fijne nationaliteit, of beperken het aantal uitkomstklassen (bijv. 12 of 39 categorieën), wat fijnmazige voorspellingen verhindert.
LLM-beperkingen: Hoewel Large Language Models (LLMs) sterke zero-shot prestaties leveren, zijn ze te duur, te traag en te onpraktisch voor real-time, grootschalige implementatie.

Methodologie

De auteurs stellen een hybride framework voor dat LLMs gebruikt als dataverrijkers in plaats van als directe inferentiemotoren.

1. Dataset Constructie (OAG)

Bron: De Open Academic Graph (OAG), een kennisgrafiek met metadata van meer dan 130 miljoen publicaties en 35 miljoen auteurs.
Labeling: Nationaliteitslabels worden afgeleid van de affiliatie-informatie van auteurs (bijv. "University of Oxford, UK" $\rightarrow$ "UK").
Schaal: Het resulterende dataset bevat 1,4 miljoen unieke naam-landparen over 99 landen.
Validatie: Omdat affiliatie niet altijd gelijkstaat aan nationaliteit, wordt een LLM (GPT-4o) gebruikt om een subset van de data te valideren op plausibiliteit.

2. LLM-gebaseerde Data Augmentatie

Om het probleem van onbalans in de data aan te pakken (waarbij landen zoals China en de VS domineren en landen zoals Bhutan slechts enkele voorbeelden hebben), worden LLMs ingezet om synthetische namen te genereren voor ondervertegenwoordigde landen.
Voor landen met minder dan 6.000 voorbeelden genereert GPT-5 extra namen om de trainingsset te verrijken.
Belangrijk: De LLM fungeert hier niet als classifier, maar als generator van extra supervisie voor de "long tail".

3. Model Architectuur: NameBERT

Basis: Een fine-tuning van bert-base-multilingual-cased.
Training: Namen worden getokeniseerd met WordPiece en de [CLS]-representatie wordt gebruikt voor een lineaire classificatielaag over de 99 nationaliteiten.
Varianten:
- NameBERToag: Getraind op de originele OAG-data.
- NameBERTaug: Getraind op de OAG-data aangevuld met de door LLM gegenereerde synthetische namen.

Kernbijdragen

Nieuwe Dataset: De publicatie van een groot, open-source dataset van 1,4 miljoen namen met proxy-nationaliteitslabels afgeleid van academische affiliaties.
Augmentatie Framework: Een empirisch onderbouwd framework dat aantoont hoe LLMs effectief kunnen worden gebruikt om data-ongelijkheid voor zeldzame nationaliteiten op te lossen zonder de inferentiekosten van LLMs te hoeven dragen.
NameBERT: Een transformer-gebaseerde classifier die state-of-the-art (SOTA) prestaties levert, zowel binnen het domein (OAG) als daarbuiten, met een aanzienlijk lagere latency dan LLM-API's.

Resultaten

De prestaties zijn geëvalueerd op verschillende splits: test_oag (origineel), test_filter (gevalideerd), test_filter_aug (gevalideerd + synthetisch), en out-of-domain datasets (Wikipedia/NaNa en synthetische stress-tests).

Superieure Prestaties: NameBERT overtreft SOTA-baselines (EthnicSeer, NamePrism, Name2Nat) aanzienlijk.
- Op de 99-klasse taak (OAG-test): NameBERT bereikt een nauwkeurigheid van ~69,9% en een Macro-F1 van ~0,36, terwijl Name2Nat slechts ~0,467 nauwkeurigheid en ~0,139 Macro-F1 haalt.
- Op coarser taxonomieën (12 of 39 klassen) blijft NameBERT de concurrenten ver voorbijstreven.
Effect van Augmentatie:
- In-domein: Augmentatie levert aanzienlijke winst op voor de "long tail" (zeldzame landen), vooral wanneer de evaluatie synthetische namen bevat of sterk gefocust is op minderheidsgroepen (Macro-F1 stijgt van 0,350 naar 0,569 in synthetische mix-tests).
- Out-of-domein: De winst is beperkter bij overdracht naar volledig nieuwe datasets (zoals Wikipedia), wat suggereert dat synthetische data voornamelijk helpt bij het leren van patronen binnen het trainingsdomein.
Efficiëntie: NameBERT is extreem snel vergeleken met LLM-API's.
- Throughput: NameBERT haalt 1.831 namen/second (op een lokale GPU), terwijl LLM-API's (GPT-5, Claude, Gemini) slechts tussen de 3,7 en 4,8 namen/second halen.
- Kosten: NameBERT heeft geen per-query kosten en een latency van <1ms, terwijl LLMs honderden milliseconden en hoge kosten per miljoen namen hebben.

Betekenis en Conclusie

Dit onderzoek toont aan dat het combineren van grote, open academische data (OAG) met transformer-modellen een robuuste oplossing biedt voor nationaliteitsclassificatie. De belangrijkste inzichten zijn:

Schalbaarheid: Het is mogelijk om een nauwkeurige classifier te bouwen die schaalbaar is voor miljoenen namen, iets wat met directe LLM-inferentie onhaalbaar is.
Strategie voor Long Tail: LLM-augmentatie is een krachtige techniek om data-ongelijkheid aan te pakken, maar de voordelen zijn context-afhankelijk. Het verbetert de prestaties voor zeldzame nationaliteiten aanzienlijk, vooral binnen het trainingsdomein, maar garandeert geen universele verbetering van de generalisatie.
Toepassing: Het model is direct inzetbaar voor bias-audits en demografisch onderzoek, zoals geïllustreerd in de case study over hallucinaties in LLMs (SimpleQA), waarbij NameBERT werd gebruikt om bias in naamgeneratie te analyseren.

Samenvattend biedt NameBERT een efficiënt, nauwkeurig en schaalbaar alternatief voor bestaande methoden en LLMs, met name voor toepassingen die grote hoeveelheden data vereisen en aandacht nodig hebben voor ondervertegenwoordigde groepen.