Do LLMs Judge Distantly Supervised Named Entity Labels Well? Constructing the JudgeWEL Dataset

Dit artikel introduceert JudgeWEL, een nieuw dataset voor naam-entiteitsdetectie in het Luxemburgs die is gegenereerd via een innovatieve pijplijn die Wikipedia en Wikidata combineert met verificatie door grote taalmodellen om de schaarste aan trainingsdata voor minder vertegenwoordigde talen aan te pakken.

De kern

Hoe slimme computers helpen om een taal te "leren" die ze niet kennen: Het verhaal van JudgeWEL

Stel je voor dat je een enorme bibliotheek wilt bouwen voor een taal die weinig mensen spreken: Luxemburgs. In de wereld van computers (kunstmatige intelligentie) is dit een enorm probleem. Voor talen zoals Engels of Frans zijn er al duizenden boeken met kant-en-klare antwoorden (geannoteerde data) om de computer te leren wat een naam, een stad of een datum is. Maar voor Luxemburgs? Daar is de bibliotheek bijna leeg.

De auteurs van dit papier, Alistair, Laura en Tharindu, wilden deze lege bibliotheek vullen zonder dat ze jarenlang met de hand elke zin moesten nakijken. Dat zou te duur en te langzaam zijn. Hun oplossing? Een slimme combinatie van Wikipedia, Wikidata en AI-rechters.

Hier is hoe ze het deden, vertaald in alledaagse taal:

1. De Grondstof: Wikipedia als een schatkaart

Ze begonnen met de Luxemburgse Wikipedia. Wikipedia is als een enorme, chaotische bouwplaats waar iedereen zinnen schrijft. Maar er zit een schat in: hyperlinks.

• Als je in een artikel over "De Jhempi Kniddel" (een persoon) leest, staat die naam vaak als link naar een apart Wikipedia-artikel.
• Die link is als een stempel dat zegt: "Dit is een persoon!"

De auteurs gebruikten een robot om alle artikelen te lezen, de zinnen te splitsen en te kijken welke woorden gelinkt waren. Vervolgens keken ze in Wikidata (een enorme database van feiten) om te zien of die link ook daadwerkelijk een persoon, een organisatie, een locatie of een datum was.

• Analogie: Het is alsof je een berg losse puzzelstukjes (Wikipedia-artikelen) neemt en met een magneet (Wikidata) alleen de stukjes eruit haalt die een "persoon" of "stad" voorstellen.

2. Het Probleem: De "Vuilnisbak" van de AI

Maar er was een probleem. Niet elke link op Wikipedia is perfect. Soms is een link verkeerd, soms ontbreekt er een label, en soms is het gewoon ruis.
Als je deze ruwe data direct aan een computer geeft om te leren, leert de computer verkeerde dingen. Het is alsof je een kind leert lezen met een boek vol typfouten.

Hier komt het nieuwe idee van de auteurs: De AI als Rechter (Judge).
In plaats van mensen te laten nakijken (wat te duur is), vroegen ze verschillende Grote Taalmodellen (LLMs) om te oordelen: "Is deze zin goed gelabeld of moet deze weg?"

Ze lieten verschillende "rechters" (zoals GPT-5, Llama, en Mistral) een lijst van zinnen beoordelen.

• De taak van de rechter: "Kijk naar deze zin. Zijn de labels (zoals 'Persoon' of 'Datum') correct? Zo ja, houd de zin. Zo nee, gooi hem weg."
• Ze testten welke "rechter" het beste oordeelde door ze te vergelijken met een paar echte mensen.

3. De Uitslag: Wie is de beste Rechter?

Het resultaat was verrassend:

• De duurste, gespecialiseerde AI's (zoals GPT-5) waren bijna net zo goed als de mensen. Ze konden de fouten in de Luxemburgse zinnen zien en filteren.
• Sommige goedkopere of open-source AI's deden het ook goed, maar waren soms wat te streng of te laks.
• Het belangrijkste: Door deze AI-rechters te gebruiken, konden ze een dataset maken die vijf keer zo groot is als wat er eerder bestond voor Luxemburgs.

4. Het Eindresultaat: JudgeWEL

Het resultaat heet JudgeWEL. Het is een enorme verzameling van bijna 29.000 zinnen in het Luxemburgs, waarin de namen van mensen, organisaties en locaties correct zijn gemarkeerd.

• Ze hebben dit getest op andere computers (modellen) en die konden hiermee heel goed Luxemburgse namen herkennen.
• Zelfs als ze dit trainden op de nieuwe dataset en testten op een oude, mens-gemaakte dataset, werkten ze perfect.

Waarom is dit belangrijk?

Stel je voor dat je een auto wilt bouwen, maar je hebt geen gereedschap. Voor talen als Luxemburgs was het gereedschap (data) er niet.
Deze paper toont aan dat je geen duizenden mensen nodig hebt om data te maken. Je kunt een slimme combinatie gebruiken:

1. Gebruik bestaande kennis (Wikipedia) als ruwe grondstof.
2. Gebruik slimme AI's als kwaliteitscontroleurs om de vuile stukjes weg te halen.
3. Je krijgt zo een schone, grote dataset die iedereen kan gebruiken om de taal digitaal te laten "leven".

Kortom: Ze hebben een slimme manier gevonden om een taal die in de digitale schaduw stond, te laten schitteren, zonder dat ze jarenlang handmatig hoefden te werken. Ze lieten de AI's het zware oordeel vellen, zodat de menselijke taal kan groeien.

Technische samenvatting

1. Het Probleem

Het creëren van gelabelde datasets voor Natuurlijke Taalverwerking (NLP) blijft een grote bottleneck voor ondervertegenwoordigde talen, zoals het Luxemburgs. Hoewel Luxemburgs een officiële taal is, ontbreekt het aan voldoende gestructureerde bronnen (zoals het Europarl-corpus) en handmatig geannoteerde corpora voor taken zoals Named Entity Recognition (NER).

• Uitdagingen: Schaarste aan geschreven materiaal, beperkte linguïstische expertise en hoge kosten voor handmatige annotatie.
• Huidige situatie: Bestaande datasets (zoals RTL-NER) zijn klein (5.500 zinnen) en hebben een onbalans in entiteitstypes.
• Doel: Een schaalbare, kosteneffectieve methode ontwikkelen om een groot en betrouwbaar NER-corpus voor het Luxemburgs te bouwen met minimale menselijke tussenkomst.

2. Methodologie: De JudgeWEL-pijplijn

De auteurs presenteren een innovatieve pijplijn die verwijderde supervisie (distant supervision) combineert met LLM-gebaseerde kwaliteitscontrole ("LLM-as-a-Judge"). Het proces verloopt in vier hoofdfasen (zie Figuur 1 in het paper):

A. Basisdata en Entiteitskoppeling

• Bron: Artikelen van de Luxemburgse Wikipedia (dump van maart 2024, ~77k artikelen).
• Extractie: Gebruik van WikiExtractor om tekst en hyperlinks te halen.
• Entiteitskoppeling: Hyperlinken in de tekst worden gekoppeld aan Wikidata-entries via de API.
• Labeling: Op basis van Wikidata-kenmerken (bijv. P31 = Q5 voor personen, P31 voor organisaties) worden automatisch BIO-tags (Begin-Inside-Outside) toegekend voor vijf entiteitstypes: PER (Persoon), ORG (Organisatie), LOC (Locatie), DATE (Datum) en MISC (Diversen).
• Selectie: Er wordt gefilterd op leesbaarheid, lengte en overlap van entiteiten. Per artikel worden maximaal 5 zinnen na de introductie geselecteerd om diversiteit te garanderen.

B. Annotatieverbetering

• Een fijnafgestemd model (LuxGPT-NER) en reguliere expressies worden gebruikt om ontbrekende labels toe te voegen (vooral voor datums) en labels te harmoniseren (bijv. het samenvoegen van GPE en LOC).

C. LLM-as-a-Judge (Kerninnovatie)

• Probleem: Verwijderde supervisie introduceert ruis (foutieve of ontbrekende labels).
• Oplossing: Verschillende Large Language Models (LLMs) fungeren als "rechters" om de kwaliteit van de automatisch gegenereerde zinnen te verifiëren.
• Prompting: De LLMs krijgen een prompt met de zin, de tokens en de BIO-tags. Hun taak is een binair oordeel te vellen: 1 (behouden, juiste labels) of 0 (verwerpen, labels onjuist of ontbrekend).
• Modelvergelijking: Er werden diverse modellen getest, waaronder:
  • Propriëtair: GPT-5, GPT-5-mini.
  • Open-weight: Gemma-3-27B, Mistral-Medium-3.1, GPT-OSS-120B, LLaMA-3.3-8B.
  • Instruction-tuned: Command-a-03-2025.
• Validatie: Een subset van 500 zinnen werd handmatig gecontroleerd door twee native sprekers om de prestaties van de LLMs te kalibreren.

D. Het Eindresultaat

• De pijplijn resulteert in het judgeWEL-dataset: 28.866 zinnen (ongeveer 5x groter dan RTL-NER).
• De dataset is opgesplitst in Train (80%), Dev (10%) en Test (10%).

3. Belangrijkste Resultaten

A. Prestaties van LLMs als "Rechter"

• GPT-5 en GPT-5-mini presteerden het beste, met een Cohen's kappa van 0,62, wat zeer dicht in de buurt komt van de menselijke onderlinge overeenstemming (0,66).
• Open-weight modellen zoals GPT-OSS-120B en Mistral-Medium-3.1 toonden een redelijke overeenstemming (kappa 0,47 en 0,45).
• Succesvolle filtering: De LLMs waren zeer effectief in het verwijderen van zinnen zonder entiteiten (negatieve voorbeelden) en het behouden van zinnen met correcte datum- en persoonslabels. Ze hadden echter moeite met de MISC-categorie en neigden soms naar conservatisme (te veel verwerpen).
• Conclusie: Propriëtaire modellen zijn het meest betrouwbaar, maar grote open modellen naderen snel hun prestaties.

B. Prestaties van NER-modellen op judgeWEL

• Encoder-modellen: Modellen zoals LuxemBERT, XLM-RoBERTa en mBERT bereikten uitstekende F1-scores van 0,92 op het judgeWEL-testset. Dit bevestigt dat het automatisch gegenereerde corpus van hoge kwaliteit is.
• Generatieve LLMs: Modellen zoals LLaMA-3-8B en Aya-expanse-8b presteerden goed (F1 ~0,84-0,92), maar LuxGPT-NER (fijnafgestemd) scoorde lager (0,68).
• Cross-dataset validatie: Modellen getraind op judgeWEL presteerden zeer goed op het bestaande, handmatig geannoteerde RTL-NER dataset (F1 ~0,89-0,92). Dit bewijst dat de automatisch gegenereerde labels goed generaliseren naar menselijke annotaties.
• Beperking generatieve modellen: Autoregressieve modellen (LLMs) hebben moeite met de rigide structuur van BIO-tags (token-uitlijning) en vertonen soms inconsistenties in de output, in tegenstelling tot encoder-modellen.

4. Bijdragen en Significantie

1. Nieuw Dataset (judgeWEL): Het grootste tot nu toe beschikbare NER-corpus voor het Luxemburgs, met een breder en gebalanceerder spectrum aan entiteiten dan eerdere datasets.
2. Validatie van de "LLM-as-a-Judge" methode: Het paper bewijst dat LLMs (vooral GPT-5) betrouwbare filters kunnen zijn voor ruis in datasets die via verwijderde supervisie zijn gegenereerd. Dit maakt het mogelijk om grote corpora voor lage-resource talen te bouwen zonder volledige handmatige annotatie.
3. Methodologische Inzicht: Het toont aan dat een hybride aanpak (Wikipedia/Wikidata + LLM-filtering) een pragmatisch middenpad is tussen volledig handmatig en volledig generatief. Hoewel LLMs goed zijn in beoordelen, zijn ze nog niet perfect in het genereren van consistente sequence-labeling zonder menselijke of encoder-gestuurde correctie.
4. Toekomstperspectief: De methode is schaalbaar naar andere ondervertegenwoordigde talen die een Wikipedia-uitgave hebben, wat een duurzame weg biedt naar meer gelijke NLP-toegang.

Conclusie

Het paper concludeert dat LLMs uitstekend functioneren als "rechter" voor de kwaliteit van automatisch gegenereerde NER-labels, waardoor het mogelijk wordt om grote, hoogwaardige datasets voor talen als het Luxemburgs te creëren. Hoewel volledig geautomatiseerde labelgeneratie door LLMs nog niet ideaal is voor sequence-labelling, biedt de combinatie van gestructureerde kennisbronnen (Wikidata) en LLM-gebaseerde validatie een krachtige en kosteneffectieve oplossing voor de data-schaarste in NLP.