Do LLMs Judge Distantly Supervised Named Entity Labels Well? Constructing the JudgeWEL Dataset

Die Studie stellt JudgeWEL vor, einen neuartigen, durch Large Language Models validierten Datensatz für die Named Entity Recognition in Luxemburgisch, der durch die Kombination von Wikipedia-Links und Wikidata-Daten erheblich größer und ausgewogener ist als bisher verfügbare Ressourcen.

Das Wesentliche

Das Problem: Luxemburgisch ist ein "verwaistes Kind" im Internet

Stell dir vor, die Welt der künstlichen Intelligenz (KI) ist eine riesige Bibliothek. In dieser Bibliothek gibt es für Sprachen wie Englisch oder Deutsch ganze Hallen voller Bücher, die den Computern beibringen, wie man Sätze versteht, Namen erkennt und Zusammenhänge findet.

Aber für Luxemburgisch? Da steht nur ein kleines, staubiges Regal mit ein paar verstaubten Büchern. Das ist das Problem: Um eine KI zu trainieren, braucht man riesige Mengen an Texten, in denen Menschen bereits markiert haben: "Das ist ein Name", "Das ist ein Ort", "Das ist eine Organisation". Das nennt man Named Entity Recognition (NER).

Für Luxemburgisch gab es bisher nur sehr wenige solcher "markierten Bücher". Ohne diese Daten ist die KI wie ein Schüler, der in eine Prüfung geschickt wird, ohne jemals gelernt zu haben.

Die Lösung: Ein cleverer Trick mit Wikipedia und KI-Richtern

Die Forscher aus Luxemburg und Großbritannien haben sich etwas Cleveres ausgedacht, um dieses Problem zu lösen. Sie wollten keine Tausende von Menschen bezahlen, um Sätze manuell zu markieren (das wäre zu teuer und zu langsam). Stattdessen haben sie einen drei-stufigen Plan entwickelt, den man sich wie eine hochmoderne Fabrik vorstellen kann:

1. Die Rohstoff-Fabrik (Wikipedia & Wikidata)

Stell dir vor, sie nehmen die luxemburgische Wikipedia. In Wikipedia sind viele Wörter mit Links versehen, die auf andere Artikel zeigen (z. B. "Jean-Claude Juncker" verlinkt auf den Artikel über ihn).

• Der Trick: Die Forscher haben einen Roboter geschickt, der diese Links liest. Wenn ein Wort verlinkt ist, schaut der Roboter in die Datenbank Wikidata (eine riesige Wissensdatenbank).
• Die Logik: Wenn Wikidata sagt "Jean-Claude Juncker ist ein Mensch", dann markiert der Roboter das Wort im Satz automatisch als "Person". Wenn es "Luxemburg" ist und Wikidata sagt "Das ist ein Land", wird es als "Ort" markiert.
• Das Ergebnis: Sie haben so schnell Tausende von Sätzen mit Markierungen gesammelt. Aber... das ist wie eine Fabrik, die nur grob schätzt. Manchmal ist der Link falsch, manchmal ist die Markierung ungenau. Die Qualität ist noch nicht perfekt.

2. Der Qualitäts-Check (Die KI als Richter)

Hier kommt der eigentliche Clou der Studie ins Spiel. Da die automatische Markierung nicht immer perfekt ist, brauchen sie jemanden, der die Arbeit prüft. Aber sie wollen keine Menschen dafür bezahlen (zu teuer).

• Die Idee: Sie haben verschiedene große Sprach-KIs (LLMs) wie GPT-5, Llama oder Mistral als "Richter" eingesetzt.
• Die Aufgabe: Die KI bekommt einen Satz mit den automatisch gemachten Markierungen und muss entscheiden: "Ist das korrekt? Ja, behalten wir den Satz. Nein, wir werfen ihn weg."
• Der Test: Die Forscher haben getestet, welche KI am besten urteilt. Sie haben eine kleine Gruppe echter Menschen als "Schiedsrichter" hinzugezogen, um zu sehen, welche KI am nächsten an die menschliche Urteilskraft herankommt.
• Das Ergebnis: Die teuersten und stärksten KIs (wie GPT-5) waren fast so gut wie die Menschen! Sie konnten sehr gut erkennen, wann eine Markierung falsch war.

3. Das fertige Produkt (JudgeWEL)

Am Ende haben sie alle Sätze, die von den besten KI-Richtern als "gut" befunden wurden, gesammelt.

• Das Ergebnis ist ein neuer Datensatz namens JudgeWEL.
• Er ist fünfmal größer als alles, was es vorher für Luxemburgisch gab.
• Er ist viel vielfältiger und enthält mehr verschiedene Arten von Namen (Personen, Orte, Daten, Organisationen).

Was haben sie herausgefunden?

1. KIs können Richter sein: Es funktioniert tatsächlich! Große Sprachmodelle können sehr gut beurteilen, ob eine automatische Markierung in einem Text Sinn ergibt, selbst wenn sie die Sprache (Luxemburgisch) nicht perfekt beherrschen. Das spart enorm viel Zeit und Geld.
2. Nicht alles ist perfekt: Die KIs sind gut im Erkennen von Daten (z. B. "Heute ist der 1. Mai") und Personen, aber bei sehr speziellen oder seltsamen Kategorien hatten sie manchmal Schwierigkeiten.
3. Der beste Lehrer: Wenn man eine KI mit diesem neuen, riesigen Datensatz (JudgeWEL) trainiert, wird sie viel besser darin, luxemburgische Texte zu verstehen, als wenn man sie nur mit den alten, kleinen Daten trainiert.

Die große Metapher: Der Bau eines Hauses

Stell dir vor, du willst ein Haus bauen (eine KI für Luxemburgisch), aber du hast keine Steine (Daten).

• Der alte Weg: Du wartest, bis jemand Tausende von Steinen von Hand schneidet und sortiert. Das dauert Jahre.
• Der neue Weg (diese Studie):
  1. Du nimmst einen Bagger (Wikipedia), der einfach Steine aus dem Boden gräbt. Die sind aber oft schmutzig und ungleichmäßig.
  2. Du stellst einen sehr klugen Aufseher (die KI als Richter) auf. Er schaut sich jeden Stein an und sagt: "Ja, dieser Stein ist gut, wir bauen ihn ein" oder "Nein, der ist kaputt, weg damit".
  3. Am Ende hast du einen riesigen, sauberen Haufen Steine, mit dem du ein stabiles Haus bauen kannst.

Fazit

Diese Studie zeigt, dass wir für Sprachen, die in der digitalen Welt unterrepräsentiert sind (wie Luxemburgisch), nicht mehr warten müssen, bis Menschen alles von Hand machen. Wir können Wikipedia als Rohstoffquelle nutzen und starke KIs als Qualitätskontrolleure einsetzen. Das macht die Welt der KI gerechter und sorgt dafür, dass auch "kleine" Sprachen endlich eine Stimme bekommen.

Technische Zusammenfassung

1. Problemstellung

Die Erstellung von annotierten Datensätzen für unterrepräsentierte Sprachen (Low-Resource Languages) stellt eine der größten Hürden im Bereich des Natural Language Processing (NLP) dar. Luxemburgisch, die Nationalsprache Luxemburgs, leidet unter einem Mangel an Ressourcen, obwohl sie offiziell anerkannt ist.

• Herausforderungen: Es gibt kaum manuell annotierte Korpora, linguistische Expertise ist begrenzt, und die Sprache weist komplexe Merkmale wie Code-Switching und starke Einflüsse aus dem Deutschen und Französischen auf.
• Aktuelle Lage: Die vorhandenen Ressourcen (z. B. RTL-NER mit ca. 5.500 Sätzen) sind zu klein und unausgewogen, um robuste NER-Modelle (Named Entity Recognition) zu trainieren.
• Ziel: Entwicklung einer skalierbaren Methode zur automatischen Erstellung eines hochwertigen NER-Datensatzes für Luxemburgisch unter minimalem menschlichem Aufwand.

2. Methodik: Die JudgeWEL-Pipeline

Die Autoren stellen eine neuartige Pipeline vor, die Distant Supervision (Fernüberwachung) mit LLM-basierter Qualitätskontrolle („LLM-as-a-Judge") kombiniert. Der Prozess gliedert sich in folgende Schritte:

1. Datengrundlage:

   • Nutzung des luxemburgischen Wikipedia-Dumps (ca. 77.000 Artikel).
   • Extraktion von Titeln und Texten mittels WikiExtractor, wobei Hyperlinks im Text erhalten bleiben.

2. Entity Linking (Distant Supervision):

   • Hyperlinks in den Wikipedia-Artikeln werden mit Einträgen in Wikidata abgeglichen.
   • Basierend auf Wikidata-Attributen (z. B. P31 = Q5 für Personen, P31 für Organisationen) werden Entitätstypen automatisch inferiert.
   • Es werden fünf Entitätskategorien definiert: PER (Person), ORG (Organisation), LOC (Ort), DATE (Datum) und MISC (Sonstiges).
   • Annotation erfolgt im BIO-Format (Begin-Inside-Outside).

3. Vorverarbeitung und Auswahl:

   • Filterung von Sätzen: Der erste Satz eines Artikels wird übersprungen (oft formelhaft), die folgenden fünf Sätze werden extrahiert.
   • Qualitätskriterien: Ausschluss zu kurzer Sätze, Sätze mit überlappenden Entitäten oder Sätzen, die fast nur aus Entitäten bestehen.
   • Ergebnis dieser Phase: Ein Kandidatensatzpool von ca. 74.710 Sätzen.

4. Annotation Improvement:

   • Ein feinabgestimmtes Modell (LuxGPT-NER) und Regex-Skripte werden eingesetzt, um fehlende Entitäten (insbesondere Datumsangaben) nachzutragen und Tags zu vereinheitlichen (z. B. Zusammenführung von GPE unter LOC).

5. LLM-as-a-Judge (Der Kern der Innovation):

   • Um Rauschen und Fehler in den automatisch generierten Labels zu reduzieren, werden verschiedene Large Language Models (LLMs) als „Richter" eingesetzt.
   • Aufgabe: Die LLMs prüfen jeden Satz und entscheiden binär (Keep/Discard), ob die zugewiesenen BIO-Tags korrekt, vollständig und konsistent sind.
   • Vergleichene Modelle: Proprietäre Modelle (GPT-5, GPT-5-mini), Open-Weight-Modelle (Gemma-3-27B, Mistral-Medium-3.1, GPT-OSS-120B) und Instruct-Modelle (LLaMA-3.3-8B, command-a-03-2025).
   • Human-in-the-Loop: Eine Stichprobe von 500 Sätzen wurde von zwei menschlichen Muttersprachlern annotiert, um die Leistung der LLMs zu validieren (Konsens als Ground Truth).

6. Finaler Datensatz:

   • Nach dem Filtern durch die besten LLMs entsteht der JudgeWEL-Datensatz mit 28.866 Sätzen.
   • Aufteilung: 80% Train, 10% Dev, 10% Test.

3. Wichtige Beiträge

1. JudgeWEL-Datensatz: Der bisher größte und ausgewogenste NER-Datensatz für Luxemburgisch (ca. 5-mal größer als RTL-NER) mit fünf Entitätstypen.
2. Neue Pipeline: Ein Open-Source-Framework, das Wikipedia/Wikidata-Strukturdaten mit LLM-basierter Validierung kombiniert, um hochwertige annotierte Daten für unterrepräsentierte Sprachen zu generieren.
3. Evaluation von LLMs als Richter: Eine umfassende Studie, die zeigt, dass bestimmte LLMs (insbesondere GPT-5) in der Lage sind, Annotationen in einer nicht offiziell unterstützten Sprache (Luxemburgisch) fast so zuverlässig zu bewerten wie menschliche Annotatoren.

4. Ergebnisse

A. Leistung der LLMs als Richter:

• GPT-5 und GPT-5-mini erzielten die beste Übereinstimmung mit dem menschlichen Konsens (Cohen's κ = 0,62), was nahe an der menschlichen Inter-Annotator-Übereinstimmung (κ = 0,66) liegt.
• Kosten-Nutzen: GPT-5-mini erreichte das gleiche Niveau wie das größere GPT-5, aber zu einem Bruchteil der Kosten (ca. 25 $ vs. 180 $ für den gesamten Datensatz).
• Open-Weight-Modelle: Modelle wie GPT-OSS-120B und Mistral-Medium-3.1 zeigten moderate bis gute Ergebnisse (κ ≈ 0,45–0,47).
• Schwächen: Kleinere Modelle (Gemma-3-27B, LLaMA-3-8B) zeigten negative oder nahe-null Korrelationen, was darauf hindeutet, dass Instruction-Tuning allein keine zuverlässige Evaluierung garantiert.
• Kategorien-spezifisch: LLMs waren bei DATE sehr stark, bei MISC (Sonstiges) jedoch oft unzuverlässig (hohe False Positives/Negatives).

B. NER-Modell-Performance:

• Encoder-Modelle: Modelle wie LuxemBERT, mBERT und XLM-RoBERTa erreichten auf JudgeWEL F1-Scores von > 0,90.
• Generative LLMs: Meta-Llama-3-8B-Instruct erreichte ebenfalls 0,92 F1, während LuxGPT-NER (feinabgestimmt) nur 0,68 erreichte. Generative Modelle hatten Schwierigkeiten mit der strikten Token-Ausrichtung (BIO-Struktur).
• Generalisierung: Modelle, die auf dem automatisch generierten JudgeWEL trainiert wurden, erzielten beim Testen auf dem manuell annotierten RTL-NER-Datensatz weiterhin hohe F1-Scores (ca. 0,89–0,92). Dies beweist, dass die automatisch erstellten Labels qualitativ hochwertig und generalisierbar sind.

5. Bedeutung und Fazit

Das Paper demonstriert, dass LLMs als zuverlässige Filter für distant-supervised Datensätze eingesetzt werden können, um die Kosten und den Aufwand für die Annotation unterrepräsentierter Sprachen drastisch zu senken.

• Pragmatischer Ansatz: Die Kombination aus strukturierten Wissensquellen (Wikidata) und selektiver LLM-Validierung stellt einen effektiven Mittelweg zwischen rein manueller Annotation und vollautomatischer Generierung dar.
• Zukunftsperspektive: Die Methode ist skalierbar und kann auf andere Sprachen mit ähnlichen Wikipedia-Strukturen übertragen werden.
• Einschränkung: Vollautomatische Generierung von Labels durch LLMs (ohne Distant Supervision) ist noch nicht zuverlässig genug; die Hybrid-Pipeline bleibt notwendig. Zudem bestehen ethische Bedenken bezüglich der Verzerrungen in den Quelldaten und der Intransparenz proprietärer Modelle, die durch den Einsatz von Open-Weight-Modellen teilweise gemildert werden.

Zusammenfassend bietet JudgeWEL eine solide Basis für zukünftige NLP-Forschung in Luxemburgisch und liefert einen Beweis für die Machbarkeit von „LLM-as-a-Judge"-Workflows im Low-Resource-Bereich.