💬 NLP

Polyglot Teachers: Evaluating Language Models for Multilingual Synthetic Data Generation

Deze studie introduceert de Polyglot Score om de effectiviteit van meertalige 'leraar'-modellen bij het genereren van synthetische trainingsdata te evalueren, en concludeert dat datakwaliteitsfactoren zoals promptdiversiteit en vloeiheid belangrijker zijn dan modelgrootte voor de prestaties van kleinere studentenmodellen.

Oorspronkelijke auteurs: Lester James V. Miranda, Ivan Vulić, Anna Korhonen

Gepubliceerd 2026-04-14

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Lester James V. Miranda, Ivan Vulić, Anna Korhonen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een groep jonge, slimme kinderen wilt leren spreken in zes verschillende talen (zoals Arabisch, Duits of Japans). Je hebt echter geen tijd of geld om voor elk kind een echte, menselijke leraar aan te stellen. De oplossing? Je gebruikt een super-intelligente AI als leraar om voorbeelden te maken, die de kinderen dan kunnen nabootsen.

In de wetenschappelijke wereld noemen ze dit "synthetische data genereren". Maar hier zit een addertje onder het gras: niet elke AI is een goede leraar.

Dit onderzoek, getiteld Polyglot Teachers, gaat precies daarover. De onderzoekers hebben gekeken welke AI's het beste zijn om deze "leraar-taken" te doen voor verschillende talen. Hier is de samenvatting in simpele taal:

1. Het probleem: Groot is niet altijd beter

Vroeger dachten mensen: "Hoe groter en sterker de AI, hoe beter de leraar." Ze pakten gewoon de grootste, duurste AI die ze konden vinden (zoals een gigantische versie van Llama of GPT) en hoopten op het beste.

De ontdekking: Dit werkt vaak niet goed voor talen die niet Engels zijn.

De metafoor: Stel je voor dat je een wereldberoemde chef-kok uit Parijs vraagt om een recept voor een traditioneel Indonesisch gerecht te schrijven. Hij is een geweldige kok, maar hij kent de lokale kruiden en smaken misschien niet goed. Het resultaat is een gerecht dat eruitziet als Indonesisch, maar niet lekker smaakt.
In de paper blijkt dat de grootste modellen soms slechte "synthetische data" (de recepten) maken voor minder bekende talen, omdat ze die talen niet goed genoeg hebben geleerd tijdens hun training.

2. De oplossing: De "Polyglot Score"

De onderzoekers hebben een nieuwe manier bedacht om leraren te beoordelen, genaamd de Polyglot Score. Dit is geen enkele cijfer, maar een combinatie van twee dingen:

Intrinsieke kwaliteit: Is het recept dat de leraar maakt grammaticaal correct, gevarieerd en natuurlijk? (Alsof je kijkt of de tekst vloeiend leest).
Extrinsieke prestatie: Als een leerling (een kleinere AI) dit recept leert, kan hij dan goed praten en redeneren in die taal?

Ze hebben 10 verschillende AI's getest op 6 verschillende talen en meer dan 1,4 miljoen voorbeelden gegenereerd.

3. De winnaars: Het gaat om de familie, niet de grootte

Het meest verrassende resultaat? De grootte van de AI maakt niet uit.

Een enorme AI van 70 miljard parameters (Llama 3.1 70B) scoorde vaak slecht.
Een kleinere, maar meer gespecialiseerde AI (Gemma 3 27B of Aya Expanse 32B) was vaak de beste leraar.

De beste tip voor het kiezen van een leraar:

De "Familie"-regel: Als je een kleine AI wilt trainen (bijvoorbeeld een "Gemma"-model), kies dan een leraar uit dezelfde familie (een groter "Gemma"-model).
De metafoor: Het is alsof je een kind wilt leren piano spelen. Het helpt enorm als de leraar ook piano speelt en dezelfde notenleer gebruikt. Als de leraar viool speelt (een andere AI-familie), kan hij wel muziek uitleggen, maar de overdracht van kennis is minder soepel. De onderzoekers vonden dat "familie-gelijke" paren altijd beter presteerden.

4. Hoe maak je het beste lesmateriaal?

De onderzoekers ontdekten ook dat de manier waarop je de AI vraagt om te werken, belangrijk is:

Voor rijke talen (zoals Duits): Laat de AI gewoon nieuwe voorbeelden bedenken op basis van bestaande voorbeelden.
Voor minder rijke talen (zoals Arabisch of Indonesisch): Het is vaak beter om de AI te vragen om Engelse zinnen te vertalen en dan te reageren, of om te reageren op bestaande vragen. Het "uit het niets bedenken" werkt hier minder goed omdat de AI minder voorbeelden heeft om op te baseren.

5. Waarom is dit belangrijk?

Vroeger moesten mensen handmatig duizenden zinnen schrijven om AI's in minder bekende talen te leren. Dat is duur en traag.
Met deze nieuwe regels kunnen ontwikkelaars nu:

De juiste "leraar-AI" kiezen (niet zomaar de grootste).
De juiste methode gebruiken (vertalen vs. bedenken).
Kiezen voor een leraar die in dezelfde "familie" zit als de leerling.

Conclusie:
Je hoeft niet de duurste, grootste AI te kopen om een goede taal-AI te maken. Als je slim kiest wie je als leraar gebruikt, en je zorgt dat de leraar en de leerling "op dezelfde golflengte" zitten, kun je met minder geld en minder data net zo goede resultaten bereiken. Dit maakt het mogelijk om AI's te bouwen voor talen die nu nog vaak vergeten worden, zoals Tagalog of Indonesisch.

Kortom: Kwaliteit van de lesmethode en de match tussen leraar en leerling is belangrijker dan de grootte van de leraar.

Probleemstelling

Het synthetiseren van data voor Supervised Finetuning (SFT) met behulp van Taalmodellen (LM's) is een veelgebruikte strategie om kleinere modellen te trainen op meertalige taken. Een kritiek punt in deze workflow is de selectie van het "leraar"-model (teacher model). In de huidige praktijk wordt vaak willekeurig gekozen, meestal voor het grootste beschikbare model, onder de aanname dat grotere modellen automatisch betere leraars zijn.

Het paper identificeert echter een fundamenteel probleem:

Ad-hoc selectie: De keuze voor een leraar is vaak niet systematisch.
Capaciteitskloof: Grote state-of-the-art modellen presteren uitstekend in het Engels, maar kunnen aanzienlijke tekortkomingen vertonen in minder-resourced talen.
Kwaliteitsverlies: Het gebruik van een leraar met zwakke vaardigheden in een specifieke taal leidt tot synthetische data van lage kwaliteit, wat de prestaties van het "student"-model (het model dat wordt getraind) verslechtert in plaats van verbetert.

De centrale vraag is: Wat maakt een effectieve meertalige leraar voor het genereren van synthetische data, en hoe kunnen we dit systematisch meten?

Methodologie

De auteurs introduceren een gestructureerde evaluatieframework genaamd POLYGLOT SCORE (PG-SCORE) om de effectiviteit van leraar-modellen te kwantificeren.

1. Experimenteel Opzet:

Leraar-modellen: 10 state-of-the-art LM's werden getest (o.a. Gemma 3, Llama 3.1, Aya Expanse, Command A, IBM Granite, GPT-4o mini) met variërende grootte (4B tot 104B parameters).
Doel-talen: 6 typologisch diverse talen: Arabisch, Tsjechisch, Duits, Spaans, Indonesisch en Japans.
Data Generatie Methoden: Drie strategieën werden geëvalueerd:
- Generate: Genereren van prompt-response paren op basis van few-shot voorbeelden.
- Translate: Vertalen van Engelse prompts naar de doeltaal en genereren van een respons.
- Respond: Reageren op bestaande prompts in de doeltaal.
Student Modellen: Er werden 240 student-modellen getraind (gebaseerd op OLMo 3 7B, en later geëxtrapoleerd naar andere families zoals Llama 3.1, Qwen 3 en Gemma 3) op de gegenereerde synthetische datasets.

2. De POLYGLOT SCORE (PG-SCORE):
Deze metriek combineert twee componenten tot één score:

Intrinsieke Data Kwaliteit: Gemeten aan de hand van:
- Diversiteit van prompts en responsen (via embedding cosine afstand).
- Perplexiteit (PPL) van het basis-model op de gegenereerde responsen (meet vlotheid).
- Reward-score van een meertalig beloningmodel (M-Prometheus) dat vlotheid, natuurlijkheid en instructievolging beoordeelt.
Extrinsieke Student Prestatie: Gemeten aan de hand van de prestatieverbetering van het student-model op drie benchmarks:
- Cultureel en feitelijk begrip (Global-MMLU Lite).
- Algemene chat (M-RewardBench).
- Wiskundig redeneren (M-GSM).
- De verbetering wordt berekend als de "Performance Gap Recovered" (PGR).

Belangrijkste Bijdragen

Systematische Evaluatie: Het paper presenteert een uitgebreide studie met 1.4 miljoen gegenereerde SFT-voorbeelden en 240 getrainde student-modellen, wat een zeldzame schaal is voor dit type onderzoek.
Ontmaskering van "Groter is Beter": De auteurs weerleggen de algemene veronderstelling dat modelgrootte de enige indicator is voor een goede leraar. Ze tonen aan dat de grootste modellen (zoals Llama 3.1 70B) niet per se de beste prestaties leveren in meertalige data-generatie.
Intrinsieke Predictors: Het paper identificeert dat specifieke eigenschappen van de gegenereerde data (prompt-diversiteit, lengte en respons-vlotheid) meer dan 93,3% van de variantie in data-kwaliteit verklaren en sterk correleren met de uiteindelijke student-prestaties ( $R^2 = 0.664$ ).
Praktische "Recepten": Het biedt concrete richtlijnen voor het genereren van meertalige synthetische data, waaronder het afstemmen van model-families en het kiezen van de juiste generatiestrategie per taalklasse.

Resultaten

Top Leraars: Gemma 3 27B en Aya Expanse 32B bleken consistent de meest effectieve leraars over verschillende student-families en talen. Ze presteerden beter dan veel grotere modellen (zoals Llama 3.1 70B).
Modelgrootte vs. Effectiviteit: Er was geen significante correlatie tussen het aantal parameters (schaal) of benchmark-scores en de PG-SCORE. Een kleiner model (Gemma 3 4B) kon soms beter presteren dan een veel groter model.
Model-Familie Matching: Het afstemmen van de leraar- en student-familie (bijv. Gemma leraar op Gemma student) resulteerde in een significante prestatieverbetering (minimaal +20,5% in PG-SCORE) ten opzichte van mismatched paren. Dit wordt toegeschreven aan gedeelde tokenisatie-schema's en pre-training distributies.
Taal-Afhankelijke Strategieën:
- Voor hoog-resourced talen (bijv. Duits) werkte de Generate-methode (few-shot) het beste.
- Voor minder-resourced talen (bijv. Arabisch, Indonesisch) waren de Translate en Respond methoden effectiever, omdat ze minder afhankelijk zijn van de kwaliteit van de seed-data in die specifieke taal.
Data Schaal: De prestaties van student-modellen vertoonden afnemende meeropbrengsten na ongeveer 10.000 synthetische voorbeelden.

Betekenis en Impact

Dit werk is van groot belang voor de ontwikkeling van inclusieve en kostenefficiënte taaltechnologieën:

Kostenefficiëntie: Het biedt een methode om leraar-modellen te screenen op basis van intrinsieke data-kwaliteit (goedkoop te berekenen) in plaats van dure volledige student-trainingen.
Minder-Resourced Talen: Het biedt een bewezen "recept" om de prestaties van modellen in talen met weinig data te verbeteren, wat de kloof tussen hoog- en laag-resourced talen kan verkleinen.
Data-Centric AI: Het benadrukt dat de kwaliteit van de gegenereerde data (en de keuze van de leraar) crucieler is dan de schaal van het model zelf.
Open Science: De auteurs hebben hun code, data en modellen (de "POLYGLOT Collection") openbaar gemaakt om verder onderzoek te stimuleren.

Samenvattend stelt het paper dat de selectie van een leraar voor meertalige synthetische data geen kwestie is van "het grootste model kiezen", maar een strategische keuze moet zijn gebaseerd op de specifieke taal, de gewenste data-eigenschappen en de compatibiliteit met het student-model.