Technische Samenvatting: Er bestaat geen optimaal taalkundig pakket voor meertalige instructie-afstemming

Probleemstelling

Meertalige instructie-afstemming (Multilingual Instruction Tuning, MIT) beoogt de kruislingse prestaties van grote taalmodellen (LLM's) te verbeteren, maar staat voor drie primaire uitdagingen: de vloek van meertaligheid (waarbij de prestaties per taal verslechteren naarmate de modelcapaciteit over meer talen wordt verdeeld), datatekortheid en hoge computationele kosten. Een heersende hypothese suggereert dat het zorgvuldig selecteren van een taalkundig diverse subset van talen universeel superieure modellen zou opleveren die beter generaliseren over taken en talen dan willekeurige selectie of monolinguale afstemming. Echter, eerder werk heeft niet systematisch onderzocht of taalkundig geïnformeerde selectiestrategieën een universeel optimale MIT-strategie opleveren onder vaste computationele budgetten.

Methodologie

De auteurs voeren een systematische evaluatie uit van verschillende taalselectiestrategieën tegenover een willekeurige baseline over drie modelfamilies en vijf meertalige benchmarks.

• Dataset: De studie maakt gebruik van Bactrian-X, een parallel meertalig instructiedataset met 3,4 miljoen instructie-respons paren over 52 talen.
• Experimentele opzet:
  • Budgetcontrole: Volgens Chen et al. (2023a) is het totale trainingsbudget vastgesteld op 67.000 instanties per experiment. Voor subsets van 14 talen komt dit neer op ongeveer 4.786 instanties per taal.
  • Selectiestrategieën: De auteurs selecteren 14-talige subsets met behulp van $k$-means clustering ($k=14$) op verschillende feature-ruimtes:
    • GEO: Geografische vectoren.
    • TYPO: Typologische vectoren.
    • SEM: Semantische typologie-embeddings.
    • LEARN: Geleerde taalvectoren.
    • FAM: Eén taal per taalfamilie.
    • RND: Willekeurige selectie (baseline).
    • ALL: Alle 5 2 talen (gebruikt om de grenzen van het budget te testen).
  • Modellen: Drie modelfamilies worden via LoRA instructie-afgestemd:
    • mGPT-1.3B
    • mT5-XL-3.7B
    • BLOOM (1.7B, 3B, en 7B varianten)
  • Evaluatie: Modellen worden zero-shot geëvalueerd op vijf benchmarks: XNLI, PAWS-X, XCOPA, XStoryCloze, en XWinograd.
  • Statistische strengheid: Elke configuratie wordt uitgevoerd met drie willekeurige seeds. Significantie wordt beoordeeld via gepaarde t-testen, waarbij effectgroottes worden gemeten met Cohen's $d_z$.

Belangrijkste Resultaten

1. Geen Universele Optimale Strategie

De centrale bevinding is dat geen enkele taalselectiestrategie consistent andere strategieën overtreft over alle modellen en taken.

• Prestaties zijn sterk taak- en modelafhankelijk. Zo leidt de GEO-strategie voor BLOOM-7B op XStoryCloze, terwijl TYPO het beste gemiddelde behaalt voor BLOOM-7B in totaal. FAM presteert het best op gemiddelde voor mT5-xl, en GEO of TYPO leiden voor mGPT op NLU-taken.
• Verbeteringen ten opzichte van de willekeurige (RND) baseline zijn vaak niet statistisch significant. Significante winst werd alleen waargenomen in specifieke model-taakcombinaties (bijv. GEO vs. RND voor mGPT op XNLI), maar deze generaliseerden niet.
• In sommige configuraties presteerden taalkundig geïnformeerde subsets significant slechter dan de willekeurige baseline, wat aangeeft dat geïnformeerde selectie kan terugvallen.

2. De Vloek van Meertaligheid Re-emergeert

Het verhogen van het aantal talen voorbij een bescheiden drempel activeert prestatievermindering.

• Voor BLOOM-7B piekt de prestatie bij 13–14 talen en daalt deze consequent naarmate het aantal talen toeneemt naar 52 (de "ALL" instelling).
• De "ALL" instelling bereikte nooit de beste gemiddelde prestatie voor de geteste modellen, wat bevestigt dat het maximaliseren van het aantal talen onder een vast computationeel budget nadelig is.

3. Modelafhankelijke Generalisatie

Kruislingse generalisatie naar ongeziene talen (talen aanwezig in de benchmarks maar niet in de trainingssubset) varieert aanzienlijk per modelarchitectuur.

• Hoewel taalkundig geïnformeerde subsets de basismodellen over het algemeen verbeterden voor mGPT, mT5-xl en BLOOM-3B, divergeerden de resultaten voor grotere BLOOM-modellen (7B), waarbij slechts twee van de vijf subsets verbeterden ten opzichte van de basis.
• Dit suggereert een niet-triviale interactie tussen de samenstelling van de pretraining-corpus en de subsetselectie; een strategie die effectief is voor de pretraining-distributie van één model, kan schadelijk zijn voor een ander.

4. Modelgrootte en Monolingale Competitie

• Schaaleffecten: De rangschikking van strategieën verschuift naarmate de modelschaal toeneemt. Zo blinkt GEO uit op 3B en 7B schaal, terwijl FAM sterk begint bij 1.7B maar daarna afneemt. Geen enkele strategie blijft uniform het beste naarmate de schaal toeneemt.
• Monolingaal vs. Meertalig: In een casestudy over Vietnamees rangschikte monolingale afstemming (67k instanties) als eerste voor mT5 en als tweede voor mGPT, waarbij het concurrerend presteerde met de beste meertalige subsets. Dit daagt de aanname uit dat meertalige subsets altijd te verkiezen zijn.

5. De Rol van Overlap

De studie analyseert de overlap tussen pretraining-corpora, trainingssubsets en evaluatietalen.

• BLOOM heeft een kleine overlap tussen zijn pretraining-corpus en de XNLI-evaluatietalen (8/15), en de meeste geïnformeerde subsets scoorden significant lager dan de willekeurige baseline op XNLI voor BLOOM-7B.
• mGPT dekt 14/15 XNLI-talen in de pretraining, en geïnformeerde subsets scoorden daar significant hoger.
• Echter, overlap alleen bepaalt de uitkomsten niet; GEO verbeterde XStoryCloze aanzienlijk op beide modellen ondanks het feit dat ze weinig gedeelde evaluatietalen hebben, wat suggereert dat de benchmark-taalsets zelf nauwelijks overlappen, waardoor universele optimaliteit structureel onmogelijk is.

Betekenis en Implicaties

Het artikel betoogt dat het veld zich weg moet bewegen van het zoeken naar een "one-size-fits-all" optimaal taalpakket voor meertalige instructie-afstemming.

1. Methodologische Waarschuwing: Het rapporteren van enkelvoudige geaggregeerde scores over taken en modellen heen is diep misleidend. Een strategie die in aggregaat superieur lijkt, kan specifiek op bepaalde taken aanzienlijk onderpresteren (bijv. FAM had het beste gemiddelde voor mT5-xl maar de slechtste score op XNLI). De auteurs dringen er bij de gemeenschap toe om per-taak en per-model uitsplitsingen met betrouwbaarheidsintervallen te rapporteren en te voorkomen dat men te breed generaliseert vanuit beperkte benchmarks.
2. Praktische Les: Hoewel er geen universeel optimum bestaat, is taalkundig geïnformeerde selectie (met name GEO en TYPO) doorga \ de veiligere standaard dan willekeurige selectie, vooral bij grotere modelschalen. Voor beoefenaars is het kerninzicht om te richten op 10–15 taalkundig diverse talen, in plaats van het aantal talen te maximaliseren, aange het toevoegen van meer talen voorbij deze drempel de vloek van meertaligheid triggert onder vaste budgetten.
3. Negatieve Bevindingen als Richtlijn: De afwezigheid van een universele winnaar wordt toegeschreven aan drie samenkopende factoren: mismatch in de pretraining-corpus, beperkingen in de taak-taal uitlijning en seed-gevoeligheid. Deze bevindingen waarschuwen tegen eenvoudige universele voorschriften voor de curatie van MIT-data en benadrukken de noodzaak van taak- en modelspecifieke evaluatie met de juiste statistische rapportage.

De auteurs concluderen dat hoewel taalkundig geïnformeerde selectie gemiddeld genomen beter presteert dan willekeurige selectie, de complexiteit van de interacties tussen modelarchitectuur, pretraining-data en taakeisen een enkele optimale taalset voor alle scenario's uitsluit.