Goldfish: Monolingual Language Models for 350 Languages

Het paper introduceert Goldfish, een verzameling van meer dan 1.000 kleine monolinguale taalmodellen voor 350 talen die, ondanks hun beperkte grootte en data, betere prestaties laten zien dan grote meertalige modellen op het gebied van grammatica en perplexiteit, en voor 215 van deze talen de eerste publiek beschikbare monolinguale modellen vormen.

De kern

Goudvissen: Kleine Taalgenieën voor de Wereld

Stel je voor dat je een enorme bibliotheek hebt met boeken in duizenden verschillende talen. De meeste van deze boeken zijn geschreven in Engels, Spaans of Chinees. Maar er zijn ook duizenden andere talen, zoals die van kleine eilandgemeenschappen of afgelegen dorpen, waar maar heel weinig boeken van bestaan.

In de wereld van kunstmatige intelligentie (AI) hebben we tot nu toe vooral één soort "superleesmeester" gebruikt: een gigantisch model dat alles in één keer probeert te leren. Dit is alsof je één enorme, superintelligente student hebt die probeert alle talen van de wereld tegelijk te leren. Het probleem? Deze student is zo druk met het leren van de grote talen, dat hij de kleine, minder bekende talen vaak maar half begrijpt. Hij maakt grammaticafouten en spreekt ze niet vloeiend.

De Goudvissen (Goldfish)

De auteurs van dit paper hebben een slimme, andere aanpak bedacht. In plaats van één enorme student, hebben ze 1.154 kleine, gespecialiseerde studenten gemaakt. Ze noemen ze "Goldfish" (Goudvissen).

Waarom Goudvissen?

1. Ze zijn klein: Net als goudvissen zijn deze AI-modellen niet enorm groot (ze hebben maar 125 miljoen "neuronen", terwijl de grote modellen er miljarden hebben).
2. Er zijn er veel: Er zijn duizenden van deze kleine modellen, één voor bijna elke taal.
3. Ze hebben een slecht geheugen (grapje): De naam is een grapje. Goudvissen staan bekend om hun korte geheugen, maar deze modellen zijn juist heel goed in het onthouden van de specifieke regels van hun eigen taal.

Hoe werkt het?

Stel je voor dat je een grote multinationale taalmodel (zoals BLOOM of XGLM) bent. Je krijgt een enorme bak met data, maar voor de meeste talen krijg je slechts een paar druppels water. Voor de grote talen krijg je een hele emmer.

De Goudvissen doen het anders:

• Voor elke van de 350 talen maken ze een eigen, klein model.
• Ze geven dit model precies genoeg data om die ene taal goed te leren (soms maar 5 megabyte, soms 1 gigabyte).
• Omdat het model zich alleen op één taal richt, leert het die taal veel beter dan de grote "superstudent" die alles door elkaar haalt.

Wat hebben ze ontdekt?

De onderzoekers hebben getest of deze kleine Goudvissen beter zijn dan de grote modellen. Het resultaat was verrassend:

1. De Grote Modellen zijn vaak slechter dan een simpel woordjes-spel: Voor veel kleine talen doet de gigantische AI het zelfs slechter dan een heel simpel computerprogramma dat alleen kijkt naar twee woorden achter elkaar (een "bigram"). Dat is alsof een professor het slechter doet dan een peuter die net begint met praten.
2. De Goudvissen winnen: De kleine, speciale modellen spreken de taal veel natuurlijker en maken minder grammaticafouten. Ze zijn beter in het voorspellen van het volgende woord in een zin.
3. Ze zijn niet perfect voor alles: De Goudvissen zijn geweldig in het spreken en schrijven van grammaticaal correcte zinnen. Maar als je ze vraagt om een moeilijk logisch raadsel op te lossen (zoals "als A groter is dan B, en B groter dan C, wie is dan het grootst?"), dan zakken ze af. Ze zijn slim in taal, maar nog niet slim in redeneren.

Waarom is dit belangrijk?

Vroeger hadden talen zonder veel internet-data geen kans. Er was geen AI die ze goed kon spreken. Met de Goudvissen hebben we nu voor het eerst een eerlijke kans voor 350 verschillende talen.

• Voor de kleine talen: Dit betekent dat mensen die deze talen spreken eindelijk toegang krijgen tot moderne technologie.
• Voor de wetenschap: Het bewijst dat je niet altijd de grootste en duurste computer nodig hebt om goede resultaten te krijgen. Soms is een klein, goed gespecialiseerd model veel effectiever dan een gigantisch, vaag model.

Kort samengevat:
Deze paper zegt: "Stop met proberen één enorme AI te bouwen die alles kan. Maak in plaats daarvan duizenden kleine, slimme AI's die zich specialiseren in één taal. Voor de kleine talen van de wereld werkt deze aanpak veel beter, is goedkoper, en zorgt ervoor dat niemand achterblijft."

Het is alsof je in plaats van één gigantische, dure tolk die alles maar half goed kent, duizenden lokale gidsen hebt die hun eigen dorp en taal perfect kennen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Goldfish: Monolingual Language Models for 350 Languages", geschreven in het Nederlands.

Titel: Goldfish: Monolinguale Taalmodellen voor 350 Talen

Auteurs: Tyler A. Chang, Catherine Arnett, Zhuowen Tu, Benjamin K. Bergen (UC San Diego)

---

1. Het Probleem

Ondanks de snelle vooruitgang in natuurlijke taalverwerking (NLP), blijven er aanzienlijke tekortkomingen bestaan voor low-resource talen (talen met weinig digitale tekstdata).

• Afhankelijkheid van meertalige modellen: Voor de meeste low-resource talen zijn er geen specifieke modellen beschikbaar. Onderzoekers zijn gedwongen om grote, meertalige modellen (zoals XGLM, BLOOM, MaLA-500) te gebruiken die op honderden talen tegelijk zijn getraind.
• Slechte prestaties in basisopgaven: Het paper stelt vast dat deze grote meertalige modellen moeite hebben met de fundamentele taak van tekstgeneratie: het voorspellen van het volgende token. In veel gevallen presteren ze slechter dan simpele bigram-modellen (statistische modellen die alleen kijken naar het voorafgaande woord).
• Data-ongelijkheid: Meertalige datasets zijn vaak sterk vertekend ten gunste van hoog-resource talen. Bijvoorbeeld, BLOOM is getraind op slechts 0,07 MB Akan-tekst (een taal met 8,1 miljoen moedertaalsprekers) tegenover honderden gigabytes voor Engels.
• Gebrek aan vergelijkbaarheid: Het ontbreken van specifieke, monolinguale modellen voor deze talen maakt het moeilijk om resultaten eerlijk te vergelijken en draagt bij aan ongelijkheid in NLP-onderzoek.

2. Methodologie

De auteurs introduceren Goldfish, een suite van meer dan 1.000 monolinguale taalmodellen die specifiek zijn getraind voor 350 verschillende talen.

• Model Architectuur:

  • De modellen zijn autoregressieve Transformer-modellen (GPT-2 stijl).
  • Grootte: De meeste modellen zijn klein, met 125 miljoen parameters (equivalent aan GPT-1 of BERT-base) voor datasets van 100MB en groter. Voor de kleinste datasets (5MB en 10MB) wordt een nog kleiner model van 39 miljoen parameters gebruikt, omdat grotere modellen bij weinig data niet beter presteren.
  • Tokenizers: Elk model heeft een aangepaste, monolinguale tokenizer met een vocabulaire van 50.000 tokens, getraind op de specifieke dataset van die taal.

• Datasets en Data-Verwerking:

  • Bronnen: De auteurs mergen bestaande grote datasets (Chang et al., Glot500, MADLAD-400) en filteren deze per taal.
  • Byte Premium Scaling: Omdat verschillende talen verschillende hoeveelheden bytes nodig hebben om dezelfde hoeveelheid informatie te coderen (bijv. door het gebruik van Unicode), passen ze een "byte premium" toe. Hierdoor worden datasetgroottes genormaliseerd naar "equivalente Engelse bytes".
  • Datasetgroottes: Modellen worden getraind op verschillende schalen: 5MB, 10MB, 100MB, 1GB, of de volledige beschikbare dataset (als deze kleiner is dan 1GB).
  • Contaminatie: De datasets zijn zorgvuldig schoongemaakt om FLORES-200 (een evaluatiedataset) en AmericasNLI te verwijderen om data-lekkage te voorkomen.

• Baselines:

  • Om de prestaties te valideren, trainden de auteurs ook bigram-baselines op exact dezelfde data en met dezelfde tokenizers als de Goldfish-modellen.

3. Belangrijkste Bijdragen

1. Goldfish Suite: De publicatie en openbaarmaking van meer dan 1.000 monolinguale modellen voor 350 talen. Voor 215 van deze talen zijn dit de eerste openbaar beschikbare monolinguale tekstgeneratiemodellen.
2. Empirisch Bewijs: Het aantonen dat grote meertalige modellen vaak slechter presteren dan simpele bigram-modellen voor low-resource talen, wat de inefficiëntie van huidige "one-size-fits-all" benaderingen blootlegt.
3. Reproduceerbaarheid: Het beschikbaar stellen van trainingsdata, code en modellen om toekomstig onderzoek naar low-resource taalmodellen te faciliteren.

4. Resultaten

De evaluaties tonen aan dat kleine, monolinguale modellen superieur zijn voor basis-taakgeneratie in low-resource scenario's:

• Perplexiteit (FLORES):

  • Goldfish-modellen bereiken een lagere perplexiteit (betere voorspelling) dan XGLM 4.5B, BLOOM 7.1B en MaLA-500 op 98 van de 204 geteste FLORES-talen.
  • Gemiddeld presteren Goldfish-modellen 13% beter dan XGLM 4.5B en 11% beter dan MaLA-500.
  • Opvallend: Bigram-modellen presteren beter dan BLOOM 7.1B op 43% van de talen in BLOOM, wat aantoont dat de grote modellen fundamenteel falen in het leren van basisgrammatica voor deze talen.

• Grammaticaliteit (MultiBLiMP):

  • Goldfish-modellen presteren beter dan alle geteste kleine meertalige modellen (zoals BLOOM 560M, XGLM, Gemma 3) op de MultiBLiMP-benchmark (een test voor grammaticale kennis).
  • Ze behalen de hoogste nauwkeurigheid voor 25 van de 74 geteste talen.

• Redenering (Reasoning):

  • Net als andere kleine modellen presteren Goldfish-modellen op redeneerbenchmarks (Belebele, XCOPA, XStoryCloze) slechts marginaal beter dan willekeur (chance level). Dit suggereert dat hoewel ze de taalstructuur goed hebben geleerd, ze geen complexe redeneerpatronen hebben ontwikkeld op deze schaal.

5. Betekenis en Conclusie

Het paper biedt een paradigmaverschuiving in de benadering van low-resource taalmodellen:

• Kwaliteit boven Grootte: Voor low-resource talen is het trainen van een klein, specifiek monolinguale model vaak effectiever dan het gebruik van een enorm meertalig model. De meertalige modellen lijken te lijden onder "negatieve interferentie" en data-ongelijkheid.
• Toegankelijkheid: Goldfish-modellen zijn klein genoeg om getraind en gebruikt te worden door laboratoria met beperkte rekenkracht (compute budgets).
• Toekomstgericht: Hoewel de modellen nog geen geavanceerde redeneerredenering bezitten, vormen ze een essentieel fundament voor grammaticale tekstgeneratie. Ze bieden een solide basislijn voor toekomstig onderzoek dat gericht is op het verbeteren van taalvaardigheden in ondervertegenwoordigde talen.

Kortom, Goldfish demonstreert dat voor de meeste van 's werelds talen, de weg naar betere NLP niet ligt in het vergroten van bestaande meertalige modellen, maar in het creëren van gerichte, monolinguale modellen op schaalbare data.