TildeOpen LLM: Leveraging Curriculum Learning to Achieve Equitable Language Representation

Dit artikel introduceert TildeOpen LLM, een open-weight foundation model met 30 miljard parameters dat door middel van curriculum learning en data-oversampling is getraind om de prestaties en taalevenwicht voor 34 Europese talen, met name minder gebruikte talen, aanzienlijk te verbeteren zonder extra rekencapaciteit.

De kern

🌍 De Grote Taal-ongelijkheid: Een probleem in de AI-wereld

Stel je voor dat je een enorme bibliotheek bouwt voor een slimme robot (een AI). De meeste boeken in deze bibliotheek zijn in het Engels. Er zijn ook veel boeken in het Duits, Frans en Spaans. Maar wat dacht je van het Lets, Ests of Pools? Die hebben maar een paar dunne boekjes in de hele bibliotheek.

Omdat de robot vooral Engels leest, wordt hij er heel goed in, maar hij blijft een beetje stotteren in de kleinere Europese talen. Hij maakt veel fouten, begrijpt nuance niet goed en voelt zich "onwennig" in die talen. Dit is het probleem dat de onderzoekers van Tilde (een bedrijf uit Letland) wilden oplossen.

🚀 De Oplossing: TildeOpen LLM

Ze hebben een nieuwe robot gebouwd, genaamd TildeOpen LLM. Deze robot is speciaal getraind om 34 Europese talen even goed te spreken. Het doel was niet om de grootste robot te maken, maar om de eerlijkste robot te maken.

Hoe hebben ze dit gedaan? Met twee slimme trucs:

1. De "Versterker" (Upsampling)

Stel je voor dat je een klasje hebt met 100 kinderen die Engels spreken en slechts 1 kind dat Ests spreekt. Als je ze allemaal samen laat lezen, leert het Estse kind niets.
De onderzoekers hebben een trucje bedacht: ze hebben het Estse kind (en andere kleine talen) 2,5 keer zo vaak laten lezen als de anderen. Ze hebben de bestaande teksten voor die kleine talen dus "opgeblazen" in het trainingsprogramma. Zo krijgt het Estse kind evenveel aandacht als het Engelse kind.

2. De "Schoolrooster"-methode (Curriculum Learning)

Dit is de meest interessante truc. Stel je voor dat je een student voorbereidt op een examen in 34 talen.

• Fase 1 (De start): Je laat de student eerst alle talen even vaak zien. Alsof je een rooster maakt waarin elke taal evenveel lestijd krijgt, ongeacht hoe groot de taalwereld is. Dit zorgt voor een eerlijke basis.
• Fase 2 (Het midden): Nu mag de student weer "natuurlijk" lezen. Omdat er veel meer Engels en Duits op het internet staat, leest de student nu veel meer daarvan. Dit houdt de kennis breed en diep.
• Fase 3 (Het einde): Je gaat weer terug naar de start: alle talen even vaak. Dit zorgt ervoor dat de robot aan het einde van de training weer evenveel aandacht heeft voor de kleine talen, zodat hij ze niet vergeet.

🛠️ De Gereedschapskist: Hoe het werkt

• De Woordenboek-maker (Tokenizer): Vaak zijn woorden in kleine talen "zwaar" voor een computer (ze hebben meer digitale blokken nodig). De onderzoekers hebben een speciaal woordenboek gemaakt zodat een zin in het Lets evenveel "blokken" kost als dezelfde zin in het Engels. Dit maakt de computer sneller en eerlijker.
• De Schone Lijst (Data Filtering): Ze hebben de "vuile" data verwijderd. Ze hebben bijvoorbeeld Russische propaganda-sites (die vol liegen en haatzaaiende teksten staan) eruit gehaald. Ze wilden geen robot die leert liegen of haat spreken. Ze hebben ook dubbele teksten verwijderd, zodat de robot niet steeds hetzelfde moet herhalen.

🏆 De Resultaten: Hoe goed is hij?

Ze hebben de robot getest tegen andere bekende robots (zoals EuroLLM en Gemma 2).

• Minder fouten: Bij het schrijven van teksten in het Lets en Ests maakte TildeOpen tot 10 keer minder fouten dan de concurrenten.
• Beter begrijpen: Hij begrijpt teksten en antwoorden op vragen in deze talen veel beter.
• Kleinere, maar slimmere: Hij is getraind met weinigere gegevens dan andere grote robots (2 biljoen woorden in plaats van 4 of 6), maar presteert toch beter. Dit bewijst dat hoe je leert belangrijker is dan hoeveel je leest.

⚠️ De Kijk in de Kamer (Beperkingen)

Natuurlijk is het niet perfect:

• Ze hebben niet alle Europese talen meegenomen (zoals Katalaans of Welsh), omdat er simpelweg te weinig goede boeken voor die talen bestaan.
• Ze hebben de Russische data heel streng gefilterd. Dit is goed voor eerlijkheid, maar betekent misschien dat ze sommige culturele nuances missen.
• Ze hebben de robot nog niet getest op "politieke vooroordelen" in alle talen, omdat er geen goede testkaarten voor bestaan.

🎯 Conclusie

Kort samengevat: TildeOpen LLM is een bewijs dat je niet per se de grootste en duurste computer nodig hebt om een eerlijke AI te maken. Door slim te plannen (het schoolrooster) en de juiste data te kiezen (de versterker), kun je een robot bouwen die iedere taal even goed behandelt. Het is een stap in de richting van een AI die echt voor iedereen werkt, niet alleen voor degenen die Engels spreken.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "TildeOpen LLM: Leveraging Curriculum Learning to Achieve Equitable Language Representation", vertaald en samengevat in het Nederlands.

Probleemstelling

Grote Taalmodellen (LLMs) vertonen vaak onderprestaties in veel Europese talen. Dit komt door de oververtegenwoordiging van het Engels en enkele hoog-resourcetalen in de trainingsdata. Naarmate modellen groeien, neemt het aandeel niet-Engelse data relatief af, wat leidt tot een groeiende ongelijkheid in prestaties tussen West-Europese talen (bijv. Romance en Germaanse talen) en talen uit Centraal- en Oost-Europa (zoals de Balto-Slavische en Fins-Oegrische talen).
Bestaande open-weight modellen, zoals EuroLLM, proberen dit op te lossen door het Engelse aandeel te beperken, maar ze herverdelingen de representatie van kleinere talen niet effectief genoeg. Dit resulteert in talen die onvoldoende worden ondersteund voor praktische toepassingen en een gebrek aan "AI-sovereiniteit" voor Europa, waarbij bijna 170 miljoen Europeanen een moedertaal hebben die slecht wordt vertegenwoordigd in fundamentele modellen.

Methodologie

De auteurs hebben een open-weight fundamenteel model ontwikkeld, genaamd TildeOpen LLM, met 30 miljard parameters, getraind op 34 Europese talen. De kern van hun aanpak ligt in drie gebieden:

1. Tokenizer Ontwerp voor Talen-Gelijkheid

• Doel: Zorgen dat dezelfde inhoud in verschillende talen een vergelijkbaar aantal tokens oplevert om inferentie-kosten en contextlengte te egaliseren.
• Implementatie: De tokenizer is getraind op 4,38 miljard bytes data, waarbij de verhoudingen iteratief zijn aangepast tijdens het trainingproces. Er werd gebruikgemaakt van parallelle vertalingen uit het FLORES 200-dataset om de tokenisatie-efficiëntie te balanceren.
• Resultaat: De tokenizer bereikt "tokenisatie-equity" voor de focus-talen, wat betekent dat de tokenaantallen voor vergelijkbare inhoud over de talen heen consistent zijn.

2. Data Curation en Filtering

• Bronnen: Data komt van grote webdatasets (MADLAD-400, HPLT, Cultura-X, FineWeb, Common Pile) en gespecialiseerde bronnen (The Stack, MathPile).
• Filtering: Er is een strikt filteringsproces toegepast:
  • URL-filtering: Verwijdering van spam, onveilige inhoud en geblokkeerde domeinen.
  • Deduplicatie: Gebruik van exacte en vergelijkbare lijnverwijdering (met de Onion-tool) om repetitieve content te elimineren.
  • Inhoudsfiltering (Propaganda): Specifiek voor Russisch taalgebruik is een extra filter toegepast. Gezien de verspreiding van staatspropaganda en desinformatie, zijn clusters met geopolitieke, historische en oorlogsgerelateerde termen verwijderd. Ook is content die haat tegenover LGBT-gemeenschappen of pro-oorlog narratieven bevat, gefilterd.
  • PII-filtering: Anonimisering van persoonsgegevens.

3. Curriculum Learning en Data Sampling
Om de onbalans in data-aantallen (waarbij sommige talen veel meer data hebben dan andere) op te lossen, wordt een drie-fasen curriculum gebruikt:

• Fase 1 (Initieel, 7,5%): Uniforme verdeling van talen om gelijke blootstelling te garanderen.
• Fase 2 (Intermediair, 67,5%): Natuurlijke verdeling van data om de diversiteit en hoeveelheid van hoog-resourcetalen te maximaliseren.
• Fase 3 (Eind, 25%): Terugkeer naar een uniforme verdeling om de prestaties voor alle talen te consolideren.
• Upsampling: Data voor laag-resourcetalen is tot 2,5 keer opgesampled om het tekort aan data te compenseren.

4. Model Architectuur en Training

• Architectuur: Gebaseerd op Llama 3 (30B parameters, 60 lagen, 6144 dimensie). Gebruik van Group Query Attention (GQA), RoPE voor positie-encoding, en SwiGLU feed-forward lagen.
• Training: Getraind op 2 biljoen tokens (2T) op het LUMI supercomputer (768 AMD MI250x GPU's). Dit is aanzienlijk minder dan vergelijkbare modellen (vaak 4-6T tokens). Gebruik van een trapeziumvormige learning rate scheduler.

Belangrijkste Bijdragen

1. TildeOpen LLM: Een 30B-parameter model dat specifiek is ontworpen voor talen-gelijkheid over 34 Europese talen, met een sterke focus op Balto-Slavische en Fins-Oegrische talen.
2. Curriculum Learning Strategie: Een innovatieve trainingsaanpak die wisselt tussen uniforme en natuurlijke data-distributies om zowel laag- als hoog-resourcetalen optimaal te leren zonder de modelgrootte te vergroten.
3. Tokenisatie-Equity: Een tokenizer die de inefficiëntie voor laag-resourcetalen wegneemt, wat leidt tot lagere inferentiekosten en betere contextbeheersing.
4. Ethiek en Veiligheid: Een uitgebreide aanpak voor het filteren van Russische staatspropaganda en desinformatie, wat een uniek aspect is in de training van open-weight modellen.

Resultaten

De evaluaties tonen aan dat TildeOpen LLM, ondanks het trainen met minder data en rekenkracht, concurrerende of superieure resultaten behaalt ten opzichte van vergelijkbare modellen (EuroLLM, ALIA, Gemma 2):

• Intrinsieke Evaluatie: Het model toont een lagere perplexiteit (per-karakter) over alle taalfamilies, met name sterke verbeteringen voor Baltische (+13,8%), Romance (+11,2%) en Fins-Oegrische (+11,2%) talen.
• Benchmark Prestaties:
  • Taalgeneratie en Begrip: TildeOpen scoort het beste op MultiBLiMP (grammaticale acceptabiliteit) en Belebele (leesbegrip), vaak beter dan EuroLLM en Gemma 2.
  • Parametrische Kennis: Op taken zoals ARC en MMLU presteert het model vergelijkbaar met grotere modellen, wat suggereert dat meer data alleen niet leidt tot betere kennis, maar dat de trainingsstrategie cruciaal is.
• Linguïstische Kwaliteit: Menselijke evaluatie toont een tot 10 keer lagere foutenrate per 100 woorden in het Lets en Estisch vergeleken met Gemma 2 en EuroLLM.
• Vertaalkwaliteit: Na instructie-tuning (op een zelfgebouwd vertalingsdataset) presteert het model beter dan EuroLLM in vertalingstaken, zelfs tussen niet-Engelse talen, en komt het dicht bij de prestaties van GPT-4.1 (een veel groter model).

Betekenis en Conclusie

Het paper demonstreert dat zorgvuldige data-curatie en gebalanceerde trainingsstrategieën (zoals curriculum learning en tokenisatie-equity) de kwaliteit van meertalige modellen aanzienlijk kunnen verbeteren zonder de modelgrootte of het totale trainingsvolume te verhogen.
TildeOpen LLM biedt een oplossing voor de "linguïstische ongelijkheid" in AI en stelt een nieuwe standaard voor open-weight modellen die Europa en zijn minderheidstalen eerlijk vertegenwoordigen. De beschikbaarheid van het model en de bijbehorende resources op HuggingFace maakt het een waardevol instrument voor onderzoek en toepassingen in de Europese context, terwijl het ook belangrijke inzichten biedt in het filteren van schadelijke content zoals staatspropaganda.