ÜberWeb: Insights from Multilingual Curation for a 20-Trillion-Token Dataset

Dit paper toont aan dat gerichte, per taal geoptimaliseerde data-curatie multilinguale interferentie vermindert en het mogelijk maakt om met aanzienlijk minder rekenkracht concurrerende meertalige prestaties te behalen, zoals gedemonstreerd door het succesvolle gebruik van een 20-triljoen-token dataset voor de training van modellen zoals Trinity Large.

De kern

De "UberWeb" Ontdekking: Hoe je een slimme AI bouwt zonder de hele wereldboekenkast te kopen

Stel je voor dat je een super-slimme robot wilt bouwen die alle talen van de wereld spreekt. Vaak denken mensen dat je daarvoor gewoon meer robots moet maken of dat je onbeperkt tijd en geld moet investeren. Maar dit nieuwe onderzoek van het team DatologyAI zegt: "Nee, dat is niet het probleem. Het probleem is wat we de robot laten lezen."

Hier is de kern van hun ontdekking, vertaald naar alledaags taalgebruik:

1. Het probleem: De "Vloek van de Meertaligheid"

Stel je voor dat je een student (de AI) hebt die Engels heel goed spreekt, maar ook Nederlands, Spaans en Japans wil leren.
De oude theorie was: "Als je te veel talen tegelijk leert, wordt de student verward en wordt hij in alle talen slechter." Dit noemen ze de "vloek van de meertaligheid". Het idee was dat het brein van de robot te klein is om alles tegelijk te onthouden.

De nieuwe ontdekking: Het brein is niet te klein. Het probleem is dat de student slechte boeken krijgt!

• Voor Engels hebben ze prachtige, zorgvuldig geselecteerde boeken (hoge kwaliteit).
• Voor andere talen krijgen ze vaak rommel: oude kranten, spam, foutieve vertalingen en onzin.
  Als je een student laat studeren met rommelige boeken, wordt hij niet slim, ongeacht hoeveel boeken je hem geeft.

2. De Oplossing: "Boekkeuze" in plaats van "Meer Boeken"

Het team heeft bewezen dat je geen duizenden extra robots nodig hebt. Je moet gewoon kwaliteit kiezen.

• De Analogie van de Koffie: Stel je voor dat je koffie zet. Als je slechte bonen gebruikt (slechte data), krijg je een vieze kop koffie, zelfs als je er heel veel van zet. Als je de beste bonen kiest (gecurateerde data), krijg je een perfecte kop koffie met minder water.
• Het Experiment: Ze hebben getest wat er gebeurt als je alleen de Engelse boeken verbetert. Het bleek dat dit de robot ook beter maakte in andere talen!
  • Waarom? Omdat de robot de "logica" van goed schrijven leert in het Engels, en die logica werkt ook in het Spaans of Hindi.
  • Resultaat: Door alleen de Engelse data te verbeteren, werd de prestatie in 12 van de 13 andere talen ook beter. En andersom: als je de data in andere talen verbetert, wordt de robot ook beter in het Engels. Het is een win-win situatie!

3. De Gouden Regel: Elke taal heeft zijn eigen "Recept"

Je kunt niet gewoon hetzelfde recept gebruiken voor elke taal.

• Vergelijking: Je kunt geen Italiaanse pizza maken met de ingrediënten die je voor een Japanse sushi gebruikt, ook al zijn het allebei "eten".
• De Aanpak: Het team heeft voor elke van de 13 talen (zoals Hindi, Arabisch, Chinees) een speciaal team ingezet om de beste teksten te vinden. Ze hebben niet zomaar alles van internet geplukt, maar hebben gekeken: "Is dit een goed artikel? Is dit correct?"
• Het Effect: Toen ze dit deden, werd de robot in die specifieke talen 17% beter dan wanneer ze gewoon willekeurige teksten hadden gebruikt.

4. Vertalen? Alleen van de beste bronnen!

Soms denken mensen: "Laten we gewoon alle goede Engelse teksten vertalen naar andere talen."

• De Valstrik: Als je slechte Engelse teksten vertaalt, krijg je slechte teksten in de andere taal.
• De Oplossing: Je moet alleen de allerbeste Engelse teksten vertalen.
• Het Resultaat: Vertalen werkt wel, maar het is niet de magische oplossing. De beste resultaten haal je als je voor elke taal zelf de beste bronnen zoekt en vertaalt.

5. Het Grote Succes: Slimmer werken, niet harder

Het team heeft een gigantische dataset van 20 biljoen woorden (20 Trillion Tokens) gemaakt.

• Ze hebben getoond dat hun 3-miljard-parameter model (klein) met 4 tot 10 keer minder rekenkracht net zo goed presteert als de grootste, duurste modellen van concurrenten.
• De Analogie: Het is alsof ze een kleine, sportieve auto hebben gebouwd die net zo snel is als een zware tank, omdat ze de motor (de data) zo perfect hebben afgesteld.
• Ze gebruiken slechts 8% van hun totale "woorden" voor de andere talen, maar dat is genoeg omdat die 8% zo hoogwaardig is.

Conclusie: De Toekomst is Er, maar niet Overal

De beroemde schrijver William Gibson zei ooit: "De toekomst is er al, maar het is niet gelijkmatig verdeeld."
Dit paper zegt: "Laten we dat veranderen."

Door te stoppen met het verzamelen van veel data en te beginnen met het verzamelen van goede data, kunnen we AI-modellen maken die voor iedereen werken, niet alleen voor degenen die Engels spreken. Het is geen kwestie van meer rekenkracht, maar van kwaliteit en zorgvuldigheid.

Kort samengevat:
In plaats van een berg rommel te laten opruimen door een robot, geef je de robot een paar prachtige, zorgvuldig geselecteerde boeken. Dan wordt hij niet alleen slim in het Engels, maar ook in de rest van de wereld. En dat kost veel minder energie.

Technische samenvatting

Probleemstelling

Hoewel meertaligheid een kerncapaciteit is voor moderne fundamentele modellen (foundation models), blijft het trainen van hoogwaardige meertalige modellen uitdagend. De auteurs identificeren twee hoofdbeperkingen:

1. Ongelijke data-beschikbaarheid: Er is een groot verschil in de hoeveelheid en kwaliteit van beschikbare data tussen talen. Engels profiteert van zorgvuldig samengestelde corpora, terwijl veel andere talen in een "lange staart" zitten met beperkte, ruisige of inconsistent samengestelde data.
2. De "Vloek van Meertaligheid" (Curse of Multilinguality): Het empirische fenomeen waarbij het trainen van één model op een toenemend aantal talen vaak leidt tot een afname in prestaties per taal, zelfs bij vergelijkbare trainingsbudgetten. De traditionele visie schrijft dit toe aan een capaciteitsbottleneck (modellen hebben te weinig parameters om alle talen goed te leren), wat leidt tot strategieën zoals het simpelweg vergroten van het model of het aantal tokens.

De auteurs betogen echter dat deze regressies niet inherent zijn aan schaalvergroting, maar voortkomen uit correcte tekortkomingen in datakwaliteit en samenstelling.

Methodologie

Het onderzoek wordt uitgevoerd door DatologyAI en omvat een scala aan experimenten, variërend van gecontroleerde tweetalige studies tot schaalvergroting tot 20 biljoen tokens.

• Data Curation:
  • De auteurs ontwikkelen taal-specifieke curatiepijplijnen voor 13 verschillende talen (waaronder Russisch, Chinees, Duits, Spaans, Japans, Hindi, Bengaals, Arabisch, etc.), die verschillende scripts en taalfamilies omvatten.
  • In plaats van een "Engelse recept" blind toe te passen, worden modellen getraind en gevalideerd voor filtering, embedding (voor geometrische selectie) en synthetische herschrijving per taal.
  • De basisdata komt van open-source bronnen (DCLM, FineWeb, FineWeb2, Nemotron CC), maar wordt vervolgens streng gefilterd en geselecteerd.
• Experimentele Opzet:
  • Gecontroleerde Tweetalige Experimenten: 3B-parameter modellen getraind op 60 biljoen tokens in tweetalige settingen (Engels + één doeltaal) met een 50/50 verhouding. Hierbij wordt de impact van het verbeteren van de Engelse data versus het verbeteren van de doeltaal-data geanalyseerd.
  • Vertaling als Augmentatie: Er wordt onderzocht of het vertalen van Engels naar andere talen helpt. Dit wordt vergeleken tussen het vertalen van willekeurige Engelse data versus hoogwaardige, gescoorde Engelse data.
  • Grootschalige Pre-training: Een corpus van 20 biljoen tokens wordt samengesteld. Een willekeurige subset van 1 biljoen tokens wordt gebruikt om 3B en 8B modellen te trainen.
  • Frontier-Schaal: De curatiestrategieën worden toegepast op de pre-training van "Trinity Large" (een 400B-parameter MoE-model), getraind op 17 biljoen tokens van het gecurateerde corpus.
• Evaluatie:
  • Modellen worden getest op drie meertalige benchmarks: Multilingual MMLU (kennis en redenering), Multilingual ARC-Challenge (wetenschappelijke redenering) en Belebele (leesbegrip).
  • Er wordt ook geëvalueerd op Engelse taken (MMLU en ARC) om de wederzijdse invloed te meten.

Belangrijkste Bijdragen en Resultaten

1. Kwaliteit van data drijft cross-linguale transfer

• Engels naar Niet-Engels: Het verbeteren van de kwaliteit van de Engelse trainingsdata alleen al leidt tot consistente prestatieverbeteringen in 12 van de 13 onderzochte niet-Engelse talen (gemiddeld +3,91% relatieve winst).
• Niet-Engels naar Engels: Het verbeteren van de kwaliteit van de niet-Engelse data heeft ook een wederkerig effect op de Engelse prestaties (gemiddeld +1,21% winst).
• Conclusie: De "vloek van meertaligheid" is geen onvermijdelijk capaciteitsprobleem, maar een gevolg van slechte data. Hoogwaardige data fungeert als een globaal gunstig signaal.

2. Behoefte aan maatwerk per taal (Bespoke Curation)

• Hoewel het cureren van Engelse data helpt, is het niet voldoende voor optimale prestaties.
• Het toepassen van taal-specifieke curatiepijplijnen levert aanzienlijk betere resultaten op: tot +16,87% relatieve winst ten opzichte van een ongecurateerde baseline.
• Dit weerlegt de aanname dat een algemene curatiestrategie voor alle talen werkt; elke taal vereist een op maat gemaakte aanpak.

3. Vertaling is afhankelijk van bronkwaliteit

• Het vertalen van willekeurige Engelse data naar andere talen levert slechts marginale verbeteringen op.
• Het vertalen van hoogwaardige, gescoorde Engelse documenten leidt echter tot significante winst (+5,09% relatief).
• De beste resultaten worden echter behaald wanneer vertaling wordt geïntegreerd in een holistische, taal-specifieke curatiestrategie.

4. Efficiëntie en de Pareto-grens

• De auteurs tonen aan dat een zeer klein percentage van het trainingsbudget aan meertalige data kan worden besteed om uitstekende resultaten te behalen. In hun 1T-token training is slechts 7,75% van de tokens meertalig (ongeveer 80 biljoen tokens over 13 talen).
• Compute-efficiëntie: De 3B en 8B modellen van DatologyAI bereiken concurrerende meertalige prestaties met 4 tot 10 keer minder trainings-FLOPs dan sterke open-source baselines (zoals Qwen3, Granite, SmolLM3).
• Frontier-schaal: Deze principes schalen op tot het 400B-parameter model "Trinity Large", dat uitzonderlijk sterke meertalige prestaties laat zien ten opzichte van zijn trainingskosten.

Significantie

Dit paper verschuift het paradigma van meertalig modeltrainen:

• Van Capaciteit naar Kwaliteit: Het bewijst dat de beperkingen in meertalige prestaties niet primair liggen in het gebrek aan modelcapaciteit (parameters), maar in de kwaliteit van de trainingsdata.
• Oplossing voor de "Vloek": De "curse of multilinguality" kan worden verzacht door gerichte data-curatie, waardoor modellen meer talen kunnen leren zonder dat de prestaties van andere talen dalen.
• Duurzaamheid en Inclusiviteit: Door de data-efficiëntie drastisch te verhogen, wordt het mogelijk om krachtige meertalige modellen te trainen met minder rekenkracht. Dit maakt de ontwikkeling van fundamentele modellen voor minderheidstalen (low-resource languages) economisch en computationeel haalbaarder, wat bijdraagt aan een eerlijkere verdeling van AI-voordelen.

Kortom, het paper stelt dat gerichte, taalbewuste data-curatie de sleutel is tot schaalbare, compute-efficiënte en inclusieve meertalige foundation modellen.