💬 NLP

EuroLLM-22B: Technical Report

Dit artikel introduceert EuroLLM-22B, een groot taalmodel dat vanaf de basis is getraind om 35 talen te ondersteunen (inclusief alle 24 officiële EU-talen), waarmee de ondervertegenwoordiging van Europese talen in bestaande modellen wordt aangepakt, terwijl het concurrerende prestaties behaalt in redeneren, instructieopvolging en vertaling, waarbij alle gerelateerde datasets, modellen en code zijn vrijgegeven om toekomstig onderzoek te ondersteunen.

Oorspronkelijke auteurs: Miguel Moura Ramos, Duarte M. Alves, Hippolyte Gisserot-Boukhlef, João Alves, Pedro Henrique Martins, Patrick Fernandes, José Pombal, Nuno M. Guerreiro, Ricardo Rei, Nicolas Boizard, Amin Farajian, Ma

Gepubliceerd 2026-02-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Miguel Moura Ramos, Duarte M. Alves, Hippolyte Gisserot-Boukhlef, João Alves, Pedro Henrique Martins, Patrick Fernandes, José Pombal, Nuno M. Guerreiro, Ricardo Rei, Nicolas Boizard, Amin Farajian, Mateusz Klimaszewski, José G. C. de Souza, Barry Haddow, François Yvon, Pierre Colombo, Alexandra Birch, André F. T. Martins

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

EuroLLM-22B: De Meertalige Bibliothecaris van Europa

Stel je de wereld van Kunstmatige Intelligentie voor als een enorme bibliotheek. Een lange tijd werd deze bibliotheek gedomineerd door boeken die in het Engels zijn geschreven. Als je naar binnen zou lopen en zou vragen om een verhaal in het Frans, Duits of Portugees, zou je misschien een paar boeken vinden, maar dat waren vaak vertalingen van Engelse verhalen of geschreven door auteurs die de lokale cultuur niet volledig begrepen.

EuroLLM-22B is een nieuw, grootschalig project dat is ontworien om dit op te lossen. Het is een "Large Language Model" (denk aan een superintelligente, digitale bibliothecaris) dat vanaf de basis is gebouwd om specifiek te spreken, te begrijpen en te redeneren in alle 24 officiële talen van de Europese Unie, plus 11 andere belangrijke talen zoals Arabisch, Chinees en Japans.

Hier is hoe het team deze digitale bibliothecaris heeft gebouwd, uitgelegd in eenvoudige termen:

1. Het Blauwdruk (De Architectuur)

Voordat je een huis bouwt, heb je een blauwdruk nodig. Het team heeft niet zomaar een bestaand ontwerp gekopieerd; ze hebben de blauwdruk aangepast om een enorme hoeveelheid informatie te kunnen verwerken.

De Grootte: Dit model heeft 22 miljard "neuronen" (parameters). Om een analogie te gebruiken: als de vorige versie (9B) een slimme middelbare scholier was, dan is deze versie een ervaren hoogleraar met een zeer groot geheugen.
Het Lange Geheugen: Een van de grootste upgrades is het "contextvenster". Stel je voor dat je een roman probeert te lezen. Oudere modellen konden zich alleen de laatste paar pagina's herinneren voordat ze het begin vergaten. EuroLLM-22B kan 32.000 woorden tegelijk in zijn hoofd houden. Het kan een heel kort verhaal of een lang juridisch document lezen en de details van de eerste pagina tot de laatste onthouden zonder de draad kwijt te raken.

2. Het Trainingsdieet (De Data)

Je kunt geen geweldige chef maken met slechte ingrediënten. Het team was erg kieskeurig over het "voedsel" dat ze het model tijdens de training gaven.

De Filter: Ze hebben niet simpelweg het hele internet in het model gedumpt. Ze gebruikten een speciale filter (genaamd EuroFilter) om de kwaliteit van de tekst te beoordelen, waarbij ze een score van 0 tot 5 gaven. Ze gooiden de troep weg (zoals willekeurige code of websites van lage kwaliteit) en hielden alleen de hoogwaardige educatieve en literaire inhoud over.
De Fasen: Ze trainden het model in drie stadia, zoals een student die door de schoolgaat:
1. Basisonderwijs: Ze begonnen met een enorme hoeveelheid algemene data om de basis te leren.
2. Middelbare School: Ze introduceerden kwalitatief hogere data om het redeneervermogen te verfijnen.
3. Universiteit: In de laatste fase voerden ze de allerbeste beschikbare data in, inclus bij complexe wiskunde, programmeren en vertaalde boeken, om de intelligentie aan te scherpen.
De Taalmengeling: In tegen tegenstelling tot andere modellen die sterk op Engels gericht zijn, kreeg EuroLLM-22B vanaf dag één een gebalanceerd dieet van alle Europese talen, zodat het geen voorkeur heeft voor de een boven de ander.

3. De Laatste Afwerking (Instruction Tuning)

Nadat het model de feiten had geleerd, moest het leren hoe het zich moest gedragen. Dit wordt "post-training" genoemd.

Het Klaslokaal: Het team gebruikte een nieuwe dataset genaamd EuroBlocks. Stel je dit voor als een enorme collectie oefenvragen en antwoorden die alles beslaan van "Schrijf een gedicht over regen" tot "Los dit wiskundige probleem op" en "Vertaal deze zin".
De Docent: Ze gebruikten andere geavanceerde AI-modellen om hoogwaardige antwoorden op deze vragen te generen, en selecteerden vervolgens de beste antwoorden om EuroLLM-22B te leren hoe het instructies nauwkeurig moet opvolgen. Ze verwijderden alle "redeneersporen" (de interne monoloog) om de uiteindelijke output helder en direct te maken.

4. Het Rapportcijfer (De Resultaten)

Het team heeft EuroLLM-22B getest tegen andere beroemde AI-modellen om te zien hoe het presteerde.

De Competitie: Ze vergeleken het met andere "volledig open" modellen (modellen waarvan de code en gewichten gratis beschikbaar zijn voor iedereen) en sommige "open-weight" modellen (waarbij je het model kunt gebruiken, maar niet kunt zien hoe het is gebouwd).
De Uitkomst:
- Europese Kampioen: Onder de volledig open modellen die in Europa zijn gemaakt, is EuroLLM-22B de sterkste. Het presteerde beter dan andere Europese modellen, zelfs die die veel groter waren (zoals een model met 70 miljard parameters).
- Vertaling: Het is uitstekend in het vertalen tussen talen en evennaat vaak de prestaties van modellen die twee keer zo groot zijn.
- Redeneren: Het is zeer goed in logische puzzels, wiskunde en het opvolgen van complexe instructies.
- Efficiëntie: Het artikel merkt op dat EuroLLM-22B deze resultaten bereikte met een "bescheiden" hoeveelheid trainingsdata (4 biljoen woorden) vergeleken met sommige concurrenten die 15 biljoen woorden gebruikten, wat suggereert dat de kwaliteit van de data belangrijker is dan alleen een enorme hoeveelheid.

5. Het Cadeau aan de Wereld

Het belangrijkste deel van dit artikel is dat het team de bibliotheek niet voor zichzelf houdt. Ze brengen alles naar het publiek:

De Modellen: Zowel de "base" versie (het ruwe brein) als de "instruct" versie (de behulpzame assistent).
De Data: De eigenlijke datasets die ze hebben gebruikt om het model te trainen (EuroWeb en EuroBlocks), zodat andere onderzoekers ervan kunnen leren.
De Code: De softwaretools die ze hebben gebruikt om het model te bouwen en te testen.

Samengevat: EuroLLM-22B is een krachtig, open-source AI-instrument dat is ontworpen om ervoor te zorgen dat Europese talen niet worden achtergelaten in de AI-revolutie. Het bewijst dat je met zorgvuldige dataselectie en een focus op kwaliteit een wereldklasse AI kunt bouwen die jouw taal vloeiend spreekt, zonder dat het een gesloten, geheim project hoeft te zijn.

Technische Samenvatting: EuroLLM-22B

Probleemstelling

Ondanks de snelle vooruitgang in grote taalmodellen (LLM's), blijft het huidige ecosysteem zwaar scheefgetrokken naar het Engels en een beperkte set talen met veel middelen. Veel toonaangevende modellen zijn ofwel closed-source of slechts gedeeltelijk open, wat zorgt voor beperkte transparantie over trainingsdata en procedures. Gevolgelijk blijven tal van Europese talen onderbediend, met weinig modellen die "gemaakt in Europa" zijn en in staat zijn om de volledige breedte van de officiële talen van de Europese Unie (EU) inheems te ondersteunen. Het EuroLLM-project is gelanceerd om dit gat te dichten door open modellen te ontwikkelen die de Europese linguïstische diversiteit prioriteren en de AI-ontwikkeling binnen de EU bevorderen.

Methodologie

Architectuur en Modellering

EuroLLM-22B is een model met 22,6 miljard parameters, gebouwd op de architecturale beslissingen van zijn voorgangers (EuroLLM 1.7B en 9B). De belangrijkste specificaties zijn:

Tokenisatie: Een BPE-gebaseerde tokenizer met een vocabulaire van 128.000 eenheden, die 24 officiële EU-talen en 11 aanvullende talen (Arabisch, Catalaans, Chinees, Galicisch, Hindi, Japans, Koreaans, Noors, Russisch, Turks en Oekraïens) dekt.
Architectuur: Maakt gebruik van Grouped Query Attention (GQA), pre-layer normalisatie, RMSNorm, SwiGLU-activatiefuncties en Rotary Positional Embeddings (RoPE).
Contextvenster: Een significante uitbreiding naar 32.768 tokens, bereikt door de RoPE-schalingsfactor ( $\theta$ ) aan te passen van $1 \times 10^4$ naar $1 \times 10^6$ .

Pre-training Strategie

Het model is voorgetraind op ongeveer 4 biljoen tokens met een driefasig trainingsschema dat ontworpen is om het model progressief bloot te stellen aan kwalitatief hogere data:

Fase 1: Getraind op 3,6T tokens met een lineaire warmup naar een piek leersnelheid van $1,5 \times 10^{-4}$ . Deze fase bevat direct hoogwaardige educatieve documenten van FineWeb-edu, in plaats van deze voor latere stadia te bewaren.
Fase 2: Een annealing-fase over 400B tokens, waarbij de leersnelheid wordt teruggebracht naar 10% van de piek.
Fase 3: Een laatste decay-fase waarin de leersnelheid naar nul daalt. Deze fase incorporeert long-context data (boeken en code) om het 32K token venster te ondersteunen.

Data Curatie:

Web Data: Engelse data is afkomstig van FineWeb-edu en Nemotron-CC. Multilinguale data is geaggregeerd uit RedPajama-Data-v2 (voor talen met veel middelen) en HPLT, MADLAD-400, CulturaX en mC4 (voor andere talen). Alle data ondergaat strikte filtering, inclusief perplexiteitscontroles, heuristische filters (bijv. het verwijderen van "lorem ipsum", excessief hoofdlettergebruik) en kwaliteitsscoring via EuroFilter, een classifier die scores toekent van 0 tot 5.
Parallelle Data: Zinsniveau- en documentniveau parallelle data (xx $\leftrightarrow$ en) is verzameld uit bronnen zoals Europarl, ParaCrawl en WikiMatrix, gefilterd met Bicleaner en CometKiwi-22.
Code en Wiskunde: Data is afkomstig van The Stack, Algebraic-stack en Open-web-math. De derde fase introduceert FineMath en synthetische wiskundige data gegenereerd door Qwen-2.5 modellen, gefilterd door LLM-as-a-Judge.
Hoogwaardige Bronnen: Wikipedia, ArXiv, Boeken en Apollo worden gebruikt voor Engels, met Cosmopedia (en de vertaalde varianten daarvan) toegevoegd voor latere fasen.

Post-training

Het instructie-getunede model (EuroLLM-22B-Instruct) is afgeleid van het basismodel met behulp van EuroBlocks-22B, een nieuwe meertalige instructiedataset die ongeveer 10,6 miljoen voorbeelden bevat.

Dataset Constructie: Gebouwd op eerdere EuroBlocks versies, waarbij instructies van diverse publieke bronnen (bijv. Hermes-3, Tülu 3, Nemotron V2) zijn geïncorporeerd. Responsies zijn geregenereerd met capabele open modellen (DeepSeek, Qwen, Llama) en geselecteerd via Skywork-Gemma2-27B als reward model.
Filtering: Gestructureerde redeneersporen (reasoning traces) zijn verwijderd om een non-reasoning instructie-respons corpus te creëren.
Fine-tuning: Het model is gefinetuned voor 5 epochs met bfloat16 mixed precision, sequence packing en een cosine learning rate scheduler ( $1 \times 10^{-5}$ max LR). De trainingsefficiëntie wordt verbeterd met Axolotl en Liger-Kernel.

Belangrijkste Bijdragen

EuroLLM-22B Model: De release van een 22B parameter model dat vanaf nul is getraind om alle 24 officiële EU-talen plus 11 aanvullende talen te ondersteunen, met een 32K token contextvenster.
Verbeterde EuroLLM-9B: Een bijgewerkt 9B model dat dezelfde long-context extensie en post-training receptuur bevat als de 22B versie.
EuroWeb Dataset: De release van de meertalige web pretraining dataset gebruikt voor EuroLLM 22B, inclusief de kwalitatief gefilterde datatiers.
EuroBlocks-22B: Een nieuwe, uitgebreide meertalige instructiedataset met hoogwaardige synthetische responsies.
Open-Source Ecosysteem: Release van zowel base als instructie-getunede modellen, samen met de pre-training (Megatron-LM fork) en evaluatie codebases.

Resultaten

Geëvalueerd over een brede set Engelse en meertalige benchmarks, vertoont EuroLLM-22B competitieve prestaties:

Scaling Trends: Het model vertoont consistente verbeteringen ten opzichte van EuroLLM-9B en EuroLLM-22B-Preview, wat een positieve scaling trend binnen de EuroLLM familie bevestigt.
Vergelijking met Europese Modellen: EuroLLM-22B behaalt de sterkste prestaties onder volledig open Europese modellen. Opvallend genoeg presteert het vaak beter dan of is het competitief met Apertus-70B (een model met 70 miljard parameters), ondanks het feit dat het ongeveer een derde van de parameters heeft, met name in instructie-opvolging en STEM-taken.
Vergelijking met Globale Modellen: Hoewel EuroLLM-22B achterblijft bij de allerbeste open-weights modellen (bijv. Llama-3.3-70B, Qwen-3-30B-A3B) in geaggregeerde scores, biedt het het meest capabele volledig open alternatief dat specifiek is ontworpen voor Europese talen.
Vertaling: De vertaalprestaties blijven robuust, waarbij het bijgewerkte post-training recept de algemene assistent-gedragingen en redenering versterkt zonder de vertaalkwaliteit te verslechteren.
Long Context: De uitbreiding naar 32K tokens maakt effectieve modellering van langere inputs en dekking van benchmarks zoals WMT25 mogelijk, die voorheen ontoegankelijk waren voor de 4K context modellen.

Betekenis en Claims

Het artikel positioneert EuroLLM-22B als een belangrijke stap naar de democratisering van AI in Europa. Door een volledig open, hoogwaardig model te bieden dat inheemse ondersteuning biedt voor de volledige linguïstische diversiteit van de EU, beogen de auteurs de afhankelijkheid van gesloten, Engelstalige modellen te verminderen. De auteurs beweren dat EuroLLM een sterke kwaliteit bereikt met een relatief bescheiden tokenbudget (4T tokens) vergeleken met grotere modellen die getraind zijn op aanzienlijk meer data (bijv. 15T tokens voor Apertus-70B), wat suggereert dat hoogwaardige data curatie en gerichte post-training effectieve strategieën zijn om prestatiekloven te dichten. De release van de bijbehorende datasets en codebases is bedoeld om toekomstig onderzoek in Europees taalbegrip en -generatie te ondersteunen.