💬 NLP

EuroLLM-22B: Technical Report

Dieses Paper stellt EuroLLM-22B vor, ein von Grund auf neu trainiertes großes Sprachmodell zur Unterstützung von 35 Sprachen (einschließlich aller 24 Amtssprachen der EU), das die Unterrepräsentanz europäischer Sprachen in bestehenden Modellen adressiert und gleichzeitig eine wettbewerbsfähige Leistung in den Bereichen Schlussfolgerung, Befolgung von Anweisungen und Übersetzung erzielt, wobei alle zugehörigen Datensätze, Modelle und Codes zur Unterstützung zukünftiger Forschung veröffentlicht werden.

Ursprüngliche Autoren: Miguel Moura Ramos, Duarte M. Alves, Hippolyte Gisserot-Boukhlef, João Alves, Pedro Henrique Martins, Patrick Fernandes, José Pombal, Nuno M. Guerreiro, Ricardo Rei, Nicolas Boizard, Amin Farajian, Ma

Veröffentlicht 2026-02-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Miguel Moura Ramos, Duarte M. Alves, Hippolyte Gisserot-Boukhlef, João Alves, Pedro Henrique Martins, Patrick Fernandes, José Pombal, Nuno M. Guerreiro, Ricardo Rei, Nicolas Boizard, Amin Farajian, Mateusz Klimaszewski, José G. C. de Souza, Barry Haddow, François Yvon, Pierre Colombo, Alexandra Birch, André F. T. Martins

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

EuroLLM-22B: Der mehrsprachige Bibliothekar Europas

Stellen Sie sich die Welt der Künstlichen Intelligenz als eine riesige Bibliothek vor. Lange Zeit wurde diese Bibliothek von Büchern dominiert, die auf Englisch geschrieben sind. Wenn Sie hineingehen und nach einer Geschichte auf Französisch, Deutsch oder Portugiesisch fragen würden, fänden Sie vielleicht ein paar Bücher, aber es waren oft Übersetzungen englischer Geschichten oder Werke von Autoren, die die lokale Kultur nicht vollständig verstanden.

EuroLLM-22B ist ein neues, massives Projekt, das genau dies korrigieren soll. Es ist ein „Large Language Model“ (denken Sie an einen superintelligenten, digitalen Bibliothekar), das von Grund auf speziell entwickelt wurde, um alle 24 Amtssprachen der Europäischen Union sowie 11 weitere wichtige Sprachen wie Arabisch, Chinesisch und Japanisch zu sprechen, zu verstehen und zu kombinieren.

Hier ist die Erklärung, wie das Team diesen digitalen Bibliothekar gebaut hat, in einfachen Worten:

1. Der Bauplan (Die Architektur)

Bevor man ein Haus baut, braucht man einen Bauplan. Das Team hat nicht einfach ein bestehendes Design kopiert, sondern den Bauplan angepasst, um eine massive Menge an Informationen zu bewältigen.

Die Größe: Dieses Modell besitzt 22 Milliarden „Neuronen“ (Parameter). Um eine Analogie zu verwenden: Wenn die vorherige Version (9B) ein kluger Oberstufenschüler war, dann ist diese hier ein erfahrener Universitätsprofessor mit einem sehr großen Gedächtnis.
Das Langzeitgedächtnis: Eines der größten Upgrades ist das „Kontextfenster“. Stellen Sie sich vor, Sie versuchen, einen Roman zu lesen. Ältere Modelle konnten sich nur an die letzten paar Seiten erinnern, bevor sie den Anfang vergaßen. EuroLLM-22B kann gleichzeitig 32.000 Wörter im Kopf behalten. Es kann eine ganze Kurzgeschichte oder ein langes juristisches Dokument lesen und sich die Details von der ersten bis zur letzten Seite merken, ohne den Faden zu verlieren.

2. Die Trainingsdiät (Die Daten)

Man kann keinen großartigen Koch mit schlechten Zutaten erschaffen. Das Team war bei dem „Essen“, das es dem Modell während des Trainings gab, sehr wählerisch.

Der Filter: Sie haben nicht einfach das gesamte Internet in das Modell geschüttet. Sie verwendeten einen speziellen Filter (genannt EuroFilter), um die Qualität des Textes zu bewerten und ihm eine Punktzahl von 0 bis 5 zu geben. Sie warfen den Müll (wie zufälligen Code oder minderwertige Webseiten) weg und behielten nur die hochwertigen Bildungs- und Literaturinhalte.
Die Phasen: Sie trainierten das Modell in drei Phasen, wie einen Schüler, der durch die Klassenstufen geht:
1. Grundschule: Sie begannen mit einer riesigen Menge an allgemeinen Daten, um die Grundlagen zu lehren.
2. Gymnasium: Sie führten hochwertigere Daten ein, um das logische Denken zu verfeinern.
3. Universität: In der letzten Phase fütterten sie das Modell mit den absolut besten verfügbaren Daten, einschließlich komplexer Mathematik, Programmierung und übersetzter Bücher, um seine Intelligenz zu schärfen.
Der Sprachmix: Im Gegensatz zu anderen Modellen, die sich stark auf Englisch konzentrieren, wurde EuroLLM-22B von Beginn an mit einer ausgewogenen Diät aller europäischen Sprachen gefüttert, um sicherzustellen, dass es keine Sprache bevorzugt.

3. Der letzte Schliff (Instruction Tuning)

Nachdem das Modell die Fakten gelernt hatte, musste es lernen, wie es sich verhalten soll. Dies wird als „Post-Training“ bezeichnet.

Das Klassenzimmer: Das Team verwendete einen neuen Datensatz namens EuroBlocks. Stellen Sie sich dies als eine riesige Sammlung von Übungsfragen und Antworten vor, die alles abdecken – von „Schreibe ein Gedicht über den Regen“ bis hin zu „Löse diese Matheaufgabe“ und „Übersetze diesen Satz“.
Der Lehrer: Sie nutzten andere fortgeschrittene KI-Modelle, um hochwertige Antworten auf diese Fragen zu generen, und wählten dann die besten aus, um EuroLLM-22B beizubringen, Anweisungen präzise zu folgen. Sie entfernten jegliche „Reasoning Traces“ (den internen Monolog), um die endgültige Ausgabe sauber und direkt zu gestalten.

4. Das Zeugnis (Die Ergebnisse)

Das Team testete EuroLLM-22B gegen andere berühmte KI-Modelle, um zu sehen, wie es abschneidet.

Der Wettbewerb: Sie verglichen es mit anderen „vollständig offenen“ Modellen (Modelle, bei denen der Code und die Gewichte frei für jeden nutzbar sind) und einigen „Open-Weight“-Modellen (bei denen man das Modell zwar nutzen, aber nicht sehen kann, wie es gebaut wurde).
Das Ergebnis:
- Europäischer Champion: Unter den in Europa entwickelten, vollständig offenen Modellen ist EuroLLM-22B das stärkste. Es übertraf andere europäische Modelle, selbst solche, die viel größer waren (wie ein 70-Milliarden-Parameter-Modell).
- Übersetzung: Es ist exzellent darin, zwischen Sprachen zu übersetzen, und erreicht oft die Leistung von Modellen, die doppelt so groß sind.
- Logik: Es ist sehr gut in Logikrätseln, Mathematik und beim Befolgen komplexer Anweisungen.
- Effizienz: Das Paper stellt fest, dass EuroLLM-22B diese Ergebnisse mit einer „bescheidenen“ Menge an Trainingsdaten (4 Billionen Wörter) erzielte, verglichen mit einigen Konkurrenten, die 15 Billionen verwendeten, was darauf hindeutet, dass die Qualität der Daten wichtiger ist als nur eine massive Quantität.

5. Ein Geschenk an die Welt

Der wichtigste Teil dieses Papers ist, dass das Team die Bibliothek nicht für sich behält. Sie stellen alles der Öffentlichkeit zur Verfügung:

Die Modelle: Sowohl die „Base“-Version (das rohe Gehirn) als auch die „Instruct“-Version (der hilfreiche Assistent).
Die Daten: Die tatsächlichen Datensätze, die sie zum Trainieren des Modells verwendet haben (EuroWeb und EuroBlocks), damit auch andere Forscher daraus lernen können.
Der Code: Die Software-Werkzeuge, mit denen sie das Modell gebaut und getestet haben.

Zusammenfassend lässt sich sagen: EuroLLM-22B ist ein leistungsstarkes, Open-Source-KI-Werkzeug, das entwickelt wurde, um sicherzustellen, dass europäische Sprachen in der KI-Revolution nicht zurückbleiben. Es beweist, dass man mit sorgfältiger Datenauswahl und einem Fokus auf Qualität eine erstklassige KI bauen kann, die Ihre Sprache fließend spricht, ohne dass es ein geschlossenes, geheimes Projekt sein muss.

Technischer Überblick: EuroLLM-22B

Problemstellung

Trotz der rasanten Fortschritte bei großen Sprachmodellen (LLMs) bleibt das derzeitige Ökosystem stark auf Englisch und eine begrenzte Anzahl ressourcenreicher Sprachen konzentriert. Viele führende Modelle sind entweder quelloffen oder nur teilweise offen, was eine begrenzte Transparenz hinsichtlich der Trainingsdaten und -verfahren bietet. Infolgedessen werden zahlreiche europäische Sprachen unterversorgt, da es nur wenige Modelle gibt, die „Made in Europe“ sind und in der Lage sind, das volle Spektrum der offiziellen Sprachen der Europäischen Union (EU) nativ zu unterstützen. Das EuroLLM-Projekt wurde ins Leben gerufen, um diese Lücke zu schließen, indem offene Modelle entwickelt werden, die die europäische linguistische Vielfalt priorisieren und die KI-Entwicklung innerhalb der EU fördern.

Methodik

Architektur und Modellierung

EuroLLM-22B ist ein Modell mit 22,6 Milliarden Parametern, das auf den architektonischen Entscheidungen seiner Vorgänger (EuroLLM 1.7B und 9B) basiert. Zu den wichtigsten Spezifikationen gehören:

Tokenisierung: Ein BPE-basierter Tokenizer mit einem Vokabular von 128.000 Einheiten, der 24 offizielle EU-Sprachen und 11 zusätzliche Sprachen (Arabisch, Katalanisch, Chinesisch, Galicisch, Hindi, Japanisch, Koreanisch, Norwegisch, Russisch, Türkisch und Ukrainisch) abdeckt.
Architektur: Verwendet Grouped Query Attention (GQA), Pre-Layer-Normalisierung, RMSNorm, SwiGLU-Aktivierungsfunktionen und Rotary Positional Embeddings (RoPE).
Kontextfenster: Eine signifikante Erweiterung auf 32.768 Token, die durch die Anpassung des RoPE-Skalierungsfaktors ( $\theta$ ) von $1 \times 10^4$ auf $1 \times 10^6$ erreicht wurde.

Pre-Training-Strategie

Das Modell wurde auf etwa 4 Billionen Tokens mittels eines dreiphasigen Trainingsplans vortrainiert, der darauf ausgelegt ist, das Modell progressiv hochwertigeren Daten auszusetzen:

Phase 1: Trainiert auf 3,6T Tokens mit einem linearen Warmup auf eine Spitzenlernrate von $1,5 \times 10^{-4}$ . Diese Phase enthält sofort hochwertige Bildungsdokumente aus FineWeb-edu, anstatt sie für spätere Phasen aufzusparen.
Phase 2: Eine Annealing-Phase über 400B Tokens, in der die Lernrate auf 10 % ihres Spitzenwerts reduziert wird.
Phase 3: Eine abschließende Decay-Phase, in der die Lernrate auf Null sinkt. Diese Phase bezieht Long-Context-Daten (Bücher und Code) ein, um das 32K-Token-Fenster zu unterstützen.

Datenkuratierung:

Web-Daten: Englische Daten stammen aus FineWeb-edu und Nemotron-CC. Multilinguale Daten werden aus RedPajama-Data-v2 (für ressourcenreiche Sprachen) sowie HPLT, MADLAD-400, CulturaX und mC4 (für andere) aggregiert. Alle Daten durchlaufen eine strenge Filterung, einschließlich Perplexitätsprüfungen, heuristischer Filter (z. B. Entfernung von „Lorem Ipsum“, übermäßigem Großbuchstabengebrauch) und Qualitätsbewertung via EuroFilter, einem Klassifikator, der Scores von 0 bis 5 vergibt.
Parallele Daten: Satzebene- und Dokumentebene-Paralleldaten (xx $\leftrightarrow$ en) werden aus Quellen wie Europarl, ParaCrawl und WikiMatrix gesammelt und mittels Bicleaner und CometKiwi-22 gefiltert.
Code und Mathematik: Daten stammen aus The Stack, Algebraic-stack und Open-web-math. Die dritte Phase führt FineMath und synthetische mathematische Daten ein, die von Qwen-2.5-Modellen generiert und durch LLM-as-a-Judge gefiltert wurden.
Hochwertige Quellen: Wikipedia, ArXiv, Bücher und Apollo werden für Englisch verwendet, wobei Cosmopedia (und dessen übersetzte Varianten) in späteren Phasen hinzugefügt wurden.

Post-Training

Das instruktionsgesteuerte Modell (EuroLLM-22B-Instruct) wird aus dem Basismodell unter Verwendung von EuroBlocks-22B abgeleitet, einem neuen multilingualen Instruktionsdatensatz, der etwa 10,6 Millionen Beispiele enthält.

Konstruktion des Datensatzes: Basierend auf früheren Versionen von EuroBlocks, unter Einbeziehung von Instruktionen aus diversen öffentlichen Quellen (z. B. Hermes-3, Tülu 3, Nemotron V2). Die Antworten wurden mithilfe leistungsfähiger offener Modelle (DeepSeek, Qwen, Llama) regeneriert und mittels Skywork-Gemma2-27B als Reward-Modell ausgewählt.
Filterung: Strukturierte Reasoning-Traces wurden entfernt, um einen Nicht-Reasoning-Instruktions-Antwort-Korpus zu erstellen.
Feinabstimmung: Das Modell wird für 5 Epochen mit bfloat16 Mixed-Precision, Sequence Packing und einem Cosine-Learning-Rate-Scheduler (max. LR $1 \times 10^{-5}$ ) feinabgestimmt. Die Trainingseffizienz wird durch den Einsatz von Axolotl und Liger-Kernel gesteigert.

Wichtigste Beiträge

EuroLLM-22B Modell: Die Veröffentlichung eines 22B-Parameter-Modells, das von Grund auf neu trainiert wurde, um alle 24 offiziellen EU-Sprachen plus 11 zusätzliche Sprachen mit einem 32K-Token-Kontextfenster zu unterstützen.
Verbessertes EuroLLM-9B: Ein aktualisiertes 9B-Modell, das dieselbe Long-Context-Erweiterung und das Post-Training-Rezept wie die 22B-Version beinhaltet.
EuroWeb Datensatz: Die Veröffentlichung des multilingualen Web-Pretraining-Datensatzes, der für EuroLLM 22B verwendet wurde, einschließlich der qualitätsgefilterten Datenschichten.
EuroBlocks-22B: Ein neuer, erweiterter multilingualer Instruktionsdatensatz mit hochwertigen synthetischen Antworten.
Open-Source-Ökosystem: Veröffentlichung der Basis- und Instruktionsmodelle sowie der Pre-Training- (Megatron-LM Fork) und Evaluierungs-Codebases.

Ergebnisse

In einer breiten Palette von englischen und multilingualen Benchmarks evaluiert, zeigt EuroLLM-22B eine wettbewerbsfähige Leistung:

Skalierungstrends: Das Modell zeigt konsistente Verbesserungen gegenüber EuroLLM-9B und EuroLLM-22B-Preview, was den positiven Skalierungstrend innerhalb der EuroLLM-Familie bestätigt.
Vergleich mit europäischen Modellen: EuroLLM-22B erzielt die stärkste Leistung unter den vollständig offenen europäischen Modellen. Bemerkenswerterweise übertrifft es Apertus-70B (ein Modell mit 70 Milliarden Parametern) häufig oder bleibt in der Leistung wettbewerbsfähig, insbesondere bei der Befolgung von Instruktionen und in STEM-Aufgaben, obwohl es nur etwa ein Drittel der Parameter besitzt.
Vergleich mit globalen Modellen: Während EuroLLM-22B in den aggregierten Scores hinter den besten Open-Weights-Modellen (z. B. Llama-3.3-70B, Qwen-3-30B-A3B) zurückbleibt, bietet es die fähigste vollständig offene Alternative, die speziell für europäische Sprachen entwickelt wurde.
Übersetzung: Die Übersetzungsleistung bleibt robust, wobei das aktualisierte Post-Training-Rezept das allgemeine Assistentenverhalten und das logische Denken stärkt, ohne die Übersetzungsqualität zu beeinträchtigen.
Long Context: Die Erweiterung auf 32K Token ermöglicht eine effektive Modellierung von Langform-Inputs und die Abdeckung von Benchmarks wie WMT25, die zuvor für die 4K-Kontext-Modelle unzugänglich waren.

Bedeutung und Ansprüche

Das Paper positioniert EuroLLM-22B als einen bedeutenden Schritt zur Demokratisierung der KI in Europa. Durch die Bereitstellung eines vollständig offenen, hochwertigen Modells, das die volle linguistische Vielfalt der EU nativ unterstützt, zielen die Autoren darauf ab, die Abhängigkeit von geschlossenen, englischzentrierten Modellen zu verringern. Die Autoren behaupten, dass EuroLLM eine starke Qualität mit einem vergleichsweise moderaten Token-Budget (4T Tokens) erreicht, im Gegensatz zu größeren Modellen, die mit signifikant mehr Daten trainiert wurden (z. B. 15T Tokens für Apertus-70B). Dies deutet darauf hin, dass eine hochwertige Datentkuratierung und gezieltes Post-Training effektive Strategien sind, um Leistungsunterschiede zu schließen. Die Veröffentlichung der zugehörigen Datensätze und Codebases soll die zukünftige Forschung im Bereich des europäischen Sprachverständnisses und der Sprachgenerierung unterstützen.