ÜberWeb: Insights from Multilingual Curation for a 20-Trillion-Token Dataset

Die Studie „ÜberWeb" zeigt, dass gezielte, sprachspezifische Datenkuratierung multilinguale Interferenzen effektiv mindert und es ermöglicht, mit deutlich weniger Rechenleistung wettbewerbsfähige Mehrsprachleistungen in Modellen bis zu 400 Milliarden Parametern zu erzielen.

Das Wesentliche

Das große Problem: Ein ungleicher Kuchen

Stellen Sie sich vor, wir bauen einen riesigen, superintelligenten Koch (eine Künstliche Intelligenz), der Rezepte aus der ganzen Welt lernen soll. Bisher war dieses Kochen sehr einseitig: Der Koch hat fast nur englische Kochbücher gelesen. Er ist ein Meister in englischen Gerichten, aber wenn man ihn nach einem Rezept für ein indisches Curry oder ein japanisches Sushi fragt, stolpert er.

Das liegt an zwei Problemen:

1. Ungleiche Verteilung: Es gibt riesige Bibliotheken mit englischen Kochbüchern, aber für viele andere Sprachen sind die Bücher dünn, verstaubt oder voller Fehler.
2. Der „Fluch der Mehrsprachigkeit": Früher glaubten Forscher, dass der Koch einfach zu wenig Platz im Kopf hat. Wenn er versucht, 13 Sprachen gleichzeitig zu lernen, vermischt er die Rezepte, und am Ende kann er keine davon richtig kochen. Man dachte, man müsse den Koch nur größer machen (mehr Parameter), damit er Platz für alle Sprachen hat.

Die neue Erkenntnis: Es liegt nicht am Kopf, sondern am Essen

Die Forscher von DatologyAI haben etwas Überraschendes herausgefunden: Das Problem ist nicht, dass der Koch zu klein ist. Das Problem ist, dass ihm schlechte Zutaten gegeben wurden.

Stellen Sie sich vor, Sie geben dem Koch für die englischen Gerichte frische, hochwertige Zutaten. Für die spanischen Gerichte geben Sie ihm aber verrottetes Gemüse und alte Konserven. Kein Wunder, dass das spanische Essen schmeckt wie Müll!

Die Studie zeigt: Wenn man die Qualität der Daten (die Zutaten) verbessert, passiert Magie.

Die drei wichtigsten Entdeckungen (mit Analogien)

1. Gutes Englisch hilft auch den anderen Sprachen

Die Forscher haben experimentiert: Sie haben die englischen Daten (die Zutaten) extrem sorgfältig ausgewählt und gereinigt. Das Ergebnis? Selbst wenn die Daten für die anderen 12 Sprachen (z. B. Hindi, Arabisch, Chinesisch) nicht verbessert wurden, wurden die Ergebnisse in diesen Sprachen plötzlich besser!

• Die Metapher: Es ist, als würde man den Koch in einem englischen Restaurant so gut ausbilden, dass er die grundlegenden Techniken (Schneiden, Braten, Würzen) perfekt beherrscht. Diese Fähigkeiten übertragen sich automatisch auf die spanische Küche, auch wenn er dort noch nie gearbeitet hat. Ein besseres Fundament hilft überall.

2. Jede Sprache braucht ihre eigene Küche

Aber das allein reicht nicht. Die besten Ergebnisse erzielten sie, wenn sie für jede einzelne Sprache eine maßgeschneiderte Küche bauten.

• Die Metapher: Ein Rezept für ein deutsches Brot funktioniert nicht für ein indisches Naan-Brot. Man braucht für jede Sprache spezielle Filter und Auswahlkriterien. Wenn man für Hindi, Arabisch und Chinesisch eigene, sorgfältig kuratierte Datenbanken anlegt (statt einfach nur englische Daten zu übersetzen), steigt die Leistung massiv an – bis zu 17 % besser als bei unsortierten Daten.

3. Übersetzen ist gut, aber nur mit Qualitätskontrolle

Man könnte denken: „Wir nehmen einfach gute englische Texte und übersetzen sie in alle Sprachen." Das funktioniert auch, aber nur bedingt.

• Die Metapher: Wenn Sie einen schlechten englischen Text übersetzen, erhalten Sie einen schlechten Text in der Zielsprache. Wenn Sie aber einen exzellenten, wissenschaftlichen englischen Text nehmen und ihn professionell übersetzen, ist das Ergebnis in der Zielsprache viel besser als ein zufälliger, unsortierter Text. Die Qualität des Originals ist entscheidend.

Das Ergebnis: Mehr Leistung mit weniger Aufwand

Das Schönste an dieser Studie ist die Effizienz.
Stellen Sie sich vor, andere Köche müssen 100 kg Zutaten verbrauchen, um ein gutes Gericht zu kochen. Die DatologyAI-Köche schaffen das gleiche (oder sogar bessere) Ergebnis mit nur 8 kg hochwertigen Zutaten.

• Der Vergleich: Ein kleines Modell (3 Milliarden Parameter), das nur auf 1 Billion sorgfältig ausgewählten Token trainiert wurde, schlägt riesige Modelle von anderen Firmen, die 10-mal mehr Rechenleistung verbraucht haben.
• Der „Pareto-Frontier": In der Wissenschaft nennt man das eine neue Grenze. Sie haben bewiesen, dass man nicht unbedingt riesige Computer braucht, wenn man die Daten (die Zutaten) perfekt kuratiert.

Fazit: Qualität vor Quantität

Die Botschaft der Studie ist einfach:
Wir müssen nicht unbedingt riesigere KI-Modelle bauen, die alles auf einmal lernen können. Stattdessen müssen wir aufhören, „Müll" in die Modelle zu füttern. Wenn wir für jede Sprache sorgfältig die besten Texte auswählen, filtern und mischen, wird die KI nicht nur besser in Englisch, sondern auch in Hindi, Arabisch und Chinesisch – und das alles mit deutlich weniger Energie und Kosten.

Es ist der Unterschied zwischen einem Koch, der alles zufällig probiert, und einem Sternekoch, der nur die besten Zutaten verwendet. Das Ergebnis schmeckt einfach besser, egal in welcher Sprache man bestellt.

Technische Zusammenfassung

Titel: UberWeb: Erkenntnisse aus der mehrsprachigen Kuratierung für einen 20-Billionen-Token-Datensatz

Autoren: DatologyAI Team

---

1. Problemstellung

Trotz der Fortschritte bei großen Sprachmodellen (LLMs) sind deren Fähigkeiten ungleich über verschiedene Sprachen verteilt. Zwei Hauptprobleme behindern die Entwicklung hochwertiger mehrsprachiger Modelle:

1. Ungleiche Datenverfügbarkeit: Während Englisch von großen, sorgfältig kuratierten Korpora profitiert, leiden viele andere Sprachen unter fragmentierten, verrauschten oder unzureichenden Datenmengen (Long-Tail-Problem).
2. Der „Fluch der Mehrsprachigkeit" (Curse of Multilinguality): Die empirische Beobachtung, dass das Training eines einzelnen Modells auf einer wachsenden Anzahl von Sprachen oft zu einer Verschlechterung der Leistung pro Sprache führt, selbst bei vergleichbaren Trainingsbudgets.
   • Hypothese der bisherigen Forschung: Dies wurde oft als Kapazitätsengpass interpretiert (Modelle haben nicht genug Parameter, um alle Sprachen gleichzeitig zu lernen), was zu Strategien führte, die einfach die Modellgröße oder die Token-Anzahl erhöhen (was die Rechenkosten drastisch steigert).
   • These des Papers: Der „Fluch" ist nicht fundamental, sondern resultiert aus mangelhafter Datenqualität und Zusammensetzung. Schlechte Daten verursachen Interferenzen zwischen den Sprachen, die durch gezielte Kuratierung behoben werden können.

---

2. Methodik

Das Paper untersucht den Einfluss von Datenkuratierung auf mehrsprachige Modelle durch drei experimentelle Ebenen:

A. Datenbasis und Kuratierung

• Quellen: Nutzung ausschließlich öffentlicher Korpora (DCLM, FineWeb, FineWeb2, Nemotron CC v1).
• Sprachen: Fokus auf 13 diverse Sprachen (z. B. Spanisch, Chinesisch, Hindi, Arabisch, Russisch) mit unterschiedlichen Schriftsystemen und Ressourcenlevels.
• Kuratierungs-Pipeline: Entwicklung sprachspezifischer Pipelines für jede der 13 Sprachen. Im Gegensatz zu einem „One-Size-Fits-All"-Ansatz werden für jede Sprache angepasste Modelle für Filterung, Embedding-basierte Selektion und synthetische Neuparaphrasierung trainiert.
• Baselines: Vergleich mit „unkuratierten" Baselines (zufällige Stichproben aus den Rohdaten).

B. Experimentelle Setup

1. Kontrollierte bilinguale Experimente (60B Token):
   • Modelle mit 3B Parametern wurden auf einem 50/50-Mix aus Englisch und einer Zielsprache trainiert.
   • Variation der Kuratierung: (i) Unkuratiert, (ii) Nur Englisch kuratiert, (iii) Beide Sprachen kuratiert.
   • Ziel: Isolierung des Effekts der Datenqualität auf den cross-lingualen Transfer.
2. Übersetzungs-Experimente:
   • Untersuchung, ob das Übersetzen von Englisch in Zielsprachen als Augmentierung dient.
   • Vergleich: Übersetzung zufälliger englischer Texte vs. Übersetzung hochqualitativer, score-gesiebter englischer Texte.
3. Großskaliges Pretraining (1T und 20T Token):
   • Training von 3B- und 8B-Modellen auf einem 1T-Token-Subset eines 20T-Token-Korpus.
   • Curriculum: Drei Phasen mit steigendem Anteil an mehrsprachigen Daten (5% → 10% → 20%), insgesamt nur 7,75% mehrsprachige Token im Mix.
   • Frontier-Scale: Anwendung der Prinzipien auf das 400B-Parameter-Modell „Trinity Large" (17T Token Training).

C. Evaluation

• Benchmarks: Multilingual MMLU (Wissen), Multilingual ARC-Challenge (Logik/Reasoning), Belebele (Leseverstehen).
• Metrik: Fehlerquote (1-Accuracy) in Abhängigkeit von den Trainings-FLOPs.

---

3. Wichtige Beiträge und Erkenntnisse

1. Cross-lingualer Transfer verbessert sich mit Datenqualität

• Bidirektionaler Effekt: Die Verbesserung der Datenqualität ist wechselseitig.
  • Nur die Kuratierung des Englischen verbessert die Leistung in 12 von 13 nicht-englischen Sprachen (durchschnittlich +3,91% relative Verbesserung).
  • Die Kuratierung nicht-englischer Daten verbessert die englische Leistung in 12 von 13 Fällen (durchschnittlich +1,21% relative Verbesserung).
• Schlussfolgerung: Hohe Datenqualität wirkt als globaler, positiver Signalgeber und reduziert Interferenzen.

2. Sprachspezifische Kuratierung ist unerlässlich

• Eine reine Kuratierung des Englischen reicht nicht für optimale Ergebnisse.
• Bespoke-Pipelines: Sprachspezifisch angepasste Kuratierung führt zu massiven Verbesserungen (bis zu +16,87% relative Verbesserung gegenüber der unkuratierten Basis).
• Sprachähnlichkeit: Der Transfergewinn korreliert negativ mit der linguistischen Distanz zum Englischen (gemessen via Embeddings und Perplexity). Ähnliche Sprachen (z. B. Spanisch) profitieren stärker von englischer Kuratierung als distanztere (z. B. Hindi), aber spezifische Kuratierung ist für alle entscheidend.

3. Qualität der Quelldaten bei Übersetzungen

• Übersetzung ist ein wirksames Werkzeug, aber nur wenn die Quelldaten hochwertig sind.
• Das Übersetzen von zufälligen englischen Texten bringt nur marginale Gewinne.
• Das Übersetzen von score-gesiebten, hochwertigen englischen Dokumenten führt zu signifikanten Verbesserungen (+5,09% im Vergleich zur Basis).
• Die beste Leistung wird jedoch durch eine ganzheitliche Kuratierungsstrategie erreicht, bei der Übersetzungen in den spezifischen Kontext der Zielsprache integriert werden.

4. Recheneffizienz und neue Pareto-Grenze

• Token-Effizienz: Mit nur 7,75% mehrsprachigen Token im Trainingsmix (ca. 80B Token über 13 Sprachen) wurden sehr starke Ergebnisse erzielt.
• Vergleich: Die 3B- und 8B-Modelle von DatologyAI erreichen bei 4- bis 10-mal weniger Trainings-FLOPs eine vergleichbare oder bessere mehrsprachige Leistung als starke öffentliche Baselines (z. B. LFM-2.5, SmolLM3, Granite).
  • Beispiel: Ein 3B-Modell mit 1T Token (1,8 × 10²² FLOPs) schlägt ein 1,2B-Modell (LFM-2.5), das mit 28T Token (1,9 × 10²³ FLOPs) trainiert wurde.
• Skalierbarkeit: Diese Prinzipien gelten auch für Frontier-Modelle. Das 400B-Parameter-Modell „Trinity Large", das auf diesem kuratierten Korpus trainiert wurde, zeigt außergewöhnlich starke mehrsprachige Leistung im Verhältnis zu seinen FLOPs.

---

4. Signifikanz und Fazit

Das Paper widerlegt die Annahme, dass der „Fluch der Mehrsprachigkeit" ein unvermeidbares Kapazitätsproblem sei. Stattdessen zeigt es, dass es sich um ein Datenqualitätsproblem handelt.

• Paradigmenwechsel: Anstatt Modelle nur größer zu machen, um mehr Sprachen zu unterstützen, ermöglicht eine gezielte, sprachbewusste Datenkuratierung eine effiziente Skalierung.
• Pareto-Frontier: Die Arbeit definiert eine neue Grenze für das Verhältnis von Rechenleistung zu Leistung (Compute-Performance Trade-off). Modelle können mit deutlich weniger Ressourcen mehrsprachig kompetent sein, wenn die Datenqualität stimmt.
• Zukunftsausblick: Die Ergebnisse unterstreichen die Notwendigkeit von maßgeschneiderten Kuratierungs-Pipelines für jede Sprache und zeigen, dass Übersetzungen nur dann effektiv sind, wenn sie auf hochwertigen Quellen basieren. Dies ebnet den Weg für inklusivere, leistungsfähigere und ressourceneffiziente Foundation Models.

Zusammenfassend demonstriert das Paper, dass zielgerichtete Datenkuratierung der Schlüssel zur Überwindung von Interferenzen und zur Ermöglichung einer effizienten mehrsprachigen Skalierung ist.