HPLT 3.0: Very Large-Scale Multilingual Resources for LLMs and MT. Mono- and Bi-lingual Data, Multilingual Evaluation, and Pre-Trained Models

Probleemstelling

De huidige ontwikkeling van Large Language Models (LLMs) en Machine Translation (MT) systemen wordt gedomineerd door grote, vaak commerciële initiatieven (zoals C4, FineWeb, MADLAD-400) die zich sterk richten op het Engels. Hoewel er enorme web-crawl datasets beschikbaar zijn, ontbreekt het vaak aan:

1. Grootte en diversiteit: Open, zeer grote datasets voor bijna 200 talen, waarbij minderheidstalen (low-resource languages) ondervertegenwoordigd zijn.
2. Kwaliteit en transparantie: Een volledig open-source pipeline voor het verwerken van ruwe webdata tot hoogwaardige trainingsdata, inclusief gedetailleerde annotaties en filtering.
3. Evaluatie: Robuuste, native benchmarks voor multilinguale evaluatie die prompt-sensitiviteit mitigeren en specifieke taalbehoeften adresseren.

Het doel van HPLT 3.0 is om deze kloof te dichten door een "democratisering" van de LLM-landschap te bewerkstelligen via open, transparante en zeer schaalbare resources.

Methodologie

Het project bouwt voort op de open-source pipeline van het HPLT-consortium (HPLT 2.0) en past deze aan voor een veel grotere schaal (7,2 petabyte aan webarchieven). De methodologie omvat de volgende kernstappen:

1. Data Verzameling:

   • Combinatie van "wide crawls" van het Internet Archive (IA, 2012–2020) en een uitgebreide set van Common Crawl (CC, 2014–2025) snapshots.
   • Totale ruwe data: ca. 7,2 petabyte.

2. Data Preparatie Pipeline (Monolingual):

   • Extractie: Gebruik van Trafilatura met geoptimaliseerde hyperparameters voor kwaliteit boven snelheid.
   • Taalidentificatie: Gebruik van OpenLID-v2, aangepast aan de Flores+ evaluatiestandaard, met een taal-onafhankelijke pre-processing (normalisatie van whitespace, lowercasing).
   • Deduplicatie: Implementatie van MinHash-gebaseerde globale near-deduplicatie voor alle talen (behalve Engels, Russisch en Chinees omwille van rekenefficiëntie), wat zorgt voor een hogere diversiteit dan eerdere versies.
   • Annotatie en Filtering:
     • Web Docs Scorer (WDS): Een geïntegreerd systeem voor documentkwaliteitsschatting op basis van lengte, "oddity" signalen en taalverdeling.
     • Register Classificatie: Annotatie van tekstregisters (bijv. nieuws, blog, wetenschappelijk) voor 104 talen.
     • PII en Content Filtering: Detectie van persoonsgegevens (PII) en filtering van volwassen content en artefacten.
   • Verpakking: Data wordt opgeslagen in gecomprimeerde JSONlines (Zstandard), gesorteerd per WDS-kwaliteitsniveau.

3. Multilinguale Evaluatie Framework (HPLT-e):

   • Ontwikkeling van een framework met 127 taken voor 9 Europese talen.
   • Prompt-mitigatie: Gebruik van 500+ verschillende prompts per taak om prompt-sensitiviteit te verminderen.
   • Selectiecriteria: Taken worden geselecteerd op basis van monotonie (prestaties verbeteren tijdens training), stabiliteit en lage ruis.
   • Aggregatie: Scores worden genormaliseerd en geaggregeerd via gemiddelden en Borda-counts.

4. Model Training:

   • Monolingual Encoders: Training van ~60 GPT-BERT modellen (encoder-only) op diverse talenfamilies.
   • Monolingual Encoder-Decoders: Training van 57 T5-achtige modellen (encoder-decoder) voor specifieke talen.
   • Parallelle Data: Mining van parallelle zinnen en documenten uit de monolinguele data met Bitextor, inclusief document-level alignering.
   • Synthetische Data: Generatie van synthetische trainingsdata voor ondervertegenwoordigde talen door hoogwaardig Engels (FineWeb-Edu, Nemotron-CC) te vertalen naar 36 talen.

Kernbijdragen

1. HPLT 3.0 Dataset: De grootste algemeen beschikbare multilinguale verzameling voor LLM-pretraining, bestaande uit 30 biljoen subword-tokens voor bijna 200 talen-schriftcombinaties. Ongeveer de helft is niet-Engels.
2. Open Source Pipeline: Volledige transparantie van de data-verwerkingspipeline, inclusief tools voor extractie, taalidentificatie, deduplicatie en annotatie.
3. HPLT-e Evaluatie Framework: Een nieuw, robuust framework voor multilinguale evaluatie dat prompt-sensitiviteit adresseert en native benchmarks biedt.
4. Model Familie: Publicatie van bijna 60 monolinguale encoder-modellen en 57 encoder-decoder modellen, plus een reeks GPT-achtige referentiemodellen.
5. Parallelle en Synthetische Resources: Een collectie van parallelle data (document- en zinsniveau) voor 28 taalparen en synthetische data voor data-augmentatie.

Resultaten

• Dataset Statistieken: HPLT 3.0 is 2-3 keer groter dan FineWeb en HPLT 2.0 (in tokens) en 5 keer groter dan MADLAD-400 voor de multilinguale verdeling. De dataset toont een hogere diversiteit aan unieke segmenten (73% vs 52% in HPLT 2.0) door globale deduplicatie.
• Model Prestaties (Evaluatie):
  • Modellen getraind op HPLT 3.0 presteren beter dan die op FineWeb en HPLT 2.0, en zijn vergelijkbaar met of net onder de prestaties van modellen getraind op MADLAD-400 (die echter ouder en kleiner is).
  • Kwaliteitssampling: Training op data met hoge WDS-scores (kwaliteit) leidt tot betere modelprestaties dan willekeurige sampling.
• Encoder-Decoder Modellen: De HPLT 3.0 T5-modellen presteren over het algemeen beter dan het multilinguale mT5-base model op taken zoals Named Entity Recognition (NER) en taalkundige competentie (MultiBLIMP), en verslaan zelfs mT5-xxl op MultiBLIMP voor veel talen.
• Machine Translation: De gegenereerde parallelle data levert directe verbeteringen op voor NMT-modellen, met hoge BLEU- en COMET-scores op de FLORES200 benchmark, zonder extra data-augmentatietechnieken.

Betekenis en Impact

HPLT 3.0 is een mijlpaal in de poging om de LLM-ontwikkeling te democratiseren.

• Democratisering: Het biedt onderzoekers en ontwikkelaars buiten de grote tech-bedrijven toegang tot data en modellen van wereldklasse voor een breed scala aan talen, inclusief veel minderheidstalen.
• Transparantie en Ethiek: Door de volledige pipeline openbaar te maken en strikte filtering toe te passen (robots.txt, PII-detectie, copyright-respect), stelt het een standaard voor ethische data-curatie.
• Toekomstgericht: De dataset en modellen vormen een solide basis voor toekomstig onderzoek naar multilinguale LLMs, document-level vertaling en synthetische data-generatie. Het project plukt reeds de weg voor HPLT 4.0, dat nog grotere datasets en fijnere kwaliteitsannotaties zal bevatten.

Kortom, HPLT 3.0 bewijst dat het mogelijk is om via academische samenwerking en open-source methoden zeer grote, hoogwaardige en ethisch verantwoorde taalresources te creëren die concurreren met commerciële initiatieven.