HPLT 3.0: Very Large-Scale Multilingual Resources for LLMs and MT. Mono- and Bi-lingual Data, Multilingual Evaluation, and Pre-Trained Models

1. Il Problema

L'era dei Large Language Models (LLM) richiede enormi quantità di dati di addestramento di alta qualità. Tuttavia, la maggior parte delle risorse pre-addestrate su larga scala (come C4, FineWeb, MADLAD-400) è dominata dalla lingua inglese e spesso sviluppata da grandi aziende tecnologiche con infrastrutture proprietarie. Esiste un divario significativo per le lingue a risorse limitate (low-resource) e per le comunità linguistiche non anglofone, che mancano di dataset multilingue aperti, trasparenti e di qualità comparabile. Inoltre, la curation dei dati web presenta sfide etiche e legali complesse, tra cui il rispetto del copyright, la rimozione di contenuti personali sensibili (PII) e la gestione dei bias.

2. Metodologia

Il progetto HPLT (High-Performance Language Technologies) ha sviluppato una pipeline open-source aggiornata e scalabile per la preparazione dei dati, applicata a un archivio web massiccio.

• Raccolta Dati: Il dataset si basa su circa 7,2 petabyte di dati grezzi, combinando i "wide crawls" dell'Internet Archive (2012-2020) e 57 snapshot completi di Common Crawl (2014-2025).
• Pipeline di Elaborazione (Monotextor):
  • Estrazione del testo: Utilizzo ottimizzato del framework Trafilatura, con un focus sulla qualità dell'estrazione rispetto alla velocità.
  • Identificazione della lingua: Implementazione di OpenLID-v2, aggiornato per allinearsi al set di valutazione Flores+ e per gestire meglio le ortografie non standard.
  • Deduplicazione: Implementazione di una deduplicazione globale basata su MinHash per quasi tutte le lingue (eccetto inglese, russo e cinese, dove si usa la deduplicazione per raccolta per efficienza), aumentando la diversità del testo.
  • Annotazione e Filtraggio: Utilizzo del Web Docs Scorer (WDS) per valutare la qualità del documento, classificazione del registro (es. narrativo, persuasivo), rilevamento di contenuti per adulti e identificazione di PII (informazioni personali identificabili).
  • Packaging: I dati sono organizzati in bin basati sui punteggi WDS (livelli 5-10) e distribuiti in formato JSONlines compresso con Zstandard.
• Generazione di Dati Sintetici e Paralleli:
  • Mining di dati paralleli: Utilizzo di Bitextor per allineare documenti monolingue in inglese con 28 lingue europee, creando corpus a livello di documento.
  • Dati sintetici: Traduzione automatica di documenti di alta qualità (da FineWeb-Edu e Nemotron-CC) in lingue sottorappresentate per espandere i dati di addestramento.

3. Contributi Chiave

Il paper presenta diverse risorse fondamentali per la comunità NLP:

1. HPLT 3.0 Dataset: Un corpus monolingue di 30 trilioni di token (sub-word), coprendo quasi 200 combinazioni lingua-scrittura. È probabilmente il più grande dataset multilingue generalmente disponibile per il pre-addestramento di LLM, con una quota significativa di lingue non inglesi (circa il 50%).
2. Framework di Valutazione (HPLT-e): Un framework automatizzato per la valutazione su larga scala in 9 lingue europee. Include 127 task (ragionamento, comprensione, ecc.) e oltre 500 prompt per mitigare la sensibilità ai prompt.
3. Modelli Pre-addestrati:
   • Una famiglia di circa 60 modelli monolingue encoder-only (GPT-BERT) e encoder-decoder (T5-like) addestrati su HPLT 3.0.
   • Modelli di riferimento GPT-like monolingue.
4. Risorse Bilingui e Sintetiche:
   • Un corpus parallelo di 1,1 miliardi di coppie di frasi allineate per 28 lingue europee.
   • Un corpus parallelo a livello di documento che copre 406 coppie di lingue.
   • Dataset sintetici tradotti per lingue sottorappresentate (circa 3,3 trilioni di token totali).
5. Trasparenza e Open Source: Tutti i dati, i modelli, la pipeline di elaborazione e gli strumenti di analisi sono pubblicamente disponibili sotto licenze permissive (CC0 per i metadati, con avvertenze legali per il testo estratto).

4. Risultati

• Qualità dei Dati: L'analisi statistica mostra che HPLT 3.0 ha una diversità di segmenti unici superiore al 73% (vs 52% in HPLT 2.0) grazie alla deduplicazione globale. L'ispezione manuale su 23 lingue conferma bassi livelli di contenuti pornografici (<2%) e errori di identificazione della lingua (con alcune eccezioni come il bosniaco e l'asturiano).
• Performance dei Modelli:
  • I modelli pre-addestrati su HPLT 3.0 mostrano prestazioni competitive e superiori rispetto a quelli addestrati su FineWeb e HPLT 2.0.
  • Nel confronto con MADLAD-400, i modelli HPLT 3.0 si posizionano secondi, superando le risorse precedenti, sebbene MADLAD-400 mantenga un punteggio multilingue leggermente più alto in alcune metriche aggregate.
  • I modelli GPT-BERT e T5 addestrati su HPLT 3.0 superano i modelli baselines come mBERT, XLM-R e mT5-base su task come Named Entity Recognition (NER) e competenza linguistica (MultiBLIMP). In particolare, i modelli T5 monolingue su HPLT 3.0 superano mT5-xxl su MultiBLIMP.
• Impatto della Qualità (WDS): Gli esperimenti dimostrano che campionare dati basandosi sui livelli WDS più alti migliora le prestazioni del modello, mentre l'uso di dati a bassa qualità (WDS bassi) porta a risultati inferiori.

5. Significato e Impatto

HPLT 3.0 rappresenta un passo fondamentale verso la democratizzazione dello sviluppo di LLM e sistemi di traduzione automatica (MT).

• Equità Linguistica: Fornisce risorse di scala industriale per lingue che altrimenti non avrebbero accesso a dati di pre-addestramento sufficienti, aiutando a contrastare il dominio dell'inglese.
• Riproducibilità e Trasparenza: A differenza delle iniziative corporate, HPLT offre una documentazione completa della pipeline, permettendo alla comunità accademica di comprendere, replicare e migliorare i processi di curation dei dati.
• Sostenibilità Etica: Il progetto affronta attivamente le questioni etiche attraverso filtri rigorosi per PII, rispetto dei meccanismi robots.txt e una licenza duale che chiarisce la responsabilità dell'utente finale riguardo al copyright.
• Futuro: Il lavoro getta le basi per HPLT 4.0, che includerà il pool completo di documenti prima della deduplicazione (circa 500 TB) e classificatori di qualità più avanzati, permettendo esperimenti contrastivi più granulari.

In sintesi, HPLT 3.0 non è solo un dataset, ma un ecosistema completo di dati, modelli e strumenti che mira a elevare lo stato dell'arte per le lingue europee e non solo, promuovendo un approccio aperto e collaborativo alla ricerca sui LLM.