Sintesi Tecnica: EuroBERT: Scalare gli Encoder Multilingue per le Lingue Europee

Problema

Le rappresentazioni vettoriali multilingue general-purpose sono fondamentali per i compiti di Elaborazione del Linguaggio Naturale (NLP) come il recupero delle informazioni, la classificazione e la regressione. Tradizionalmente, queste rappresentazioni derivano da modelli encoder bidirezionali (ad es., BERT, XLM-RoBERTa). Tuttavia, il recente progresso della ricerca ha favorito pesantemente i modelli generativi unidirezionali, esclusivamente decoder (decoder-only). Sebbene i modelli decoder abbiano guidato progressi significanti in termini di architettura, qualità dei dati e scala, queste innovazioni non sono state sistematicamente trasferite agli encoder bidirezionali. Di conseguenza, i professionisti si affidano spesso a modelli encoder obsoleti che mancano dei benefici prestazionali delle moderne ricette di addestramento, nonostante non vi sia un barriera architettonica intrinseca nell'applicare tali avanzamenti agli encoder.

Metodologia

Gli autori introducono EuroBERT, una famiglia di encoder multilingue progettati per rivisitare lo sviluppo degli encoder attraverso la lente dei recenti progressi dei decoder. La metodologia comprende tre componenti principali:

1. Architettura

I modelli EuroBERT (disponibili nelle dimensioni di 210M, 610M e 2.1B di parametri) adottano un'architettura standard di transformer densi ma incorporano specifiche modernizzazioni ispirate a Llama 2 e Llama 3:

• Rimozione dei bias: Tutti i bias sono stati rimossi dall'architettura.
• Meccanismi di Attenzione: Implementazione della Grouped Query Attention (GQA).
• Funzioni di Attivazione: Utilizzo di Swish Gated Linear Units (SwiGLU).
• Normalizzazione: Root Mean Square (RMS) Layer Normalization.
• Embedding Posizionali: Rotary Position Embeddings (RoPE).
• Lunghezza del Contesto: Supporto nativo per sequenze fino a 8.192 token.

2. Costruzione del Dataset

I modelli sono addestrati su un corpus multilingue di 5 trilioni di token, composto da:

• Lingue: 15 lingue, incluse le principali lingue europee (inglese, francese, tedesco, spagnolo, italiano, portoghese, polacco, olandese, russo, turco) e lingue globali ampiamente parlate (cinese, giapponese, vietnamita, arabo, hindi).
• Domini: Il corpus include testo generale (FineWeb, CulturaX), dati di traduzione parallela (EuroLLM) e domini specializzati: Codice (38 linguaggi di programmazione da The Stack v2) e Matematica (Proof-Pile-2, Open-Web-Math).
• Strategia di Addestramento: Una pipeline in due fasi che consiste in Pre-training (4.8T di token) e Annealing (200B di token). La fase di annealing regola la distribuzione dei dati per enfatizzare i dataset di qualità superiore e specifici bilanciamenti di dominio.

3. Ricetta di Addestramento

• Obiettivo: Masked Language Modeling (MLM).
• Rapporti di Masking: Viene utilizzato un approccio dinamico. Il pre-training impiega un rapporto di masking del 50% (basato sulle scoperte che rapporti più elevati beneficiano i modelli più grandi), mentre la fase di annealing lo riduce al 10% per ottimizzare le prestazioni a valle.
• Apprendimento Curriculum (Curriculum Learning): Durante l'annealing, la distribuzione dei dati viene calibrata. Gli autori hanno scoperto che riducendo la proporzione di inglese (al 26%) e aumentando proporzionalmente le altre lingue, e mescolando i bucket di qualità (specificamente i livelli 3 e 4 invece di utilizzare solo i più alti), si ottengono risultati migliori.
• Addestramento a Lunghezza Variabile: Per gestire documenti pre-elaborati a lunghezza fissa, gli autori utilizzano il random cropping di sequenze fino a 8.192 token durante l'annealing, il quale si è dimostrato superiore rispetto all'addestramento su lunghezze fisse.
• Infrastruttura: L'addestramento è stato condotto sul supercomputer Adastra utilizzando GPU MI250X e MI300A, utilizzando FlashAttention, cross-entropy fusa e sharding ibrido.

Contributi Chiave

1. Famiglia EuroBERT: Rilascio di tre modelli encoder multilingue (210M, 610M, 2.1B) che superano le alternative esistenti in una vasta gamma di compiti.
2. Ricetta di Addestramento Revisionata: Dimostrazione che le prestazioni degli encoder possono essere significativamente migliorate adottando gli insight dell'era dei decoder, specificamente riguardo agli alti rapporti di masking nel pre-training, ai rapporti più bassi nell'annealing e all'inclusione di dati di codice e matematica.
3. Valutazione Esaustiva: Benchmarking esteso attraverso compiti di recupero multilingue, classificazione, regressione, codice e matematica, mostrando che i modelli EuroBERT eguagliano o superano baseline più grandi (ad es., XLM-RoBERTa-3.5B) pur essendo significativamente più piccoli.
4. Rilascio Open: Rilascio pubblico dei modelli, dei checkpoint intermedi e del framework di addestramento per facilitare la ricerca futura.

Risultati

La famiglia EuroBERT dimostra prestazioni state-of-the-art o competitive in una vasta gamma di benchmark:

• Recupero Multilingue: I modelli EuroBERT raggiungono prestazioni di vertice su MIRACL, MLDR, Wikipedia e CC-News. Notevolmente, i modelli da 210M e 610M superano tutte le baseline di dimensioni simili e competono con lo XLM-RoBERTa-3.5B.
• Classificazione e Regressione: I modelli operano al pari o meglio delle alternative di dimensioni simili su XNLI, PAWS-X, AmazonReviews e MassiveIntent. Mostrano inoltre risultati solidi nella regressione di sequenze (WMT, SeaHorse).
• Codice e Matematica: I modelli EuroBERT superano significativamente tutte le baseline (incluso l'inglese-only ModernBERT) nel recupero del codice (CodeSearchNet, DupStackMath) e nei compiti matematici (MathFormula, MathShepherd). L'inclusione di dati di codice e matematica durante l'addestramento è stata fondamentale per migliorare le capacità di recupero.
• Lungo Contesto: A differenza di XLM-RoBERTa, che degrada su input più lunghi, EuroBERT mantiene le prestazioni per lunghezze di contesto fino a 8.192 token.
• Classificazione di Token (NER): Sebbene EuroBERT sia leggermente indietro rispetto a XLM-RoBERTa nel NER, gli autori attribuiscono ciò alla fertilità del tokenizer (dimensione del vocabolario) piuttosto che alla capacità del modello, notando che le prestazioni si equivalgono quando le entità vengono suddivise in un numero simile di token.

Significato e Rivendicazioni

Il paper sostiene che la famiglia EuroBERT rappresenti una "ricetta aggiornata" per l'addestramento di encoder general-purpose multilingue. Gli autori sottolineano che:

• Scala e Architettura Contano: Aumentare la capacità del modello e adottare componenti architettoniche moderne (GQA, RoPE, SwiGLU) mitiga efficacemente la "maledizione della multilinguità".
• La Composizione dei Dati è Critica: L'inclusione di dati di codice e matematica migliora il recupero multilingue, mentre una distribuzione linguistica bilanciata (riducendo la dominanza dell'inglese) potenzia le prestazioni complessive.
• Dinamiche di Addestramento: La combinazione specifica di alti rapporti di masking durante il pre-training e rapporti più bassi durante l'annealing, insieme all'addestramento a lunghezza variabile tramite random cropping, è cruciale per ottimizzare sia i compiti di recupero che quelli di classificazione.
• Utilità Pratica: I modelli forniscono un'alternativa ad alte prestazioni e sostenibile per applicazioni encoder nel mondo reale, offrendo supporto nativo per il lungo contesto e prestazioni superiori in domini specializzati come codice e matematica, il tutto essendo più efficienti in termini di parametri rispetto ai precedenti encoder state-of-the-art.

Gli autori concludono che il loro lavoro colma il divario tra i recenti progressi dei decoder e l'utilità degli encoder, fornendo una base robusta per le rappresentazioni vettoriali multilingue in compiti di recupero, classificazione e regressione.