moBERTo: A Modern Encoder for Portuguese via Continued Pretraining of ModernBERT

Sintesi Tecnica: moBERTo

Problematica
Sebbene i modelli transformer encoder-only rimangano essenziali nelle pipeline NLP di produzione grazie al loro favorevole compromesso tra prestazioni, latenza e costi computazionali, il panorama NLP portoghese manca di un encoder moderno ed efficiente. Il modello monolingue dominante, BERTimbau, si basa sull'architettura originale di BERT, ereditando limitazioni quali una finestra di contesto di 512 token e l'uso di embedding posizionali assoluti. Sebbene esistano modelli multilingue, questi tipicamente offrono prestazioni inferiori rispetto ai modelli dedicati monolingue nei benchmark specifici per la lingua. Inoltre, recenti progressi architettonici negli encoder inglesi — come gli Rotary Positional Embeddings (RoPE), l'attenzione locale-globale alternata, la Flash Attention e l'unpadding delle sequenze introdotti da ModernBERT — non sono stati efficacementamente adattati per il portoghese.

Metodologia
Gli autori introducono moBERTo, un adattamento in lingua portoghese dell'architettura ModernBERT-base. L'approccio si concentra sul pretraining continuato piuttosto che sull'addestramento da zero, per sfruttare le rappresentazioni esistenti.

• Curatela dei Dati: Il modello è addestrato su un corpus curato di circa 12 miliardi di token (5 epoche su 60 miliardi di token totali) estratti da FineWeb2. I dati sono stati filtrati utilizzando classificatori educativi e STEM da ClassiCC-PT per garantire contenuti di alta qualità.
• Preservazione dell'Architettura: L'architettura originale di ModernBERT-base (149M di parametri) è preservata, inclusi RoPE, l'attenzione locale-globale alternata, Flash Attention e l'unpadding. I parametri di frequenza RoPE (160k globali, 10k locali) mantengono i valori originali.
• Strategia di Addestramento:
  • Fase 1 (Pretraining Continuato): Il modello subisce un pretraining continuato sul corpus portoghese di 60 miliardi di token con una lunghezza di sequenza di 1.024 token utilizzando il Masked Language Modeling (MLM) con un tasso di masking del 30%.
  • Fase 2 (Post-training per Lungo Contesto): Una fase opzionale prevede un ulteriore addestramento di 10 miliardi di token con una lunghezza di sequenza di 8.192 token per potenziare esplicitamente le capacità di lungo contesto.
• Varianti di Adattamento: Diversi modelli sono stati addestrati per isolare fattori specifici:
  • Adattamento del Tokenizer: Alcune varianti utilizzano un tokenizer specifico per il portoghese. Per affrontare il disallineamento che ciò causa con lo spazio di embedding originale, viene impiegato un approccio di trasferimento Subword-Matching (SWM), in cui i nuovi embedding dei token vengono ricostruiti combinando gli embedding originali dei loro subword costituenti.
  • Inizializzazione: Gli studi di ablazione confrontano il pretraining continuato con l'addestramento da zero (inizializzazione casuale).

Contributi Chiave

1. Rilascio di moBERTo: Il primo adattamento in portoghese dell'architettura ModernBERT, che porta il design moderno degli encoder (RoPE, attenzione alternata, ecc.) nell'ecosistema NLP portoghese.
2. Valutazione Esaustiva: Una valutazione rigorosa attraverso cinque famiglie di task: Information Retrieval (IR), Long-Context Retrieval, Document Classification, Named Entity Recognition (NER) e Natural Language Understanding (NLU).
3. Studi di Ablazione: Analisi sistematica dell'impatto del pretraining continuato rispetto all'addestramento da zero, dell'adattamento del tokenizer, del trasferimento degli embedding tramite SWM e del post-training per lungo contesto.
4. Risorse Open: Rilascio pubblico dei pesi del modello e del dataset di pretraining curato su Hugging Face.

Risultati

• Information Retrieval: La variante migliore, moBERTo-SWM-8k (che combina il tokenizer portoghese, SWM e il post-training per lungo contesto), ha ottenuto il valore più alto di nDCG@10 medio per il reranking (0.5255) su tre benchmark portoghesi (QUATI, mMARCO-PT, Robust04-PT), superando lo stato dell'arte precedente, BERTimbau (0.4671).
• Long-Context Retrieval: Sorprendentemente, moBERTo (tokenizer originale) ha ottenuto i risultati migliori sul benchmark MLDR a 8.192 token (0.6166), nonostante sia stato addestrato esclusivamente a 1.024 token. Ciò suggerisce che le capacità di lungo contesto derivanti dal pretraining inglese originale si trasferiscono efficacemente senza un addestramento dedicato per il lungo contesto in portoghese. Tuttavia, l'adattamento del tokenizer (senza SWM) ha degradato significativamente le prestazioni di lungo contesto.
• Task a livello di Token (NER & NLU): Le varianti che utilizzano il tokenizer portoghese con trasferimento SWM (moBERTo-SWM e moBERTo-SWM-8k) hanno superato costantemente le varianti con il tokenizer originale nei compiti di NER (LeNER-Br) e NLU (PLUE-PT), indicando che la tokenizzazione specifica della lingua beneficia questi task.
• Classificazione: I guadagni di prestazione sono stati marginali nei compiti di classificazione, con molti modelli che hanno raggiunto la saturazione.
• Ritenzione della Lingua: Il pretraining continuato sul portoghese ha causato un degrado delle prestazioni in inglese (benchmark GLUE), con le varianti SWM che hanno mostrato la diminuzione maggiore a causa del nuovo tokenizer.

Significatività e Claim
Il paper sostiene che moBERTo colma con successo il divario tra le moderne architetture di encoder e l'NLP in portoghese. Gli autori enfatizzano quattro scoperte chiave derivate dai loro studi di ablazione:

1. Il pretraining continuato è superiore all'addestramento da zero, in particolare per preservare le capacità di lungo contesto ereditate dal modello base.
2. L'adattamento del tokenizer migliora i task a livello di token (NER, NLU) ma degrada il recupero di lungo contesto a causa del disallineamento posizionale.
3. Il trasferimento degli embedding tramite Subword-Matching (SWM) mitiga efficacemente il degrado del lungo contesto causato dai cambiamenti del tokenizer, migliorando al contempo le prestazioni di reranking e NER.
4. Le architetture solo-encoder rimangono competitive con le alternative decoder-only più grandi per i task discriminativi, offrendo una soluzione più efficiente per le pipeline di produzione.

Il lavoro dimostra che modernizzare il paradigma degli encoder per il portoghese è fattibile e vantaggioso, fornendo un nuovo baseline per la ricerca futura e le applicazioni nella regione.