moBERTo: A Modern Encoder for Portuguese via Continued Pretraining of ModernBERT

Technische Samenvatting: moBERTo

Probleemstelling
Hoewel encoder-only transformer-modellen essentieel blijven voor productie-NLP-pipelines vanwege hun gunstige afweging tussen prestaties, latentie en computationele kosten, mist het Portugese NLP-landschap een moderne, efficiënte encoder. Het dominante monolinguale model, BERTimbau, leunt op de oorspronkelijke BERT-architectuur, die beperkingen overneemt zoals een contextvenster van 512 tokens en absolute positionele embeddings. Hoewel er meertalige modellen bestaan, presteren deze doorgaans minder goed dan toegewijde monolinguale modellen op taalspecifieke benchmarks. Bovendien zijn recente architecturale verbeteringen in Engelse encoders — zoals Rotary Positional Embeddings (RoPE), alternerende lokale-globale aandacht, Flash Attention en sequence unpadding geïntroduceerd door ModernBERT — nog niet effectief aangepast voor het Portugees.

Methodologie
De auteurs introduceren moBERTo, een Portugese adaptatie van de ModernBERT-base architectuur. De aanpak richt zich op continued pretraining in plaats van training vanaf nul om bestaande representaties te benutten.

• Data Curatie: Het model wordt getraind op een gecureerde corpus van ongeveer 12 miljard tokens (5 epochs over 60 miljard totale tokens) geëxtraheerd uit FineWeb2. De data werd gefilterd met behulp van educatieve en STEM-classifiers van ClassiCC-PT om hoogwaardige inhoud te waarborgen.
• Architecturale Preservatie: De originele ModernBERT-base architectuur (149M parameters) blijft behouden, inclusief RoPE, alternerende lokale-globale aandacht, Flash Attention en unpadding. De RoPE-frequentieparameters (160k globaal, 10k lokaal) behouden hun oorspronkelijke waarden.
• Trainingsstrategie:
  • Fase 1 (Continued Pretraining): Het model ondergaat continued pretraining op de 60B-token Portugese corpus met een sequentielengte van 1.024 tokens met behulp van Masked Language Modeling (MLM) met een maskeerpercentage van 30%.
  • Fase 2 (Long-Context Post-training): Een optionele fase omvat een extra 10 miljard tokens bij een sequentielengte van 8.192 tokens om expliciet de long-context capaciteiten te verbeteren.
• Adaptatievarianten: Verschillende modelvarianten werden getraind om specifieke factoren te isoleren:
  • Tokenizer Adaptatie: Sommige varianten gebruiken een Portugees-specifieke tokenizer. Om de mismatch die dit veroorzaakt met de oorspronkelijke embedding-ruimte aan te pakken, wordt een Subword-Matching (SWM) transfermethode toegepast, waarbij nieuwe token-embeddings worden gereconstrueerd door de oorspronkelijke embeddings van hun constituerende subwords te combineren.
  • Initialisatie: Ablatie-studies vergelijken continued pretraining met training vanaf nul (random initialisatie).

Belangrijkste Bijdragen

1. moBERTo Release: De eerste Portugese adaptatie van de ModernBERT-architectuur, die modern encoder-ontwerp (RoPE, alternerende aandacht, etc.) naar het Portugese NLP-ecosysteem brengt.
2. Uitgebreide Evaluatie: Een rigoureuze evaluatie over vijf taakfamilies: Information Retrieval (IR), Long-Context Retrieval, Document Classification, Named Entity Recognition (NER) en Natural Language Understanding (NLU).
3. Ablatie-studies: Systematische analyse van de impact van continued pretraining versus training vanaf nul, tokenizer-adaptatie, SWM-embedding transfer, en long-context post-training.
4. Open Bronnen: Publieke release van modelgewichten en de gecureerde pretraining-dataset op Hugging Face.

Resultaten

• Information Retrieval: De beste variant, moBERTo-SWM-8k (combinatie van Portugese tokenizer, SWM en long-context post-training), behaalde de hoogste gemiddelde reranking nDCG@10 (0.5255) over drie Portugese benchmarks (QUATI, mMARCO-PT, Robust04-PT), waarmee het de vorige state-of-the-art BERTimbau (0.4671) overtrof.
• Long-Context Retrieval: Opmerkelijk genoeg behaalde moBERTo (orig. tok.) de sterkste resultaten op de MLDR-benchmark bij 8.192 tokens (0.6166), ondanks dat het uitsluitend getraind is bij 1.024 tokens. Dit suggereert dat long-context capaciteiten van de oorspronkelijke Engelse pretraining effectief overdragen zonder specifieke long-context training in het Portugees. Echter, tokenizer-adaptatie (zonder SWM) degradeerde de long-context prestaties aanzienlijk.
• Token-Level Taken (NER & NLU): Varianten die de Portugese tokenizer met SWM-transfer gebruiken (moBERTo-SWM en moBERTo-SWM-8k) presteerden consistent beter dan de varianten met de oorspronkelijke tokenizer op NER (LeNER-Br) en NLU (PLUE-PT), wat aangeeft dat taalspecifieke tokenisatie voordelen biedt voor deze taken.
• Classificatie: De prestatiewinsten waren marginaal bij classificatietaken, waarbij veel modellen verzadiging bereikten.
• Taalbehoud: Continued pretraining op het Portugees resulteerde in een degradatie van de Engelse prestaties (GLUE benchmark), waarbij SWM-varianten de grootste afname vertoonden door de nieuwe tokenizer.

Significantie en Claims
Het artikel claimt dat moBERTo er succesvol in is geslaagd de kloof tussen moderne encoder-architecturen en het Portugese NLP te overbruggen. De auteurs benadrukken vier belangrijke bevindingen afgeleid van hun ablatie-studies:

1. Continued pretraining is superieur aan training vanaf nul, met name voor het behoud van de long-context capaciteiten die geërfd zijn van het basismodel.
2. Tokenizer-adaptatie verbetert token-level taken (NER, NLU) maar degradeert long-context retrieval door positionele mismatch.
3. Subword-Matching (SWM) embedding transfer mitigeert effectief de long-context degradatie veroorzaakt door tokenizer-wijzigingen, terwijl het ook de reranking en NER-prestaties verbetert.
4. Encoder-only architecturen blijven competitief met grotere decoder-only alternatieven voor discriminatieve taken, wat een efficiëntere oplossing biedt voor productie-pipelines.

Het werk demonstreert dat het moderniseren van het encoder-paradigma voor het Portugees haalbaar en voordelig is, en biedt een nieuw baseline voor toekomstig onderzoek en toepassingen in de regio.