NorBERTo: A ModernBERT Model Trained for Portuguese with 331 Billion Tokens Corpus

1. Probleemstelling

Ondanks de vooruitgang in Natural Language Processing (NLP) voor het Portugees, staat het veld voor twee kritieke knelpunten in vergelijking met het Engels:

• Tekort aan data: Bestaande monolinguale Portugese corpora (bijv. brWaC met ~2,68 miljard tokens, Aroeira met ~15 miljard tokens) zijn aanzienlijk kleiner dan die welke worden gebruikt voor Engelse modellen, wat de schaal en prestaties van voorgetrainde modellen beperkt.
• Architecturale achterstand: De meeste Portugese modellen vertrouwen op oudere BERT-architecturen. Hoewel moderne architecturen zoals ModernBERT (met Rotatoire Positionele Embeddings, ondersteuning voor lange context en efficiënte attentiemechanismen) superieure efficiëntie en nauwkeurigheid hebben aangetoond in het Engels, zijn ze niet volledig geadopteerd of getraind op enorme, hoogwaardige Portugese datasets.
• LLM-beperkingen: Hoewel Large Language Models (LLM's) generatieve capaciteiten bieden, kampen ze met hoge rekenkosten, latentie, privacyzorgen en risico's op hallucinaties. Er is behoefte aan "juist-grootte", efficiënte encoder-only modellen voor discriminatieve taken (classificatie, retrieval, entailment) die niet de overhead van generatieve LLM's vereisen.

2. Methodologie

A. Corpusconstructie: Aurora-PT

De auteurs creëerden Aurora-PT, een nieuw monolinguale Braziliaans-Portugese corpus, dat momenteel de grootste openbaar beschikbare bron van zijn soort is.

• Schaal: Bevat 331 miljard tokens (met GPT-2-tokenisatie) en ongeveer 226 miljard tokens met een aangepaste tokenizer.
• Databronnen: Geaggregeerd uit negen diverse bronnen, waaronder Common Crawl-subsets (CC100, mOSCAR, mC4), Wikipedia, FineWeb v2, Aroeira, en gespecialiseerde datasets zoals Blogset-br en HPLT 2.0.
• Preprocessing-pijplijn: Geïnspireerd door FineWeb v1, omvatte de pijplijn:
  • Taalfiltering: Met GlotLID (drempelwaarde 0,799).
  • Deduplicatie: MinHash met 112 hashes over 14 buckets.
  • Kwaliteitsfiltering: Verwijdering van content van lage kwaliteit (bijv. regels met <3 woorden, codefragmenten zoals "Javascript", "lorem ipsum", en documenten met slechte leestekens of karaktersverdeling).
  • Resultaat: Een schoon, gededupliceerd corpus van ~700 miljoen documenten (2,2 TB).

B. Modelarchitectuur: NorBERTo

De auteurs trainden NorBERTo, een ModernBERT-stijl encoder op maat gemaakt voor het Portugees, vanaf nul getraind op Aurora-PT.

• Architectuurkenmerken:
  • Rotatoire Positionele Embeddings (RoPE): Maakt betere extrapolatie naar langere contexten mogelijk.
  • Hybride attentie: Wisselt af tussen globale attentie (1e laag en elke 3e laag) en lokale attentie (vaste venster) om de efficiëntie voor lange sequenties te optimaliseren.
  • Optimalisaties: Sequencing-packing, unpadding tijdens training, bias-vrije lineaire projecties en Gated Linear Units (GeGLU).
• Configuraties:
  • NorBERTo-base: ~150M parameters, 22 lagen, verborgen grootte 768.
  • NorBERTo-large: ~395M parameters, 28 lagen, verborgen grootte 1.024.

3. Belangrijkste Bijdragen

1. Aurora-PT: De release van het grootste open monolinguale Portugese corpus (331B tokens), dat vorige bronnen zoals Aroeira en GigaVerbo overtreft.
2. NorBERTo: De eerste ModernBERT-gebaseerde encoder voor het Portugees, vanaf nul getraind, met ondersteuning voor lange context en moderne efficiëntie.
3. Uitgebreide Benchmarking: Een systematische evaluatie van NorBERTo tegen state-of-the-art baselines (BERTimbau, Albertina, XLM-RoBERTa) op gestandaardiseerde Portugese benchmarks (ASSIN 2, PLUE).
4. Advocatie voor "Juist-Grootte" AI: Aantonen dat compacte, gespecialiseerde encoders betere prestaties kunnen leveren dan grotere, oudere modellen en een efficiënter alternatief bieden voor LLM's voor specifieke NLP-taken.

4. Resultaten

De modellen werden geëvalueerd op ASSIN 2 (Semantische Similariteit en Tekstuele Entailment) en PLUE (Portuguese Language Understanding Evaluation, een Portugese aanpassing van GLUE).

A. Perplexiteit

NorBERTo bereikte de laagste perplexiteit (20.437,97) op Braziliaans-Portugese corpora, wat aanzienlijk beter presteerde dan baselines zoals brWaC (107.721) en Aroeira (306.549), wat wijst op superieure taalmodellering capaciteiten.

B. PLUE Benchmark (Classificatie & Inference)

NorBERTo-large vestigde nieuwe state-of-the-art (SOTA) resultaten over alle geëvalueerde taken:

• MRPC (Paraphrase Detection): 0,9191 F1 (overtreffend BERTimbau-large met +3,2 punten).
• RTE (Recognizing Textual Entailment): 0,7689 Nauwkeurigheid (overtreffend BERTimbau-large met +1,4 punten).
• WNLI (Coreferentie): 0,5774 F1 (hoogste onder alle modellen).
• Opmerking: Het base-model presteerde ook beter dan grotere legacy-modellen (bijv. BERTimbau-large) op MRPC.

C. ASSIN 2 Benchmark

• Tekstuele Entailment: NorBERTo-large (sequentie-classificatie) behaalde de hoogste F1-score van ~0,904, surpasserend BERTimbau-large (0,881) en Albertina.
• Semantische Similariteit: NorBERTo bleef licht achter op BERTimbau-large (Pearson-correlatie 0,766 vs. 0,852). De auteurs schrijven dit toe aan het feit dat BERTimbau profiteerde van voortgezette pre-training op Engels-geïnitialiseerde checkpoints, wat helpt bij het overdragen van syntactische/semantische kennis, terwijl NorBERTo vanaf nul werd getraind.

5. Betekenis en Toekomstig Werk

• Efficiëntie vs. Prestatie: Het artikel bewijst dat het combineren van moderne architecturen (ModernBERT) met massieve monolinguale data (Aurora-PT) het mogelijk maakt dat modellen van middelgrote omvang (150M–400M parameters) de prestaties van oudere, grotere modellen (900M parameters) evenaren of overtreffen en concurreren met LLM's in discriminatieve taken.
• Implementatiehaalbaarheid: NorBERTo is ontworpen voor realistische implementatie: het is efficiënt om te serveren, makkelijk te fine-tunen en geschikt als ruggengraat voor Retrieval-Augmented Generation (RAG) systemen.
• Beperkingen: De auteurs erkennen dat het aantal trainingstokens (226B) kleiner is dan de biljoenen die worden gebruikt voor de originele Engelse ModernBERT, wat de generalisatie op zeldzame taalkundige patronen of brede feitelijke kennis kan beperken.
• Toekomstige Richtingen: Plannen omvatten het schalen van NorBERTo naar 1–2B parameters, het verkennen van contrastief leren voor similariteitstaken, en het trainen van decoder-only en encoder-decoder modellen op Aurora-PT.

Concluderend vertegenwoordigt NorBERTo een significante sprong voorwaarts voor Portugese NLP, en biedt een robuuste, moderne en open basis voor het bouwen van efficiënte, hoogpresterende taalsystemen zonder te vertrouwen op de verbodsdrempelkosten van algemene LLM's.