Technische Samenvatting: Modulaire Monolinguale Adaptatie met Gebruik van Pretrained Language Models

Probleemstelling

De adaptatie van Pretrained Multilingual Language Models (PMLMs) naar laag-resource talen gebeurt doorgaans via volledige model fine-tuning op de doeltaal. Deze aanpak kampt echter met aanzienlijke uitdagingen in laag-resource settings:

1. Overfitting: Het trainen van de volledige parameterruimte, met name de grote embedding-matrices (die ongeveer 25% van de parameters uitmaken), leidt bij beperkte data vaak tot overfitting.
2. Curse of Multilinguality: In modellen met een vaste capaciteit domineren hoog-resource talen de parameterruimte, wat de prestaties voor ondervertegenwoordigde talen kan beperken.
3. Inefficiëntie: Volledige fine-tuning is computationeel duur en vereist aanzienlijke VRAM en trainingstijd.
4. Vocabulaire Mismatch: Het hergebruiken van een meertalige tokenizer voor een onbekende taal kan resulteren in een hoge token-fertiliteit (het opdelen van woorden in veel subwords), wat de computationele kosten verhoogt en de efficiëntie vermindert.

Hoewel technieken zoals Language Adaptive Finetuning (LAFT) en vocabulaire-extensie bestaan, hypothetiseren de auteurs dat volledige model tuning vaak niet noodzakelijk is en dat een meer modulaire aanpak betere resultaten kan opleveren met minder middelen.

Methodologie

De auteurs stellen een Modulair Monolinguaal Adaptatie framework voor dat de tokenizer en embeddings ontkoppelt van de transformer-lagen. De kerncomponenten zijn:

1. Custom Tokenization: Een nieuwe tokenizer wordt specifiek getraind op de corpus van de doeltaal met behulp van het WordPiece-algoritme, waarbij een vocabulaire-omvang van 30k wordt gehandhaafd. Dit vervangt de oorspronkelijke meertalige tokenizer.
2. Embedding Vervanging en Bevriezen:
   • De input- en output-embeddings van de PMLM worden vervangen door een nieuwe matrix die overeenkomt met de custom vocabulaire.
   • Bevriezen: Deze nieuwe embedding-lagen worden bevroren tijdens de training.
   • Initialisatie-strategieën: De auteurs experimenteren met drie methoden om deze nieuwe embeddings te initialiseren:
     • Model-gebaseerd: Het opnieuw tokeniseren van de originele vocabulaire en het middelen van de gewichten van de originele tokens die de nieuwe tokens samenstellen.
     • FastText: Het trainen van statische embeddings op de doel-corpus met behulp van FastText.
     • Random: Willekeurige initialisatie.
3. Selectieve Parameter Training: Alleen de niet-embedding parameters (de Transformer-lagen en de LM Head) worden bijgewerkt met behulp van de standaard Masked Language Modeling (MLM) objectief.
4. Experimentele Opzet:
   • Talen: Schots Gaelic (gd), Iers (ga) en Quechua (qu). Quechua wordt genoteerd als een zeer laag-resource taal met slechts ~8,5k trainingsinstanties.
   • Modellen: BERT, Multilingual BERT (mBERT) en Multilingual ModernBERT (mmBERT).
   • Taken: Mask-filling (MLM), Named Entity Recognition (NER) en Part-of-Speech (POS) tagging.
   • Baselines: Vergeleken met volledige fine-tuning, embedding-only training en Low-Rank Adaptation (LoRA).

Belangrijkste Bijdragen

• Modulair Framework: Een nieuwe adaptatiestrategie die de tokenizer en embeddings vervangt, de embeddings bevriest en alleen de resterende parameters afstemt.
• Uitgebreide Analyse: Een systematische evaluatie van de impact van tokenizers, embedding initialisatie-strategieën en modelarchitecturen (BERT vs. mBERT vs. mmBERT) op monolinguale adaptatie.
• Efficiëntiewinst: Demonstratie dat deze aanpak het aantal trainbare parameters aanzienlijk vermindert (bijv. ~50% reductie voor mBERT) en de trainingstijd verkort, terwijl de prestaties gelijk blijven of verbeteren.

Resultaten

De experimenten leverden de volgende bevindingen op:

1. Non-Embedding Training vs. Full Tuning:

   • Op de MLM (mask-filling) taak presteerde de voorgestelde non-embedding training strategie consistent beter dan volledige fine-tuning over alle talen en modellen. De auteurs schrijven dit toe aan het regulariserende effect van het bevriezen van embeddings, wat voorkomt dat het model overfit op de kleine trainingsset.
   • Op downstream taken (NER en POS) presteerde non-embedding training vergelijkbaar met volledige fine-tuning en significant beter dan embedding-only training. Dit suggereert dat hoewel embeddings belangrijk zijn, de Transformer-lagen voldoende zijn om taakspecifieke contextuele representaties te leren wanneer de embedding-ruimte vaststaat.

2. Impact van Tokenizers:

   • Het gebruik van een custom tokenizer presteerde consequent beter dan het hergebruiken van de meertalige tokenizer. Deze verbetering wordt toegeschreven aan een lagere token-fertiliteit en betere sub-word segmentatie voor de doeltaal.
   • De custom vocabulaire verminderde ook de totale modelgrootte en de trainingsgeheugenvereisten.

3. Embedding Initialisatie:

   • In de non-embedding training setting had de keuze van de embedding initialisatie (Model-gebaseerd, FastText, of Random) een minimale impact op de prestaties. Willekeurig geïnitialiseerde embeddings presteerden bijna even goed als pretrained embeddings, wat suggereert dat de Transformer-lagen effectief kunnen herlijnen naar de nieuwe lexicale ruimte.
   • Daarentegen belemmerden default embeddings onder volledige fine-tuning soms de prestaties, waarschijnlijk omdat het model de irrelevante representaties uit de pretraining data moest "ontleren".

4. Model Architectuur:

   • Meertalige modellen (mBERT, mmBERT) presteerden over het algemeen beter dan monolinguale BERT en willekeurig geïnitialiseerde transformers, wat duidt op effectieve cross-linguale kennisoverdracht, zelfs wanneer de doeltaal minimaal vertegenwoordigd was in de pretraining data.
   • mmBERT vertoonde superieure MLM-prestaties vanwege de grotere capaciteit, maar presteerde incidenteel minder goed op downstream taken vergeleken met mBERT, mogelijk door "catastrophic overtraining".

5. Prestaties bij Lage Resources:

   • Voor Quechua (qu) presteerde de non-embedding strategie met een custom tokenizer significant beter dan volledige tuning, wat de aanpak voor extreem laag-resource scenario's valideert.

6. Vergelijking met LoRA:

   • De voorgestelde methode presteerde consequent beter dan LoRA (Low-Rank Adaptation) over alle taken, wat suggereert dat de low-rank beperking de capaciteit van het model om complexe taken te leren in deze specifieke settings kan beperken.

Betekenis en Claims

Het artikel claimt dat volledige model fine-tuning niet altijd de optimale strategie is voor het adapteren van PMLMs naar laag-resource talen. In plaats daarvan biedt een modulaire aanpak die custom tokenization combineert met selectieve parameter training (het bevriezen van embeddings) een eenvoudiger, parameter-efficiënt en effectief alternatief.

De belangrijkste punten die door de auteurs worden benadrukt zijn:

• Regularisatie: Het bevriezen van embeddings werkt als een krachtige regularisator, wat overfitting in data-arme omgevingen tegengaat.
• Tokenisatie is Cruciaal: De keuze van een custom tokenizer levert een grotere prestatieverbetering op dan de specifieke methode die wordt gebruikt om de embeddings te initialiseren.
• Efficiëntie: De aanpak vermindert het aantal trainbare parameters met ongeveer de helft, wat leidt tot snellere convergentie, lager VRAM-gebruik en gereduceerde inference latency zonder de downstream taakprestaties op te offeren.
• Transfereerbaarheid: Meertalige pretrained modellen blijven waardevol, zelfs voor talen die niet goed vertegenwoordigd zijn in hun pretraining data, mits er een geschikte adaptatiestrategie wordt gebruikt.

De auteurs concluderen dat deze methode een robuuste baseline biedt voor laag-resource taalmodellering, waarbij de computationele kosten en de risico's op overfitting van volledige model tuning worden vermeden.