GottBERT: a pure German Language Model

Technische Samenvatting: GottBERT: een puur Duits taalmodel

Probleemstelling
Hoewel vooraf getrainde taalmodellen (LM's) zoals BERT en RoBERTa een revolutie hebben teweeggebracht in de natuurlijke taalverwerking (NLP), lag de initiële focus van het onderzoek overwegend op Engels. Hoewel er meertalige modellen bestaan, bieden enkeltalige modellen vaak voordelen in efficiëntie bij het voortrainen, het gebruik van middelen en de prestaties bij downstream-taken. Ondanks de opkomst van grote prompt-gebaseerde LLM's blijven kleinere, rekenefficiënte BERT-achtige modellen cruciaal voor praktische implementatie. Op het moment van dit werk was er een gebrek aan een toegewijd, enkeltalig Duits RoBERTa-model dat uitsluitend getraind was op een massaal, hoogwaardig Duits corpus. Bestaande Duitse modellen (bijv. GermanBERT, dbmdz BERT) waren primair gebaseerd op de oorspronkelijke BERT-architectuur of maakten gebruik van gemengde databronnen, en geen van deze modellen had de volledige schaal van het OSCAR-corpus benut met de specifieke architecturale optimalisaties van RoBERTa.

Methodologie
De auteurs ontwikkelden GottBERT, het eerste Duitse enkeltalige RoBERta-model, gebruikmakend van het Duitse deel van het OSCAR (Open Super-large Crawled ALMAnaCH coRpus) dataset. De methodologie bestond uit verschillende belangrijke fasen:

1. Data Curatie en Filtering:

   • Bron: Het model werd getraind op de eerste gepubliceerde gededupliceerde versie van het Duitse OSCAR-corpus (145GB, ~21,5 miljard woorden).
   • Filteringstrategie: Geïnspireerd door FlauBERT, implementeerden de auteurs een filteringpipeline om een "schone" versie te creëren (121GB, ~18,1 miljard woorden). Dit proces pakte het volgende aan:
     • Encodingfouten: Het corrigeren van foutieve umlauts veroorzaakt door UTF-8 decodingproblemen en het verwijderen van regels met niet-reproduceerbare karakters.
     • Inhoudelijke kwaliteit: Het verwijderen van spam, woordenlijsten en niet-Duitse documenten.
     • Syntactische heuristieken: Het gebruik van een taaldetectiealgoritme (n-gram gebaseerd) om ASCII-art te filteren en een single-class SVM getraind op 12k documenten om "vuile" inhoud te identificeren. De SVM maakte gebruik van Duits-specifieke linguïstische kenmerken, zoals de hoofdlettergebruik van zelfstandige naamwoorden en ratio's van stopwoorden, interpunctie, unieke woorden en uppercase tokens.
   • Vocabulaire: Een nieuw vocabulaire van 52k subwoord-tokens werd berekend met behulp van Byte Pair Encoding (BPE) op 40GB willekeurig gesamplede Duitse tekst, wat resulteerde in een reductie van 40% in de omvang van de binaire data vergeleken met de op Engels getrainde GPT-2 tokenizer.

2. Pre-training Infrastructuur:

   • Hardware: GottBERT is het eerste gepubliceerde RoBERça-model dat is voorgetraind op TPUs (Tensor Processing Units). Het basismodel werd getraind op een 256-core TPUv3 pod, terwijl de grote modellen een 128-core TPUv4 pod gebruikten.
   • Architectuur: De modellen volgden de standaard RoBERTa-architectuur (het verwijderen van segment embeddings en next-sentence prediction, met gebruik van dynamische masking).
   • Hyperparameters: De training maakte gebruik van het fairseq framework. Basismodellen werden getraind voor 100k stappen met een batchgrootte van 8k en een piek leersnelheid van 0.0004. Grote modellen gebruikten een piek leersnelheid van 0.00015.
   • Gegenereerde Modellen: Vier modelvarianten werden geproduceerd: GottBERTbase en GottBERTlarge (ongefilterde data), en fGottBERTbase en fGottBERTlarge (gefilterde data).

3. Evaluatie:

   • De modellen werden gefinetuned en geëvalueerd op vijf downstream-taken:
     • Natural Language Inference (NLI): XNLI (Duits deel).
     • Named Entity Recognition (NER): CoNLL 2003 (Duits) en GermEval 2014.
     • Tekstclassificatie: GermEval 2018 (coarse en fine-grained) en 10kGNAD (nieuws onderwerp classificatie).
   • Prestaties werden gemeten met behulp van F1-scores en nauwkeurigheid, waarbij resultaten werden gemiddeld over 24 runs met variërende hyperparameters om robuustheid te garanderen.

Belangrijkste Bijdragen

• Eerste Duitse RoBERTa: De introductie van het eerste enkeltalige Duitse RoBERTa-model, uitsluitend getraind op het Duitse OSCAR-corpus.
• Filteringmethodologie: De ontwikkeling en toepassing van een specifieke filteringmethode voor Duitse teksten, waarbij gebruik wordt gemaakt van syntactische kenmerken (zoals hoofdlettergebruik van zelfstandige naamwoorden) en machine learning (SVM) om kwalitatief laagwaardige data te verwijderen.
• Open Release: De release van alle vier de modelvarianten (base en large, gefilterd en ongefilterd) onder de MIT-licentie om de Duitse NLP-onderzoeksgemeenschap te ondersteunen.
• Empirische Analyse: Een uitgebreide evaluatie die deze nieuwe modellen vergelijkt met bestaande Duitse BERT-modellen (GermanBERT, dbmdz BERT, GBERT, GELECTRA) en meertalige modellen (mBERT, XLM-RoBERTa).

Resultaten

• Basismodellen: GottBERT vertoonde competitieve prestaties en leidde bij de basismodellen in 4 van de 6 taken. Specifiek behaalden GottBERTbase en fGottBERTbase top of bijna-top scores in NER en tekstclassificatietaken.
• Grote Modellen: De grote modellen toonden een robuuste prestatie, maar werden over het algemeen overtroffen door GELECTRAlarge en GBERTlarge in verschillende taken. XLM-Rlarge behaalde de hoogste F1-score op de GermEval 2014 NER-taak.
• Impact van Filtering: Tegen de verwachtingen van de auteurs in, heeft het filteren van het OSCAR-corpus niet significant bijgedragen aan verbetering van de resultaten. In sommige gevallen presteerden de ongefilterde modellen iets beter of vergelijkbaar met de gefilterde modellen. De auteurs suggereren dat het schoonmaakproces onbedoeld waardevolle tekstvariantie heeft verwijderd, wat bekend staat om het ten goede te komen aan de modelprestaties.
• Vergelijking: Hoewel GELECTRA-modellen over het algemeen de hoogste nauwkeurigheden bereikten (waarschijnlijk door de ELECTRA-architectuur en potentieel grotere/variëdere trainingsdata inclusief OPUS en OpenLegalData), vestigde GottBERT zich als een sterke baseline, met name in de categorie van de basisarchitectuur.

Betekenis en Claims
Het artikel beweert dat GottBERT dient als een waardevolle, efficiënte bron voor de Duitse NLP-gemeenschap, die een state-of-the-art enkeltalige fundering biedt die meertalige modellen in specifieke taken evenaart. De auteurs benadrukken dat, hoewel de specifieke data-schoonmaakstrategie niet de verwachte prestatiewinst opleverde, het succesvolle voortrainen van een RoBERTa-model op TPUs en de release van deze modellen een cruciale infrastructuur bieden voor toekomstig onderzoek.

De auteurs merken bescheiden op dat hun resultaten specifiek zijn voor de eerste versie van het OSCAR-corpus en dat de modellen moeite kunnen hebben met culturele nuances of dialecten die niet goed vertegenwoordigd zijn in de trainingsdata. Ze erkennen dat de filteringbenadering een afweging was tussen computationele kosten en datakwaliteit, en suggereren dat toekomstig werk de corpusvariantie (bijv. het integreren van Wikipedia of juridische data) moet verkennen en 'Whole Word Masking' (WWM) moet gebruiken om de prestaties verder te verbeteren. Het werk onderstreept de voortdurende relevantie van efficiënte, enkeltalige modellen ondanks de trend naar massieve LLM's.