Technische Samenvatting: Een Factoriële Studie naar Synthetische Datageneratie voor Machinevertaling met Lage Middelen Gebruikmakend van Grammatica-boeken

Probleemstelling

Ondanks het bestaan van beschrijvende grammatica-boeken voor duizenden bedreigde talen, blijven deze bronnen grotendeels onbenut voor Natural Language Processing (NLP). De meeste bedreigde talen missen de parallelle corpora die nodig zijn om effectieve Machine Translation (MT) systemen te trainen. Hoewel Large Language Models (LLMs) veelbelovend zijn gebleken in situaties met weinig middelen, kampen eerdere benaderingen met significante knelpunten:

1. Context Injectiekosten: Het aanbieden van volledige grammatica-boeken aan LLM's als context tijdens de inferentie is computationeel duur en levert vaak een afnemend rendement op, omdat modellen de neiging hebben te leren van ingebedde parallelle voorbeelden in plaats van van narratieve grammaticale beschrijvingen (Aycock et al., 2025).
2. Handmatige Inspanning: Het omzetten van grammaticale regels naar gestructureerde, uitvoerbare representaties vereist doorgaans deskundige linguïstische annotatie, wat niet schaalbaar is naar de duizenden talen met bestaande grammatica's.
3. Datatekort: Bestaande methoden voor synthetische datageneratie vertrouwen vaak op monolinguale taalmodel-waarschijnlijkheden of ongecontroleerde generatie, waarbij de morfologische precisie die nodig is voor talen met complexe structuren ontbreekt.

De centrale vraag die wordt behandeld is of de gestructureerde inhoud van grammatica-boeken computationeel operationeel gemaakt kan worden om nieuwe, hoogwaardige synthetische parallelle zinnen te genereren voor het fine-tunen van MT-modellen, in plaats van ze enkel als context te gebruiken tijdens de inferentie.

Methodologie

De auteurs introduceren een semi-geautomatiseerde pipeline die linguïstische informatie extraheert uit ongestructureerde PDF-grammatica-boeken en parallelle corpora synthetiseert via regelgeleide lexicale substitutie. Het proces bestaat uit drie stadia:

1. Extractie van Linguïstische Informatie

• Extractie van Parallelle Zinnen: Een tweestaps-proces zet PDF-tekst om in regels, gevolgd door een gefinetunede BERT-classifier (getraind op ~200 geannoteerde regels per taal) om bron-, gloss-, en vertaalregels te identificeren. Regelgebaseerde post-correcties zorgen voor de reconstructie van triplets.
• Extractie van Secties en Woordenlijsten: Heuristische algoritmen detecteren sectiekoppen op basis van lettergrootte-statistieken. Niet-grammaticale secties worden gefilterd met behulp van embedding-gebaseerde semantische gelijkenis tegen een taxonomie van linguïstische categorieën. Woordenlijsten worden semi-automatisch geëxtraheerd uit glossarium-secties en geannoteerd met part-of-speech (POS) tags met behulp van spaCy.
• Extractie en Codificatie van Regels: Narratieve grammaticale beschrijvingen worden omgezet in gecodificeerde regels met behulp van Gemini-2.5-flash. Het model extraheert regels die voldoen aan het UniMorph-annotatieschema (gestructureerde YAML-objecten met doel-POS, affix-type, feature-waarde paren en contextuele afhankelijkheden). Deze worden vervolgens omgezet in deterministische pseudo-code functies (ApplyRule(STEM, POS)) om een eenduidige toepassing te garanderen.

2. Constructie van Synthetische Corpus

De pipeline genereert synthetische parallelle zinnen door inhoudswoorden in geëxtraheerde "seed"-zinnen te vervangen door woordenlijst-items, geleid door de opgehaalde grammaticale regels. De studie maakt gebruik van een volledig gekruiste factoriële design waarbij drie factoren variëren:

• Doel Part-of-Speech (POS): Substantief (Noun), Werkwoord (Verb), Bijvoeglijk naamwoord (Adjective), of Bijwoord (Adverb).
• Retrieval Granulariteit:
  • Regelniveau: Retrieval van specifieke gecodificeerde regels en hun tekstuele beschrijvingen.
  • Sectieniveau: Retrieval van volledige bronsecties uit het grammatica-boek om de phrasale context te behouden.
• Steekproefvolume ($k$): Het aantal synthetische varianten gegenereerd per seed-zin ($k \in \{5, 10, 15, 20\}$).

3. Evaluatie

De gegenereerde corpora worden gebruikt om Gemini-2.5-flash te finetunen (met behulp van LoRA-adapters). Prestaties worden geëvalueerd tegenover baselines, waaronder zero-shot LLM's, NLLB-200 met proxy-talen, en Seed-Data Fine-Tuning (SDFT) met enkel de oorspronkelijk geëxtraheerde parallelle zinnen. Evaluatiemetrieken zijn onder meer BLEU, ChrF en ChrF++.

Belangrijkste Bijdragen

1. Geautomatiseerde Pipeline: Het eerste semi-geautomatiseerde framework dat linguïstische informatie extraheert uit grammatica-boeken en parallelle corpora synthetiseert met minimale menselijke interventie (vereist slechts ~200 geannoteerde regels voor de classifier).
2. Factoriële Studie: Een systematische evaluatie over 96 configuraties (3 talen $\times$ 4 POS $\times$ 2 granulariteiten $\times$ 4 volumes) om te identificeren welke factorcombinaties de verbetering in vertaal kwaliteit drijven.
3. Operationalisering van Grammatica-boeken: Het demonstreren dat statische linguïstische documentatie kan worden hergebruikt voor MT fine-tuning, waarbij men verder gaat dan eenvoudige context injectie naar actieve datageneratie.

Resultaten

De studie valideert de pipeline op drie typologisch diverse talen: Kalamang (Papoea, agglutinerend), Tuatschin (Romaans, analytisch) en Mandan (Siouan, polysynthetisch).

• Algemene Prestaties:
  • Kalamang: Synthetische augmentatie verbeterde de SDFT-baseline in 75% van de configuraties, met een best-case ChrF++ winst van +8.8.
  • Tuatschin: Verbeteringen werden waargenomen in 59% van de configuraties, met een best-case winst van +5.3.
  • Mandan: De taal bleek het meest resistent; slechts 16% van de configuraties overtrof de baseline, met een best-case winst van +3.3.
• Factoranalyse:
  • POS: Substantieven boden de meest consistente winst voor Kalamang, terwijl werkwoorden het meest effectief waren voor Tuatschin. Geen POS-categorie verbeterde Mandan betrouwbaar.
  • Granulariteit: Sectie-niveau retrieval leverde hogere winsten op voor Kalamang, terwijl regel-niveau retrieval effectiever was voor de werkwoorden van Tuatschin.
  • Steekproefvolume: Prestaties waren niet-monotoon. Voor Tuatschin veroorzaakten kleine volumes ($k=5$) catastrofale fouten, terwijl prestaties herstelden bij $k \ge 10$. Voor Mandan leidde een excessief volume ($k=20$) tot scherpe degradatie, waarbij modellen grammaticale annotaties gingen genereren in plaats van vloeiende vertalingen.
• Kwalitatieve Bevindingen: Synthetische training maakte correcte syntactische herordening mogelijk (bijv. Kalamang SOV naar Engels SVO) en een betere behandeling van complexe hulpwerkwoordconstructies (Tuatschin). Echter, foutmodi omvatten letterlijke vertalingen van samengestelde woorden en hallucinaties onder lexicale onzekerheid.

Betekenis en Beperkingen

Het artikel stelt dat deze aanpak een praktisch pad biedt naar het bouwen van vertaalhulpmiddelen voor ernstig onderbediende talen die wel grammatica-boeken bezitten maar geen parallelle corpora. Door het produceren van zelfstandige synthetische parallelle corpora, ontkoppelt de methode de datageneratie van specifieke modelarchitecturen, waardoor de data kleinere, lokaal inzetbare systemen kan trainen.

De auteurs blijven bescheiden over de generaliseerbaarheid van de resultaten:

• Evaluatie: De studie vertrouwt volledig op automatische metrieken; de afwezigheid van evaluatie door moedertaalsprekers voorkomt het onderscheid tussen echte vertaalcompetentie en test-set overfitting.
• Schaalbaarheid: De pipeline is afhankelijk van Engels-specifieke NLP-tools (spaCy) voor POS-tagging en regel-extractie, wat directe toepassing op niet-Engelse doeltalen zonder aanpassing beperkt.
• Semantische Plausibiliteit: Het mechanisme voor lexicale substitutie mist semantische co-occurrentie restricties, wat soms syntactisch correcte maar semantisch implausibele zinnen produceert.
• Scope: De pipeline is gevalideerd op slechts drie talen; de prestaties op tonale systemen, niet-concatenatieve morfologie of niet-standaard grammatica-boekformaten blijven ongetest.

Het werk claimt niet de gemeenschapsgestuurde taalrevitalisatie-inspanningen te vervangen, maar beoogt baseline vertaalhulpmiddelen te bieden die documentatie en educatie ondersteunen.