Technische Samenvatting: AfriSUD – Een Dependency Treebank Collectie voor het Evalueren van Modellen op Afrikaanse Talen

1. Probleemstelling

Ondanks het feit dat zij bijna een derde van de wereldwijde linguïstische diversiteit beslaan, blijven Afrikaanse talen aanzienlijk ondervertegenwoordigd in Natural Language Processing (NLP) onderzoek en middelen. Hoewel fundamentele taken zoals machinevertaling en informatie-extractie zwaar leunen op dependency parsing, ontbreken voor de meeste Afrikaanse talen de gold-standard treebanks die vereist zijn voor het ontwikkelen en evalueren van syntactische modellen. Bestaande grootschalige inspanningen, zoals Universal Dependencies (UD), dekken minder dan 15 Afrikaanse talen van de 186 gedocumenteerde talen. Deze schaarste vormt een barrière voor het bouwen van grammatica-bewuste tools, het uitvoeren van cross-linguale transfer en het evalueren van state-of-the-art meertalige modellen in low-resource omgevingen. Bovendien vertonen veel Afrikaanse talen complexe morfologische en fonologische kenmerken—zoals agglutinatie, uitgebreide naamwoordklassen en tonale distincties—die slecht worden ondersteund door standaard NLP-pipelines en bestaande geannoteerde corpora.

2. Methodologie

Dataconstructie: AfriSUD

De auteurs introduceren AfriSUD, de eerste grootschalige, door de gemeenschap gedreven collectie van syntactisch geannoteerde treebanks voor negen diverse Afrikaanse talen. De dataset beslaat West-, Oost- en Zuid-Afrika en dekt drie belangrijke taalfamilies:

• Niger-Congo: Swahili, Kinyarwanda, Runyankore, isiXhosa (Bantu-subgroep); Wolof (Senegambia); Yorùbá en Efik (Volta–Niger en Cross River).
• Afro-Asiatisch: Hausa (Tsadische tak).
• Creools: Naija (Nigeriaans Engels, gebaseerd op het Engels).

Het corpus bevat ongeveer 8.000 tot 1.500 zinnen per taal, afkomstig uit nieuws, educatieve primers en vertaalde teksten. De talen variëren typologisch, van agglutinerend (bijv. Bantu-talen) tot isolerend (bijv. Yorùbá, Naija) en fusioneel (bijv. Hausa).

Annotatiekader:
De treebanks zijn geannoteerd met behulp van het Surface-Syntactic Universal Dependencies (SUD) framework. SUD werd gekozen vanwege het vermogen om morfologische en syntactische relaties met hoge getrouwheid te representeren terwijl de cross-linguale consistentie behouden blijft, en de compatibiliteit met conversie naar UD.

• Pipeline: Het proces omvat lemmatisering, Universal Part-of-Speech (UPOS) tagging, dependency head annotatie en dependency relation labeling.
• Tools: Annotatie werd uitgevoerd met Arborator-Grew. Initiële pre-annotaties werden gegenereerd met een parser-interface gebaseerd op BertForDeprel, gevolgd door handmatige correctie.
• Kwaliteitscontrole: Elke taal werd geannoteerd door drie inheemse taalkundigen (één coördinator, twee annotators). Een consensus-gebaseerde adjudicatieprocedure loste onenigheden op. Automatische validatiecontroles waarborgden de structurele integriteit (bijv. geen cycli, enkele root).

Annotatie-uitdagingen:
Het artikel beschrijft specifieke uitdagingen bij het toepassen van SUD op deze talen:

• Morfologische Binding: Er werden beslissingen genomen tussen morfologische decompositie (het segmenteren van wortels en affixen) en single-token preservatie. Bijvoorbeeld, Efik en Yorùbá tokens werden gesegmenteerd, terwijl isiXhosa en Hausa de lexicale integriteit behielden om aan te sluiten bij de surface-georiënteerde benadering van SUD.
• Ambiguïteit: Het oplossen van lexicale en syntactische ambiguïteit (bijv. multifunctionele morphemen in Yorùbá) vertrouwde op context-gestuurde analyse en teamconventies.
• Taalspecifieke Relaties: Het aanpassen van SUD-relaties voor fenomenen zoals serial verb constructions, Tense-Aspect-Mood (TAM) hulpwerkwoorden en bezittelijke markers vereiste zorgvuldige adaptatie, wat soms licht afweek van de standaard richtlijnen om de linguïstische realiteit te reflecteren.

Experimentele Opzet

De auteurs evalueerden een divers bereik aan modellen op AfriSUD voor Part-of-Speech (POS) tagging en dependency parsing:

1. Baselines: Stanza (neurale dependency parser) geïnitialiseerd met fastText embeddings.
2. Meertalige Encoders: Fine-tuned end-to-end biaffine parsers met algemene modellen (mBERT, XLM-RoBERTa) en Afrika-gecentreerde modellen (AfriBERTa, AfroXLMR, AfroXLMR-large-76L).
3. Large Language Models (LLMs): Zero-shot en few-shot prompting experimenten met Gemini-3.1-Pro, GPT-5.2, GPT-4o, en Gemma-3 (12B/27B). Een supervised fine-tuning (SFT) baseline werd ook vastgesteld voor Gemma-3-12B.
4. Cross-linguale Transfer: Evalueerde zero-shot transfer van zeven bron-talen (inclusief Engels, Frans en Afrikaanse talen zoals Wolof en Naija) naar de negen doel-talen.

3. Belangrijkste Resultaten

Baseline Prestaties

• POS Tagging: Transformer-gebaseerde encoders presteerden over het algemeen beter dan Stanza. Het Afrika-gecentreerde model AfroXLMR-large-76L behaalde de hoogste macro-gemiddelde accuratesse (90,6%), vergeleken met 88,4% van Stanza.
• Dependency Parsing: Stanza bleef de sterkste baseline voor dependency parsing, waarbij het de hoogste gemiddelde Unlabeled Attachment Score (UAS: 84,4) en Labeled Attachment Score (LAS: 77,5) behaalde. Onder de transformers presteerden Afrika-gecentreerde encoders (AfroXLMR-large-76L) beter dan algemene meertalige modellen, met een score van 83,1 UAS en 73,9 LAS.
• UAS vs. LAS Gap: Bij alle modellen was LAS consequent lager dan UAS, wat aangeeft dat hoewel modellen de juiste dependency heads kunnen identificeren, het toewijzen van de correcte syntactische relatie labels aanzienlijk moeilijker blijft.

LLM Prestaties

• Prompting: In-context demonstraties (few-shot prompting) verbeterden consistent de prestaties over alle LLMs en metrieken, waarbij de meest significante winsten werden waargenomen in LAS. Zo verbeterde de LAS van GPT-5.2 van 16,5 (0-shot) naar 52,5 (5-shot).
• Vergelijking: Ondanks verbeteringen presteerden LLMs (zelfs met 5-shot prompting) over het algemeen slechter dan supervised parsers zoals Stanza. Gemini-3.1-Pro presteerde het best onder de LLMs (5-shot LAS: 59,2), maar bleef achter bij Stanza (LAS: 77,5).
• SFT vs. Prompting: Supervised fine-tuning van Gemma-3-12B presteerde aanzienlijk beter dan few-shot prompting, waardoor de kloof met het best presterende prompting model (Gemini-3.1-Pro) werd verkleind tot slechts 1,2 LAS-punten.

Cross-linguale Transfer

Zero-shot transfer resultaten met gebruik van AfroXLMR-large-76L toonden aan dat transfer-prestaties sterk afhankelijk zijn van het bron-doel paar. Het gebruik van Naija (pcm) aangevuld met bestaande treebanks (pcm+nsc) leverde de beste algehele transfer resultaten op. Onder niet-Afrikaanse bronnen presteerde Roemeens het best. Doel-talen zoals Swahili waren gemakkelijker te parsen, terwijl Efik en isiXhosa uitdagend bleven.

Foutanalyse

Analyse van LLM-fouten (specifiek Gemini-3.1-Pro) onthulde een "syntax gap":

• Head vs. Label Mismatch: Modellen waren beter in het voorspellen van dependency heads dan van relation labels. Bijvoorbeeld, in serial verb constructions (comp:svc) behaalde het model 0% LAS maar 46% UAS.
• Specifieke Fouten: Fouten concentreerden zich in:
  • Serial Verb Constructions: Vaak afgeplat naar generieke mod of comp:obj relaties.
  • TAM Auxiliaries: Multi-token ketens (bijv. in Naija) werden vaak afgeplat in plaats van gemodelleerd als cascade-dependencies.
  • Possessives: Vaak foutief gelabeld als mod of comp:obj.
  • Ondergespecificeerde Relaties (udep): Modellen hadden moeite om argumenten van modifiers te onderscheiden in ambigue contexten.

4. Bijdragen en Betekenis

Het artikel levert de volgende primaire bijdragen:

1. Resource Creatie: De release van AfriSUD, de eerste grootschalige, door de gemeenschap geverifieerde collectie van SUD treebanks voor negen typologisch diverse Afrikaanse talen.
2. Methodologische Documentatie: Een gedetailleerde uiteenzetting van annotatie-uitdagingen en oplossingen specifiek voor Afrikaanse talen, inclus�els strategieën voor het omgaan met agglutinatie, clitics en toon binnen het SUD-framework.
3. Uitgebreide Benchmarking: Een systematische evaluatie van supervised parsers, meertalige encoders en LLMs, waarmee nieuwe baselines zijn gesteld voor de syntactische NLP van Afrikaanse talen.
4. Identificatie van Gaten: Het werk benadrukt een hardnekkige "syntax gap" waarbij huidige architecturen, inclusief LLMs, moeite hebben met het vastleggen van de structurele diversiteit van Afrikaanse talen, met name met betrekking tot relation labeling en complexe constructies zoals serial verbs en TAM-ketens.

Betekenis:
De auteurs positioneren AfriSUD als een fundamentele bron voor meer linguïstisch gefundeerde evaluatie en syntactische modellering van Afrikaanse talen. Door aan te tonen dat bestaande architecturen (zowel transformer-gebaseerd als LLMs) duidelijke beperkingen vertonen in het vastleggen van Afrikaanse syntactische structuren, pleit het artikel voor de noodzaak van voortdurende resourceontwikkeling en architecturale adaptatie. De dataset en benchmarks zijn bedoeld om reproduceerbaar onderzoek te faciliteren en de ontwikkeling van grammatica-bewuste tools voor miljoenen sprekers in Sub-Sahara Afrika te ondersteunen.

Beperkingen:
De auteurs merken op dat de dataset een beperkt aantal voorbeelden bevat voor bepaalde zeldzame dependency relaties. Daarnaast zijn de LLM-experimenten beperkt tot specifieke modellen en instellingen, en kan de reproduceerbaarheid van closed-model resultaten worden beïnvloed door toekomstige model-updates. De foutanalyse richt zich op specifieke SUD-relaties en het best presterende prompting model.