📄 other

A parallel treebank of learner Swedish

Dit artikel introduceert een parallelle treebank van Zweedse leertaal gebaseerd op het SweLL-corpus, geannoteerd volgens de Universal Dependencies-standaard om L2-specifieke uitdagingen aan te pakken, de annotatiekwaliteit te evalueren en factoren te identificeren die de annotatie moeilijkheid beïnvloeden.

Oorspronkelijke auteurs: Arianna Masciolini, Maria Irena Szawerna, Aleksandrs Berdicevskis, Caroline Grand-Clement, Elena Volodina

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Arianna Masciolini, Maria Irena Szawerna, Aleksandrs Berdicevskis, Caroline Grand-Clement, Elena Volodina

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Een "Tweelidige Woordenlijst" Bouwen voor Fouten

Stel je voor dat je een nieuwe taal probeert te leren, zoals het Zweeds. Je schrijft een zin, maar deze zit vol fouten. Een docent leest het, corrigeert de fouten en schrijft de "correcte" versie op. Stel je nu voor dat je een enorme bibliotheek hebt met deze "Vóór" (jouw slordige concept) en "Ná" (de schone versie van de docent) paren.

Dit artikel introduceert een nieuwe digitale bibliotheek genaamd UD Swedish-SweLL. Het is een collectie van 510 zinnenparen geschreven door volwassenen die Zweeds leren. De auteurs hebben niet alleen de tekst opgeslagen; ze hebben voor elke zin een gedetailleerde "kaart" gemaakt die laat zien hoe de woorden met elkaar verbonden zijn. Ze noemen dit een treebank.

Beschouw een treebank als een stamboom voor een zin. Het laat zien wie de "ouder" is (het hoofdwoord) en wie de "kinderen" zijn (de woorden die ervan afhankelijk zijn). In "De grote hond" is "hond" de ouder en is "grote" een kind dat eraan vastzit.

Waarom Dit Doen? (Het Idee van de "Universele Vertaler")

Meestal, wanneer onderzoekers leerlingfouten bestuderen, maken ze gewoon een lijst met fouten: "Spelfout," "Verkeerd werkwoord," "Slechte grammatica." Dat is alsof een monteur zegt: "De auto is kapot," zonder uit te leggen hoe de motor werkt.

De auteurs besloten een systeem te gebruiken dat Universal Dependencies (UD) wordt genoemd.

De Analogie: Stel je voor dat UD een universele afstandsbediening is die werkt voor elk merk tv (elke taal). In plaats van een nieuwe afstandsbediening voor het Zweeds uit te vinden, gebruiken ze dezelfde als die voor Engels, Spaans en Chinees.
Het Voordeel: Omdat ze deze standaard "afstandsbediening" gebruiken, kunnen ze Zweedse leerlingen gemakkelijk vergelijken met leerlingen van andere talen. Ze kunnen ook computerprogramma's (parsers) gebruiken die al weten hoe ze deze afstandsbediening moeten gebruiken om de gegevens sneller te analyseren.

De Uitdaging: Het Mappen van een "Kapot" Huis

Het lastige deel is dat zinnen van leerlingen vaak "kapot" zijn. Er kunnen woorden verkeerd gespeld zijn, er ontbreken stukjes, of woorden zitten aan elkaar geplakt die dat eigenlijk niet zouden moeten doen.

Het Probleem: Als je een kaart probeert te maken van een zin die zegt "Ik ga winkel" in plaats van "Ik ga naar de winkel", kan een standaard kaart in de war raken.
De Oplossing: De auteurs hebben een speciale set regels (richtlijnen) opgesteld voor dit specifieke project.
- Regel 1: Pas niet de kaart aan, maar de beschrijving. Als een student "traffik" schrijft (verkeerd gespeld verkeer), behoudt de kaart de spelling "traffik" maar labelt het als een zelfstandig naamwoord. Ze doen niet alsof het correct gespeld was; ze documenteren de fout zoals deze is opgetreden.
- Regel 2: Volg de intentie. Als een student een zin schrijft die lijkt op een directe vertaling uit hun moedertaal (zoals Arabisch of Koerdisch), analyseren de auteurs de Zweedse woorden op basis van hoe de student ze bedoelde te gebruiken, zelfs als de grammatica vreemd is.

Het Proces: Mensen en Robots die Samenwerken

Het team heeft niet de computer al het werk laten doen. Ze gebruikten een "Human-in-the-Loop"-aanpak:

De Robot (UDPipe): Eerst keek een computerprogramma snel naar de zinnen en maakte een ruwe schets van de kaarten. Het was alsof een student een ruwe schets maakt van een tekening.
De Mensen (De Editors): Daarna gingen menselijke experts (die ook Zweeds aan het leren zijn!) door de schetsen. Ze controleerden het werk van de computer, herstelden de fouten en zorgden ervoor dat de "Vóór"- en "Ná"-zinnen perfect met elkaar overeenkwamen.
- Analogie: Stel je voor dat de computer een GPS is die een route geeft. De mens is de bestuurder die weet dat de GPS een kuil of een omleiding heeft gemist, en corrigeert de route voordat je gaat rijden.

Is het Gelukt? (Het Rapportcijfer)

De auteurs testten hoe goed de mensen met elkaar overeenstemden en hoe goed de computer presteerde in vergelijking met de mensen.

Menselijke Overeenstemming: De mensen stemden in 98% tot 99% van de gevallen met elkaar overeen. Dit is alsof je drie juryleden hebt in een wedstrijd die bijna altijd dezelfde score geven. Het bewijst dat hun regels duidelijk en gemakkelijk te volgen waren.
Computer vs. Mens: De computer was vrij goed, vooral bij het identificeren van woordsoorten (zoals weten dat een woord een zelfstandig naamwoord of een werkwoord is). Echter, wanneer het aankwam op het begrijpen van de complexe relaties tussen woorden (de "boom"-structuur), maakte de computer meer fouten dan de mensen.
De "Foutendichtheid"-factor: De computer had de meeste moeite wanneer de zin van de leerling vol fouten zat. Hoe meer fouten er in de zin zaten, hoe moeilijker het voor de computer was om de kaart te tekenen. Mensen waren echter veel beter in het afhandelen van rommelige zinnen.

Wat Nu?

De auteurs zeggen dat dit pas het begin is. Ze hebben nu 510 zinnen, maar de oorspronkelijke bibliotheek bevat meer dan 1.000 essays. Ze zijn van plan om:

De treebank uit te breiden met meer zinnen.
De computer beter te trainen door hem te onderwijzen op basis van deze nieuwe, gecorrigeerde kaarten.
Uiteindelijk dit systeem te gebruiken om automatisch leerlingfouten te detecteren en te analyseren zonder dat er een mens nodig is om elke enkele zin te controleren.

Kortom: Ze hebben een hoogwaardige, gestandaardiseerde kaart gemaakt van Zweedse leerlingzinnen. Ze hebben bewezen dat mensen het met elkaar eens kunnen worden over hoe ze deze rommelige zinnen in kaart moeten brengen, en ze hebben laten zien dat hoewel computers er goed in worden, ze nog steeds menselijke hulp nodig hebben wanneer de zinnen echt ingewikkeld worden.

Probleemstelling
Het artikel behandelt het gebrek aan gestandaardiseerde, cross-lingvistisch vergelijkbare bronnen voor de analyse van het verwerven van een tweede taal (Second Language Acquisition, SLA) in het Zweeds. Hoewel Universal Dependencies (UD) met succes een raamwerk heeft gevestigd voor morfosyntactische annotatie in honderden talen, is de toepassing ervan op leerlingtaal beperkt. Bestaande leerlingcorpora vertrouwen vaak op fouten-taggingschema's die taalspecifiek, arbeidsintensief en uitsluitend gericht zijn op fouten, wat de bredere kenmerken van de intertaal kan vertroebelen. Bovendien vormen de idiosyncrasieën van de Zweedse leerlingtaal — zoals niet-standaard orthografie, gesplitste samenstellingen, codewisseling en syntactische calques — specifieke uitdagingen die de standaard UD-richtlijnen niet volledig dekken. Er is behoefte aan een parallelle treebank die leerlingzinnen contrasteert met genormaliseerde correcties, geannoteerd onder een consistent raamwerk om cross-lingvistische SLA-studies en de ontwikkeling van leerlinggerichte NLP-systemen te faciliteren.

Methodologie
De auteurs introduceren UD Swedish-SweLL, een parallelle treebank afgeleid van het SweLL-gold corpus, dat 502 essays bevat geschreven door volwassen leerlingen van het Zweeds. De bron bestaat momenteel uit 510 zin-correctieparen. De methodologie omvat:

Annotatierraamwerk: De treebank volgt de Universal Dependencies (UD)-standaard. Om de leerling-specifieke fenomenen aan te pakken, hebben de auteurs interne richtlijnen ontwikkeld die de officiële UD-regels uitbreiden. Belangrijke aanpassingen zijn onder meer:
- Letterlijke Annotatie: Lemma's behouden spelling- en morfologische fouten (bijv. fout gespelde stammen) in plaats van ze te corrigeren naar de doelvorm, terwijl de afhankelijkheidsrelaties de beoogde syntactische rol reflecteren op basis van de correctiehypothese.
- Segmentatie: Gesplitste samenstellingen worden behandeld als orthografische fouten die via de compound-relatie verbonden zijn, terwijl ondergesegmenteerde woorden worden geanalyseerd als een enkele eenheid op basis van hun syntactisch hoofd.
- Transferfenomenen: Syntactische calques en codewisseling worden geannoteerd volgens de richtlijnen van de brontaal, waarbij specifieke markers (bijv. CalquedLang) worden gebruikt wanneer de oppervlaktevorm Zweeds is maar de structuur getransfereerd is.
- Parallele Consistentie: De originele leerlingzinnen en hun genormaliseerde correcties worden geannoteerd om semantische consistentie te waarborgen, waardoor het ophalen van specifieke fouttypen via tree-queries mogelijk is.
Annotatieproces: De workflow omvat automatische pre-annotatie met behulp van het swedish-talbanken-ud-2.15-model van UDPipe 2, gevolgd door rigoureuze handmatige validatie.
- Menselijke Validatie: Elk zinpaar werd onafhankelijk gevalideerd door ten minste twee annotatoren (onderzoekers en studenten met een L2-achtergrond in het Zweeds).
- Conflictresolutie: Meningsverschillen werden opgelost tijdens vergaderingen waarbij de leerlingzinnen parallel met hun correcties werden geanalyseerd.
- Nawerk (Post-processing): De gegevens werden opgeschoond om duplicaten te verwijderen, metadata te strippen voor privacy en geïnferreerde kenmerken toe te voegen (bijv. Typo=Yes).
Evaluatie: De auteurs beoordeelden de kwaliteit van de annotatie met behulp van Inter-Annotator Agreement (IAA)-metrieken, specifiek Krippendorff's $\alpha$ (met behulp van tree edit distance voor afhankelijkheden) en ruwe nauwkeurigheidsscores. Ze voerden ook een statistische analyse uit met lineaire regressie om te bepalen hoe factoren zoals zinslengte, foutendichtheid en annotatortype (mens versus parser) de prestaties beïnvloeden.

Belangrijkste Bijdragen

UD Swedish-SweLL: De eerste dependency treebank van de Zweedse leerlingtaal, uitgebracht als onderdeel van UD 2.17. Het biedt 510 goud-geannoteerde parallelle zinparen.
Aangepaste Richtlijnen: Een set interne richtlijnen voor het annoteren van L2-Zweeds die een balans vindt tussen de letterlijke representatie van fouten en interpretatieve afhankelijkheidsanalyse. Deze richtlijnen pakken specifieke uitdagingen aan zoals niet-standaard samenstellingen, concordantiefouten en transferfenomenen.
Empirische Evaluatie: Een gedetailleerde analyse van de annotatiekwaliteit, die een hoge overeenstemming tussen menselijke annotatoren aantoont en de impact van leerling-specifieke factoren op zowel menselijke als automatische annotatieprestaties kwantificeert.
Beschikbaarheid van de Bron: De treebank is beschikbaar voor download en het bevragen via tools zoals Grew-match en Korp, wat direct gebruik in onderzoek en systeemontwikkeling faciliteert.

Resultaten

Annotatiekwaliteit: De studie rapporteert een hoge Inter-Annotator Agreement (IAA). Voor dependency-annotatie varieerden de Krippendorff's $\alpha$ -scores van 0,970 tot 0,993, en voor UPOS-tags van 0,983 tot 0,993. Deze scores overtreffen die gerapporteerd voor andere L2-treebanks.
Parser versus Menselijke Prestaties: Menselijke annotatoren presteerden consequent beter dan de automatische parser, vooral op de originele leerlingzinnen. De parser vertoonde echter sterke prestaties, met name bij UPOS-tagging.
Impact van Factoren:
- Foutendichtheid: Dit was de sterkste voorspeller van de moeilijkheid van annotatie. Het had een significante impact op de prestaties van de parser (een daling van 21 procentpunten in LAS per eenheid toename in genormaliseerde foutendichtheid) sterker dan op de menselijke prestaties.
- Zinslengte: Langere zinnen verminderden de prestaties van de parser licht voor dependency parsing, maar hadden een verwaarloosbaar of licht positief effect op UPOS-tagging. Voor mensen had de zinslengte een kleinere impact.
- Corpustype: Zowel mensen als parsers presteerden beter op gecorrigeerde (doel)zinnen dan op originele leerlingzinnen, hoewel het verschil relatief klein was.

Betekenis
Het artikel stelt dat UD Swedish-SweLL een waardevolle bron biedt om verder te gaan dan traditionele foutdetectie naar een fijnmazige, beschrijvende analyse van de intertaal. Door de UD-standaard te adopteren, maakt de treebank het volgende mogelijk:

Cross-lingvistische Vergelijkbaarheid: Het faciliteren van vergelijkingen tussen L1 en L2, verschillende L2's, en intertaal tegenover standaardnormen.
NLP-ontwikkeling: Het dienen als trainingsdata voor leerlinggerichte systemen, zoals Grammatical Error Correction (GEC) en automatische foutdetectie.
Harmonisatie van Richtlijnen: Het bieden van een praktische toepassing van voorgestelde harmonisatieprincipes voor leerling-treebanks, waarbij wordt aangetoond dat UD effectief kan omgaan met de systematische idiosyncrasieën van de leerlingtaal zonder dat daar een aparte, fout-gecentreerde annotatielaag voor nodig is.

De auteurs concluderen dat de hoge IAA suggereert dat de richtlijnen robuust genoeg zijn om potentieel de noodzaak voor dubbele handmatige annotatie in toekomstige uitbreidingen te verminderen, terwijl de sterke prestaties van getrainde modellen op UPOS-tagging wijzen op een pad naar semi-geautomatiseerde workflows voor grootschalige treebanking.