Towards interpretable models for language proficiency assessment: Predicting the CEFR level of Estonian learner texts

Deze studie ontwikkelt interpreteerbare machine learning-modellen die met hoge nauwkeurigheid het CEFR-niveau van Estse leermotteksten voorspellen door middel van zorgvuldig geselecteerde linguïstische kenmerken, wat resulteert in een bruikbare tool voor taalbeoordeling binnen een open-source leeromgeving.

De kern

De Taal-Detective: Hoe een Computer de Talenkennis van Estse Leerlingen Meet

Stel je voor dat je een detective bent, maar in plaats van moordzaken op te lossen, zoek je naar bewijzen van hoe goed iemand een taal beheerst. In dit onderzoek kijkt de auteur, Kais Allkivi, naar duizenden teksten die mensen hebben geschreven tijdens Estse taalexamens. Het doel? Om een slimme computer te leren om deze teksten in te delen op het CEFR-niveau (de wereldwijde schaal van A2 tot C1, van 'beginner' tot 'vrij vloeiend').

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Taalkaas"

Taal leren is als het bouwen van een huis. Een beginner (A2) bouwt misschien een schuurtje met een paar planken. Een gevorderde (C1) bouwt een kasteel met ingewikkelde torens en glazen ramen.
Vroeger keken alleen mensen naar deze gebouwen om te zeggen: "Dit is een kasteel!" Maar dat kost tijd en energie. De onderzoekers wilden een automatische bouwinspecteur (een computerprogramma) maken die dit in een seconde kan doen.

Het probleem is echter: als je de computer alleen laat kijken naar wat er geschreven staat (bijvoorbeeld: "Ik heb gisteren een kat gezien"), kan de computer verwarren worden. Misschien schrijft een beginner over een kat en een gevorderde ook, maar in heel andere zinnen. De computer moet dus kijken naar de bouwstijl, niet alleen naar de inhoud.

2. De Oplossing: De Vier "Sporen"

De onderzoekers hebben de teksten niet zomaar bekeken. Ze hebben gezocht naar vier specifieke soorten "sporen" die een taalgebruiker achterlaat, net zoals een detective naar vingerafdrukken zoekt:

• Het Woordenschat-Spoor (Lexicaal):

  • De analogie: Stel je voor dat je een koffer vol kleding hebt. Een beginner heeft misschien alleen T-shirts en jeans (gewone woorden). Een gevorderde heeft ook zijden overhemden, jurken en unieke accessoires (moeilijke, zeldzame woorden).
  • Wat de computer zag: Hoe meer unieke woorden en hoe "zeldzamer" de woorden, hoe hoger het niveau. Ook keken ze naar hoe divers de woorden waren (niet steeds hetzelfde woord herhalen).

• Het Grammatica-Spoor (Morfologisch):

  • De analogie: In het Ests verandert een woord zijn vorm afhankelijk van wat je ermee doet (net als in het Nederlands: de hond -> de honden, met de hond). Een beginner gebruikt misschien alleen de basisvormen. Een gevorderde gebruikt de hele "speelgoeddoos" met alle mogelijke vormen.
  • Wat de computer zag: Hoe meer verschillende vormen van woorden (zoals meervoud, verschillende uitgangen) iemand gebruikt, hoe hoger het niveau. Ook zagen ze dat gevorderden minder vaak "ik" en "jij" gebruiken en meer verwijzingen maken naar dingen in de wereld.

• Het Lichaams-Spoor (Oppervlakkig):

  • De analogie: Kijk naar de lengte van de zinnen en de tekst. Een beginner schrijft misschien korte, hakkerige zinnen. Een gevorderde schrijft langere, vloeiende verhalen.
  • Wat de computer zag: Hoe langer de zinnen en hoe meer letters er in een woord zitten, hoe hoger het niveau.

• Het Fouten-Spoor (Errors):

  • De analogie: Iedereen maakt fouten, maar een beginner maakt vaker "grote" fouten (zoals verkeerde spelling of woordvolgorde) dan een gevorderde.
  • Wat de computer zag: Hoe minder fouten er per zin staan, hoe hoger het niveau.

3. De Test: De "Nieuwe" versus de "Oude" Teksten

De onderzoekers trainden de computer met teksten van examens uit 2017-2020. Vervolgens testten ze de computer op twee manieren:

1. De bekende test: Nieuwe teksten van dezelfde periode.
2. De verrassingstest: Teksten uit 2010 (oudere examens).

Het resultaat was fascinerend: De teksten uit 2010 waren moeilijker dan verwacht! Mensen schrijven tegenwoordig complexere zinnen dan 10 jaar geleden. De computer kon dit goed aanvoelen, maar moest wel even wennen aan de "oude stijl".

4. Het Resultaat: Een Slimme Assistent

De beste computermodellen konden de teksten met 90% nauwkeurigheid in de juiste categorie plaatsen. Dat is alsof je een detective hebt die in 100 gevallen 90 keer de juiste dader vindt.

• Waarom is dit belangrijk?
  Stel je voor dat je een app hebt die je helpt bij het leren van het Ests. Je schrijft een zin, en de app zegt niet alleen: "Goed zo!", maar ook: "Je gebruikt nu al heel veel moeilijke woorden en lange zinnen, je zit waarschijnlijk op niveau B2!"
  Dit helpt leraren om sneller te zien waar een leerling staat, en leerlingen om hun eigen vooruitgang te zien zonder te wachten op een menselijke beoordelaar.

5. De Grootte van de Koffer (Samenvatting)

De onderzoekers ontdekten dat je niet alle sporen nodig hebt om de detective te laten werken. Soms maakt het juist verwarrend als je te veel informatie hebt (zoals te veel onnodige details in een dossier). Door alleen te kijken naar de betrouwbare sporen (woorden die echt moeilijker worden naarmate je leert, en niet afhankelijk zijn van het onderwerp), werd de computer zelfs slimmer en eerlijker.

Kortom: Deze studie heeft bewezen dat we met slimme rekenkracht en een goed begrip van hoe taal werkt, een eerlijke en snelle manier kunnen vinden om te meten hoe goed iemand een taal spreekt. Het is alsof we een taal-thermometer hebben gebouwd die precies aangeeft hoe "heet" (geavanceerd) iemands taalvaardigheid is.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Towards interpretable models for language proficiency assessment: Predicting the CEFR level of Estonian learner texts" van Kais Allkivi, weergegeven in het Nederlands.

Probleemstelling

Er is een gebrek aan onderzoek dat automatisch taalbeoordeling (NLP) combineert met corpuslinguïstische analyse om interpreteerbare en generaliseerbare modellen voor taalproficiëntie te bouwen. Hoewel er veel systemen bestaan voor het beoordelen van schrijftaken in talen zoals Engels en Zweeds, ontbreekt er een robuuste, interpreteerbare aanpak voor het Ests. Het doel is om de CEFR-niveaus (A2–C1) van Estse leerlingteksten te voorspellen op basis van authenticiteit (examenopdrachten) en om te voorkomen dat modellen afhankelijk worden van specifieke taaktypes of genres in plaats van algemene taalvaardigheid. Een uitdaging is het vinden van kenmerken die consistent stijgen of dalen naarmate het niveau toeneemt, zonder significante variatie door teksttype.

Methodologie

1. Data:

• Hoofddataset: 720 geschreven examenteksten (2017–2020) verdeeld over niveaus A2, B1, B2 en C1. De teksten omvatten verschillende genres: persoonlijke brieven, verhalende teksten, semi-formele brieven en argumentatieve teksten.
• Validatiedataset (Test Set 2): 398 teksten uit 2010, gebruikt om de generaliseerbaarheid van het model over tijd en verschillende examenopdrachten heen te testen.
• Verdeling: 600 teksten voor training, 120 voor interne validatie (Test Set 1).

2. Kenmerkextractie (Feature Extraction):
Er werden vier categorieën linguïstische kenmerken geëxtraheerd met behulp van tools zoals Stanza (voor tokenisatie, lemmatisatie en POS-tagging), een spellchecker en een grammatica-corrector:

• Lexicale kenmerken: Woordenschatcomplexiteit, diversiteit (o.a. Type-Token Ratio, MTLD, RTTR), en sofisticatie (aandeel zeldzame woorden, abstractie van zelfstandige naamwoorden).
• Morfologische kenmerken: Frequenties van woordsoorten (POS), en grammaticale categorieën (naamvallen, getallen, tijd, persoon, geslacht) voor zelfstandige naamwoorden, bijvoeglijke naamwoorden, voornaamwoorden en werkwoorden.
• Oppervlakte-kenmerken (Surface features): Tekstlengte, zinslengte, aantal lettergrepen, en leesbaarheidsindices (SMOG, LIX, Flesch-Kincaid).
• Foutkenmerken: Frequentie van spelling- en grammaticafouten zoals gedetecteerd door correctietools.

3. Kenmerkselectie:
Kenmerken werden geselecteerd op basis van strikte criteria:

• Significant verschil tussen aangrenzende niveaus.
• Monotone toename of afname over de niveaus.
• Correlatie met het proficiëntieniveau.
• Geen significante variatie binnen hetzelfde niveau door teksttype (genre).

4. Classificatie en Evaluatie:

• Algoritmen: Verschillende machine learning-modellen werden getest, waaronder Logistieke Regressie (LR), Support Vector Machines (SVM), Random Forest (RF), Multi-layer Perceptron (MLP), en LDA/QDA.
• Validatie: 10-voudige kruisvalidatie op de trainingsset, gevolgd door evaluatie op Test Set 1 en Test Set 2.
• Metingen: Nauwkeurigheid (accuracy), precisie, recall, F1-score en gebalanceerde nauwkeurigheid (voor onbalans in de dataset).
• Interpreteerbaarheid: Permutatie-kenmerkbelang (permutation feature importance) werd gebruikt om te bepalen welke kenmerken het meest bijdroegen aan de voorspelling.

Belangrijkste Bijdragen

1. Interpreteerbare Modellen: In plaats van "black-box" deep learning-modellen (zoals BERT) die minder transparant zijn op kleinere datasets, focust deze studie op feature-based modellen die inzicht geven in waarom een tekst op een bepaald niveau wordt ingedeeld.
2. Corpus-informed Feature Selectie: De auteur toont aan dat het selecteren van kenmerken op basis van linguïstische analyse (corpus-informed) leidt tot modellen die beter generaliseren over verschillende teksttypes dan modellen die alle beschikbare kenmerken gebruiken.
3. Estse Taalprofiel: Het onderzoek levert een gedetailleerd profiel op van hoe Estse taalvaardigheid zich ontwikkelt van A2 naar C1, specifiek voor het Ests als tweede taal (L2).
4. Implementatie: De beste modellen zijn geïmplementeerd in "ELLE", een open-source Estse taalleeromgeving, voor automatische feedback en proficiëntie-inschatting.

Resultaten

• Nauwkeurigheid:
  • De beste modellen op de hoofddataset (Test Set 1) bereikten een nauwkeurigheid van ongeveer 0,98 bij het combineren van alle relevante kenmerkgroepen (lexicaal, morfologisch, oppervlakte en fouten).
  • Afzonderlijke categorieën presteerden als volgt: Oppervlakte-kenmerken (0,93), Morfologische kenmerken (0,95 met alle kenmerken, iets lager met geselecteerde), Lexicale kenmerken (0,91), en Foutkenmerken (0,72).
• Generaliseerbaarheid:
  • Bij toepassing op de oudere dataset (Test Set 2, 2010) daalde de nauwkeurigheid, maar bleef deze robuust (ongeveer 0,80 voor de gemengde modellen).
  • Modellen die alleen geselecteerde, betrouwbare kenmerken gebruikten (LexRel, MorphRel), vertoonden minder variatie in recall tussen verschillende teksttypes dan modellen die alle kenmerken gebruikten.
• Tijdsontwikkeling: De analyse toonde aan dat schrijftaken tussen 2010 en 2017-2020 complexer zijn geworden, vooral op C1-niveau. Eerdere teksten leken meer op lagere niveaus qua complexiteit.
• Belangrijkste Kenmerken:
  • Lexicaal: Aantal lemma's, RTTR, MTLD en abstractie van zelfstandige naamwoorden.
  • Morfologisch: Aantal naamvallen, gebruik van meervoudsvormen, afname van persoonlijke voornaamwoorden en toename van demonstratieve/interrogatieve voornaamwoorden.
  • Oppervlakte: Aantal woorden, zinnen en lettergrepen.
  • Fouten: Ratio van grammaticale correcties per woord.

Betekenis en Conclusie

De studie bewijst dat het combineren van zorgvuldige corpuslinguïstische analyse met supervised machine learning zeer effectief is voor het voorspellen van CEFR-niveaus in het Ests. De belangrijkste bevinding is dat het selecteren van kenmerken die consistent evolueren over niveaus en onafhankelijk zijn van het tekstgenre, leidt tot modellen die niet alleen nauwkeurig zijn, maar ook interpreteerbaar en generaliseerbaar.

Dit heeft directe implicaties voor:

• Toetsing: Ondersteuning bij het digitaliseren van staatsexamens in Estland.
• Onderwijs: Het bieden van instant, evidence-based feedback aan leerlingen over hun taalcomplexiteit en fouten.
• Onderzoek: Het bieden van een raamwerk dat kan worden toegepast op andere talen om de ontwikkeling van tweede-taalvaardigheid te begrijpen.

De auteur concludeert dat hoewel deze systemen deskundige beoordeling niet volledig kunnen vervangen, ze een waardevol instrument zijn voor plaatsingstests, zelfbeoordeling en het ondersteunen van leraren.