Evaluating Austrian A-Level German Essays with Large Language Models for Automated Essay Scoring

Dit onderzoek concludeert dat, hoewel moderne grote taalmodellen rubric-gebaseerde evaluaties van Oostenrijkse A-niveau Duitse essays kunnen uitvoeren, hun lage overeenkomst met menselijke beoordelingen (maximaal 40,6% voor subdimensies en 32,8% voor eindcijfers) betekent dat ze momenteel niet betrouwbaar genoeg zijn voor gebruik in een echte gradingomgeving.

De kern

Stel je voor dat je een leraar bent in Oostenrijk. Je hebt honderden leerlingen die een proefwerk Duits moeten maken. Het is niet zomaar een dictaat; het zijn essays, commentaren en brieven. Nu, als leraar, moet je al die teksten lezen, beoordelen en een cijfer geven. Dat kost enorm veel tijd en energie. Soms ben je moe, soms heb je een slechte dag, en dat kan je eerlijkheid beïnvloeden.

De auteurs van dit paper, Jonas, Lena en Clemens, dachten: "Zouden we dit niet kunnen laten doen door slimme computers?" Ze wilden weten of Grote Taalmodellen (LLMs) – de technologie achter slimme chatbots – goed genoeg zijn om deze Oostenrijkse proefwerken te beoordelen.

Hier is wat ze hebben gedaan, vertaald in een simpel verhaal:

1. De Proef: De "Slimme Hulp"

Ze namen 101 echte, anonieme proefwerken van leerlingen. Ze gaven deze teksten aan vier verschillende "slimme computers" (de modellen LLama3.3, DeepSeek, Qwen en Mixtral).

De computer moest niet alleen een cijfer geven, maar ook kijken naar specifieke regels (een rooster of rubric):

• Is de inhoud goed?
• Is de structuur logisch?
• Is de taal correct?
• Is de stijl goed?

2. De Uitdaging: De "Blinde" Computer

In het begin probeerden ze de computer simpelweg de regels te geven en te zeggen: "Beoordeel dit." Dit noemen ze zero-shot.

• Het probleem: De computer was als een student die net de regels heeft gelezen, maar nog nooit een proefwerk heeft zien nakijken. Hij wist niet hoe streng of hoe makkelijk de menselijke leraar was. Hij gaf vaak willekeurige cijfers of bleef hangen in het midden (altijd een 3).

3. De Oplossing: De "Voorbeeldmap" (RAG)

Om de computer te helpen, gaven ze hem een voorbeeldmap (in het vakjargon: Retrieval Augmented Generation of RAG).

• De analogie: Stel je voor dat je een nieuwe leraar bent. Je krijgt niet alleen de regels, maar ook een map met drie voorbeeldproefwerken: één waar een 1 op staat (perfect), één met een 3 (gemiddeld) en één met een 5 (slecht).
• De computer kon nu kijken: "Oh, dit proefwerk lijkt op dat voorbeeld met de 3, dus ik geef ook een 3."
• Ze probeerden verschillende manieren om deze voorbeelden te kiezen: alleen de beste/slechtste, of de meest vergelijkbare teksten.

4. De "Gesprekjes" (Few-Shot Prompting)

Ze ontdekten dat het nog beter werkte als ze de computer een gesprek lieten voeren.

• De analogie: In plaats van alleen een map te geven, zeggen ze tegen de computer: "Kijk, hier is een tekst. Wat denk jij dat het cijfer is?" De computer zegt: "Een 2." De leraar zegt: "Nee, dat is een 4, want hier heb je de structuur verkeerd gebruikt." De computer denkt na en probeert het opnieuw.
• Dit noemen ze few-shot prompting. Het is alsof je de computer een korte training geeft terwijl je het doet.

5. De Resultaten: De "Nog-Niet-Klaar" Status

Hoe goed was het?

• De winnaar: Het model LLama3.3 was de beste. De andere drie modellen waren te dom of te verwarrend (ze gaven soms Chinese karakters voor fouten of bleven steken in één cijfer).
• De score: Zelfs met de beste trucjes (de voorbeeldmap en het gesprekjes) kwam de computer maar in 32,8% van de gevallen op exact hetzelfde eindcijfer als de menselijke leraar.
• Bij de onderdelen (zoals "taalgebruik") was het iets beter (maximaal 40,6% overeenstemming), maar nog steeds niet perfect.

6. De Conclusie: Een Hulp, geen Vervanger

De auteurs concluderen dat deze slimme computers nog niet klaar zijn om de leraar volledig te vervangen.

• Waarom? Het kost te veel tijd (soms 10 minuten per proefwerk!) en de computer is nog niet betrouwbaar genoeg voor een echt examen.
• Maar... Het is wel een veelbelovende hulp. Als je de computer gebruikt om een eerste inschatting te geven, kan de leraar sneller werken.

Kort samengevat:
Stel je voor dat je een assistent hebt die heel snel kan lezen en de regels kent, maar die soms nog een beetje "dwaas" is en niet precies weet hoe streng je bent. Je kunt hem gebruiken om de stapel werk te verkleinen, maar je moet zelf nog steeds de pen vasthouden om het echte cijfer te geven. De technologie is op weg, maar voor nu is de menselijke leraar nog steeds de baas.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Evaluating Austrian A-Level German Essays with Large Language Models for Automated Essay Scoring", geschreven in het Nederlands.

1. Probleemstelling

Het paper adresseert de uitdaging van Automated Essay Scoring (AES) voor Oostenrijkse A-level examens in het vak Duits. Het handmatig beoordelen van essays is tijdrovend voor docenten (gemiddeld 13,57% van hun werktijd) en vatbaar voor subjectiviteit. Hoewel er reeds onderzoek is gedaan naar AES, ontbreekt er een robuuste evaluatie van moderne Large Language Models (LLMs) voor de specifieke context van Oostenrijkse eindexamens. Deze examens omvatten zeven verschillende teksttypes (zoals discussie, commentaar, tekstanalyse) die elk hun eigen beoordelingsrubriek vereisen. Het doel is om te onderzoeken of state-of-the-art open-weight LLMs in staat zijn om deze complexe, rubric-gebaseerde beoordelingen accuraat uit te voeren zonder fine-tuning.

2. Methodologie

Dataset:

• Bron: 101 geanonimiseerde studentexamens van de SRDP (Standardised School-Leaving and Diploma Examination) uit 2023 en 2024.
• Teksttypes: Drie soorten werden getest: Literary Interpretation (Tekstinterpretatie), Letter to the Editor (Lezersbrief) en Commentary (Commentaar).
• Beperkingen: Vanwege privacy en OCR-problemen (handgeschreven teksten en slechte scans) konden slechts 101 van de oorspronkelijke 173 datasets worden verwerkt.
• Grading Systeem: Een gestandaardiseerde rubriek met een schaal van 1 (beste) tot 5 (onvoldoende). De beoordeling is onderverdeeld in vier dimensies: Inhoud, Structuur, Taalnormen en Stijl/Uitdrukking.

Modellen:
Vier open-weight LLMs werden geëvalueerd:

1. LLama3.3 70b
2. DeepSeek-R1 32b
3. Qwen3 30b
4. Mixtral 8x7b

Experimentele Opzet:
De auteurs vergeleken verschillende prompting-strategieën en context-mechanismen:

• Baseline: Zero-shot prompting met de rubriek en een JSON-schema.
• RAG (Retrieval Augmented Generation): Het toevoegen van context door vergelijkbare examens op te halen. Drie strategieën werden getest:
  • Best-Average-Worst: Vaste set van de beste, gemiddelde en slechtste antwoorden.
  • Most-similar-matches: Vector search naar de meest vergelijkbare teksten.
  • Range-of-examples: Sets van 5 teksten die alle gradaties (1-5) dekken.
• Few-Shot Prompting: Iteratieve beoordeling waarbij het model feedback krijgt op zijn eerdere schattingen.
• Chain-of-Thought (CoT): Het toevoegen van redeneringsstappen aan de prompts.

Evaluatiemetrics:

• Quadratic Weighted Kappa (QWK): Maat voor overeenstemming tussen mens en model.
• Mean Absolute Error (MAE): Gemiddelde afwijking van de score.
• Pearson Correlation Coefficient (PCC): Lineaire relatie tussen voorspelling en werkelijke score.
• Accuracy: Percentage exact correcte scores.

3. Belangrijkste Bijdragen

• Eerste uitgebreide evaluatie: Dit is een van de eerste studies die LLMs test op Oostenrijkse A-level Duitse examens met een gestandaardiseerde, landelijke rubriek.
• Vergelijking van strategieën: Systematische vergelijking van RAG versus Few-Shot prompting en de impact van Chain-of-Thought op de beoordelingskwaliteit.
• Modelselectie en stabiliteit: Inzicht in de stabiliteit en betrouwbaarheid van verschillende open-source modellen voor specifieke taak-georiënteerde beoordeling.
• Inzicht in contextlengte: Ontdekking dat de optimale hoeveelheid context verschilt per teksttype (langere teksten profiteren van minder context, kortere teksten van meer context).

4. Resultaten

Modelprestaties:

• LLama3.3 70b was het enige model dat stabiel en divers kon beoordelen. Het produceerde 100% geldige JSON-antwoorden.
• Mixtral 8x7b faalde volledig (beoordeelde bijna 100% van de teksten als een 3).
• DeepSeek-R1 was te streng, leverde soms Chinese karakters op in feedback en had een hoge foutmarge in outputformaten.
• Qwen3 was iets diverser maar minder accuraat dan LLama3.3.

Prestatie van Technieken:

• RAG: Verbeterde de resultaten ten opzichte van de baseline, maar miste vaak de variatie in beoordeling. De beste RAG-configuratie (1 referentietekst) bereikte een QWK van 0,48 voor de eindcijfers, maar lag lager bij sub-dimensies.
• Few-Shot Prompting: Leverde over het algemeen de beste resultaten op, vooral bij het mengen van contextlengtes per taak.
  • De Few-mixed strategie (Best-Average-Worst voor lange teksten, All-Grades voor korte teksten) behaalde de hoogste QWK-scores voor sub-dimensies (0,49 - 0,55 voor Taak 1).
• Chain-of-Thought (CoT):
  • CoT verbeterde de Accuracy aanzienlijk (tot 32,8% voor de eindcijfers, het hoogste van alle methoden).
  • Echter, de QWK daalde bij CoT (0,23), wat suggereert dat hoewel het model vaker het juiste cijfer gaf, de fouten bij misclassificaties zwaarder waren (grotere afwijkingen).
• Overeenstemming: De maximale overeenstemming met menselijke beoordelaars op sub-dimensies was 40,6%, en voor de eindcijfers slechts 32,8%.

5. Betekenis en Conclusie

Conclusie:
Hoewel LLMs (met name LLama3.3 70b) in staat zijn om gestandaardiseerde rubrieken te gebruiken en een redelijke correlatie met menselijke beoordelaars te tonen, zijn ze nog niet nauwkeurig genoeg voor volledig geautomatiseerd, autonoom gebruik in een echte examensituatie. De huidige overeenstemming (rond 30-33%) is te laag om docenten volledig te vervangen.

Significantie:

• Ondersteunend Rol: LLMs hebben potentie als hulpmiddel voor docenten (bijvoorbeeld voor eerste feedback of workloadverlichting), maar niet als vervanging.
• Technische Inzichten: Het paper benadrukt dat prompt-engineering (Few-Shot, CoT) en contextstrategieën cruciaal zijn, soms belangrijker dan alleen het kiezen van het grootste model.
• Beperkingen: De studie wijst op de noodzaak van meer rekenkracht (LLama3.3 70b nam ~240 seconden per taakpaar), grotere en diversere datasets, en meervoudige menselijke beoordelaars voor een objectieve "ground truth".
• Toekomst: De toekomst van AES ligt niet in het vervangen van menselijk oordeel, maar in het creëren van transparante, eerlijke AI-systemen die het werk van educatoren versterken.

Kortom, dit paper biedt een realistisch en kritisch beeld van de huidige staat van de kunst voor AES in het Duits, waarbij het aantoont dat we nog een lange weg te gaan hebben voordat AI examens volledig en betrouwbaar kan beoordelen.