Structured Prompting for Arabic Essay Proficiency: A Trait-Centric Evaluation Approach

Probleemstelling

Automatisch Essay Scoring (AES) is een cruciaal hulpmiddel in het onderwijs, maar de ontwikkeling voor het Arabisch loopt sterk achter op die voor talen als het Engels. Bestaande Arabische AES-systemen richten zich voornamelijk op holistische scores of de correctheid van de inhoud, en negeren vaak de nuance van taalvaardigheid zoals organisatie, woordenschat, ideevorming en stijl.
De belangrijkste uitdagingen zijn:

• Gebrek aan data: Er zijn weinig grote, gelabelde datasets beschikbaar voor Arabisch.
• Linguïstische complexiteit: Het Arabisch kent specifieke uitdagingen die algemene modellen moeilijk hanteren.
• Beperkte methodologie: Bestaande tools evalueren zelden specifieke vaardigheden (traits) en vertrouwen vaak op aangepaste modellen (fine-tuning) die veel data en rekenkracht vereisen.

Methodologie

De auteurs stellen een nieuw raamwerk voor dat prompt engineering gebruikt om Large Language Models (LLMs) in te zetten voor trait-specifiek scoring in het Arabisch, zonder dat er sprake is van model fine-tuning. Ze gebruiken het QAES-dataset (het eerste publiek beschikbare Arabische AES-corpus met trait-annotaties).

Het onderzoek introduceert een drie-traps prompting-strategie:

1. Standaard Prompting (Level 1 - Zero-shot):

   • De LLM krijgt een gestructureerde prompt om direct scores toe te kennen aan zeven linguïstische traits (zoals organisatie, woordenschat, stijl, etc.) op basis van de essaytekst.
   • Er worden geen voorbeelden of rubrieken meegegeven.

2. Hybride Trait Prompting (Level 2 - Multi-agent simulatie):

   • Dit benadert de evaluatie alsof er meerdere gespecialiseerde beoordelaars zijn.
   • Vijf gesimuleerde "raters" worden aangewezen, elk met een specialisatie (bijv. Rateur A voor organisatie, Rateur B voor woordenschat).
   • Elke rateur beoordeelt alleen de aspecten binnen zijn expertise. De uiteindelijke score voor een trait wordt berekend door de gemiddelde scores van de relevante raters te nemen. Dit vermindert de cognitieve last op het model en simuleert expert-gedrag.

3. Rubric-Guided Few-Shot Prompting (Level 3):

   • De LLM krijgt een gedetailleerde beoordelingsrubriek in het Arabisch, gecombineerd met drie voorbeeldantwoorden (met lage, gemiddelde en hoge scores).
   • Het model moet het doel-essay vergelijken met deze voorbeelden en de rubriek, en vervolgens een onderbouwde score in JSON-formaat genereren.

Experimenteel Opzet:

• Datasets: Het QAES-dataset met 195 essays van Arabischsprekende studenten.
• Modellen: Acht verschillende LLMs (zowel open-source als proprietary) van verschillende groottes, waaronder Fanar-1-9B-Instruct, Qwen-series, ALLaM, Jais, LLaMA-2 en ChatGPT-4.
• Evaluatiemeta: Quadratic Weighted Kappa (QWK) om de overeenstemming tussen de model-scores en menselijke goudstandaard-scores te meten, aangevuld met 95% betrouwbaarheidsintervallen (CI).

Belangrijkste Bijdragen

1. Eerste trait-specifieke evaluatie: Dit is het eerste onderzoek dat prompt-engineering strategieën toepast voor trait-specifiek scoring van Arabische essays op het QAES-dataset.
2. Nieuw raamwerk: Introductie van een drie-traps prompting-strategie (Standaard, Hybride, Rubric-geleid) die specifiek is ontworpen voor de complexiteit van het Arabisch.
3. Few-shot toepassing: Eerste toepassing van few-shot prompting voor trait-specifieke scoring in het Arabisch, waarbij voorbeeldantwoorden worden gebruikt om het oordeel van het model te kalibreren.
4. Inzicht in modelprestaties: Kwalitatieve inzichten in welke linguïstische traits het meest robuust worden geëvalueerd door huidige modellen en hoe prompt-structuur de prestaties beïnvloedt.

Resultaten

De experimentele resultaten tonen aan dat de structuur van de prompt belangrijker is dan de schaal van het model:

• Beste Model: Fanar-1-9B-Instruct behaalde de hoogste overeenstemming (QWK) in zowel zero-shot als few-shot settings.
  • QWK = 0,28 (Zero-shot)
  • CI bovengrens = 0,41 (Few-shot/Rubric-geleid)
• Effect van Prompting: Er was een duidelijke verbetering in prestaties van Level 1 naar Level 3. De rubric-geleide few-shot prompting (Level 3) leverde consistente winst op voor alle modellen en traits.
• Traits: Traits op discourse-niveau, zoals Development (ideevorming) en Style, lieten de grootste verbeteringen zien door de gestructureerde prompts.
• Modelgrootte: Kleinere modellen (zoals Qwen1.5 en LLaMA-2) presteerden vaak slecht, met QWK-scores dicht bij nul of negatief, vooral bij complexere prompts. Grotere of beter getrainde Arabische modellen (Fanar, ALLaM) presteerden aanzienlijk beter.
• Vergelijking met Baseline: De beste resultaten (QWK 0,28) blijven onder de menselijke inter-rater overeenstemming (0,72), maar vertegenwoordigen een verbetering ten opzichte van eerdere baselines (bijv. 0,26 voor logistische regressie/AraBERT).

Betekenis en Conclusie

Dit onderzoek bewijst dat gestructureerde prompting een haalbaar en schaalbaar alternatief is voor traditionele, op toezicht gebaseerde AES-modellen, vooral in contexten met beperkte middelen (low-resource settings).

• Schalbaarheid: Het raamwerk maakt het mogelijk om bestaande LLMs direct in te zetten voor Arabisch onderwijs zonder kostbare fine-tuning.
• Pedagogische waarde: Door te focussen op specifieke traits (in plaats van alleen een totaalscore), biedt het waardevol, interpreteerbaar feedback voor studenten.
• Toekomst: De studie legt de basis voor schaalbare beoordelingssystemen in het Arabisch en andere ondervertegenwoordigde talen. Toekomstig werk richt zich op het uitbreiden van datasets en het oplossen van methodologische uitdagingen zoals de aggregatie van scores in hybride settings.

Kortom, de studie concludeert dat de juiste prompt-engineering (vooral met rubrieken en voorbeelden) essentieel is om LLMs effectief te maken voor het beoordelen van Arabische taalvaardigheid, meer dan alleen het vergroten van de modelgrootte.