Mitigating Bias in Automated Grading Systems for ESL Learners: A Contrastive Learning Approach

Technische Samenvatting: Mitigatie van Bias in Geautomatiseerde Beoordelingssystemen voor ESL-lezers

Probleemstelling
Naarmate Automated Essay Scoring (AES)-systemen, met name die gebaseerd op Transformer-architecturen zoals BERT en DeBERTa, worden ingezet in hoogwaardige onderwijsomgevingen, vertonen ze een significante algoritmische bias tegenover English as a Second Language (ESL) lezers. Het artikel identificeert dat deze modellen vaak gebruikmaken van "shortcut learning", waarbij ze vertrouwen op oppervlakkige linguïstische heuristieken in plaats van diepe semantische redenering. Specifiek besteden de attention heads van Transformers disproportioneel veel aandacht aan specifieke L2-kenmerken (bijv. foutief gebruik van voorzetsels, inconsistenties in werkwoordstijden) als proxies voor lage kwaliteit. Dit resulteert in een "constrained scoring effect", waarbij essays van hoogopgeleide ESL-lezers systematisch lager worden beoordeeld dan essays van moedertaalsprekers van identieke menselijke kwaliteit. De initiële analyse van de auteurs van een gefinetuned DeBERTa-v3 model toonde aan dat essays van hoogopgeleide ESL-lezers ongeveer 10,3% lager scoorden dan hun moedertaalsprekers-tegenhangers, ondanks een gelijkwaardige menselijke beoordeling.

Methodologie
Om dit representatieverschil aan te pakken zonder de algehele beoordelingsnauwkeurigheid op te offeren, stellen de auteurs een domeinspecifieke interventie voor: Contrastive Learning met Gematched Essay Paren.

1. Data Constructie: De studie maakte gebruik van een verenigde benchmark die de ASAP 2.0 dataset (bevat zowel Native als ESL essays) en de ELLIPSE dataset (ESL-specifiek) samenvoegt. Scores uit beide datasets werden genormaliseerd naar een bereik van [0, 1].
2. Triplet Formatie: De kern van de methodologie betreft het algoritmisch genereren van "Fairness Triplets" $(A, P, N)$:
   • Anchor (A): Een essay van een moedertaalspreker met een genormaliseerde score $S$.
   • Positive (P): Een ESL-essay met een menselijke score binnen een nauwe marge van de anchor ($[S - 0,02, S + 0,02]$).
   • Negative (N): Een essay (Native of ESL) met een score die significant verschilt van de anchor ($[S \pm 0,20]$).
     Dit construct dwingt het model om ESL- en moedertaalsprekers-essays van gelijke kwaliteit te behandelen als "kwaliteitstweelingen", wat wiskundig vereist dat hun latente embeddings dichter bij elkaar liggen dan bij essays van een andere kwaliteit.
3. Modelarchitectuur & Training:
   • Base Model: Microsoft's DeBERTa-v3-base, gefinetuned met Low-Rank Adaptation (LoRA) met rank $r=16$.
   • Loss Functie: De regressiekop werd verwijderd en de backbone werd gefinetuned met behulp van Triplet Margin Loss: $L = \max(0, d(A, P) - d(A, N) + \alpha)$, waarbij $d$ de Euclidische afstand is en $\alpha$ de marge.
   • Hyperparameters: Voorlopige ablatie-studies bepaalden een optimale marge $\alpha = 1,0$. Het model werd getraind voor 2 epochs om de latente ruimte uit te lijnen terwijl de pre-trained kennis behouden bleef.
   • Beoordeling: Na de uitlijning werd de backbone bevroren en werd een lichtgewicht lineaire regressiekop getraind gedurende 5 epochs om de eerlijke embeddings terug te mappen naar scalaire scores.

Belangrijkste Resultaten
De voorgestelde aanpak demonstreerde een significante reductie in bias terwijl de acceptabele beoordelingsnauwkeurigheid behouden bleef:

• Reductie van Bias: Het verschil in scoring (de gap) voor hoogopgeleide essays werd verminderd van 10,3% in het baseline model naar 6,2% in het contrastieve model, wat een reductie van 39,9% in de bias-gap betekent.
• Behoud van Nauwkeurigheid: Het model behaalde een Quadratic Weighted Kappa (QWK) van 0,756, wat boven de 0,andere 0,70 drempel blijft die gewoonlijk vereist is voor "substantiële overeenstemming" in onderwijsassessment. Dit geeft aan dat het model een eerlijkere representatie heeft geleerd zonder de embedding-ruimte te laten instorten of de prestaties ernstig te verslechteren.
• Ablatie-bevindingen: Een "agressieve" instelling met $\alpha = 2,0$ reduceerde de bias-gap iets verder maar veroorzaakte een meer significante daling in QWK (0,718), wat suggereert dat $\alpha = 1,0$ de optimale Pareto-frontale balans vormt tussen eerlijkheid en nauwkeurigheid.
• Linguïstische Analyse: Post-hoc analyse met spaCy en textstat onthulde dat het baseline model onterecht zinscomplexiteit in ESL-schrijven bestrafde, waarbij het geldige L2-syntactische structuren aanzag voor fouten. Het contrastieve model slaagde erin om zinscomplexiteit te ontkoppelen van grammaticale fouten, waardoor het niet langer stilistische kenmerken bestrafde die gebruikelijk zijn bij hoogopgeleid L2-schrijven.

Betekenis en Claims
Het artikel beweert dat de traditionele afweging tussen eerlijkheid en nauwkeurigheid in AES minder ernstig kan zijn dan voorheen aangenomen. Door gebruik te maken van gematchte triplet paren, demonstreren de auteurs dat contrastief leren effectief specifieke latente representaties van kwaliteit kan targeten, in plaats van te vertrouwen op brede adversariële technieken of data-augmentatie, die vaak de modelprestaties verslechteren.

De studie concludeert dat deze aanpak een levensvatbaar kader biedt voor het mitigeren van demografische bias in encoder-gebaseerde modellen. De auteurs blijven echter bescheiden over directe implementatie, waarbij zij opmerken dat het model momenteel een systematische onderbeoordelingstendens vertoont voor beide groepen (wat duidt op een meer conservatief beoordelingsbeleid) en dat het model hertraining vereist om te generaliseren naar andere demografieën of architecturen (bijv. RoBERTa, ELECTRA). Toekomstig werk wordt voorgesteld om score-recalibratietechnieken en multi-task learning te verkennen om de balans tussen eerlijkheid en absolute nauwkeurigheid verder te verfijnen.