Mitigating Bias in Automated Grading Systems for ESL Learners: A Contrastive Learning Approach

Sintesi Tecnica: Mitigazione del Bias nei Sistemi di Valutazione Automatica per Studenti ESL

Problematica
Man mano che i sistemi di Valutazione Automatica dei Saggi (AES), in particolare quelli basati su architetture Transformer come BERT e DeBERTa, vengono implementati in contesti educativi ad alto impatto, essi mostrano un significativo bias algoritmico contro gli studenti ESL (English as a Second Language). Il documento identifica che questi modelli spesso ricorrono allo "shortcut learning" (apprendimento per scorciatoie), affidandosi a euristiche linguistiche superficiali piuttosto che a un ragionamento semantico profondo. Nello specifico, le teste di attenzione dei Transformer si concentrano in modo sproporzionato su distinti marcatori L2 (ad esempio, uso errato delle preposizioni, incongruenze nei tempi verbali) come proxy di bassa qualità. Ciò risulta in un "effetto di punteggio vincolato" (constrained scoring effect) in cui i saggi ESL ad alta competenza vengono sistematicamente sottovotati rispetto ai saggi di madrelingua di identica qualità umana. L'analisi iniziale degli autori su un modello DeBERTa-v3 sottoposto a fine-tuning ha rivelato che i saggi ESL ad alta competenza ricevevano punteggi circa il 10,3% inferiori rispetto ai rispettivi controparti madrelingua, nonostante una valutazione umana equivalente.

Metodologia
Per affrontare questo divario di rappresentazione senza sacrificare l'accuratezza complessiva della valutazione, gli autori propongono un intervento specifico per il dominio: Apprendimento Contrastivo con Coppie di Saggi Corrispondenti.

1. Costruzione dei Dati: Lo studio ha utilizzato un benchmark unificato che fonde il dataset ASAP 2.0 (contenente sia saggi di madrelingua che ESL) e il dataset ELLIPSE (specifico per ESL). I punteggi di entrambi i dataset sono stati normalizzati in un intervallo [0, 1].
2. Formazione delle Triplette: Il cuore della metodologia consiste nella generazione algoritmica di "Triplette di Equità" $(A, P, N)$:
   • Ancora (A): Un saggio di un madrelingua con un punteggio normalizzato $S$.
   • Positivo (P): Un saggio ESL con un punteggio umano entro un intervallo ristretto rispetto all'ancora ($[S - 0,02, S + 0,02]$).
   • Negativo (N): Un saggio (madrelingua o ESL) con un punteggio significativamente diverso dall'ancora ($[S \pm 0,20]$).
     Questa costruzione costringe il modello a trattare i saggi ESL e quelli di madrelingua di equivalente qualità come "gemelli di qualità", richiedendo matematicamente che i loro embedding latenti siano più vicini tra loro rispetto a saggi di diversa qualità.
3. Architettura del Modello e Addestramento:
   • Modello Base: DeBERTa-v3-base di Microsoft, sottoposto a fine-tuning tramite Low-Rank Adaptation (LoRA) con rank $r=16$.
   • Funzione di Perdita: La testa di regressione è stata rimossa e il backbone è stato sottoposto a fine-tuning utilizzando la Triplet Margin Loss: $L = \max(0, d(A, P) - d(A, N) + \alpha)$, dove $d$ è la distanza euclidea e $\alpha$ è il margine.
   • Iperparametri: Studi di ablazione preliminari hanno determinato un margine ottimale $\alpha = 1,0$. Il modello è stato addestrato per 2 epoche per allineare lo spazio latente preservando la conoscenza pre-addestrata.
   • Valutazione: Dopo l'allineamento, il backbone è stato congelato e una leggera testa di regressione lineare è stata addestrata per 5 epoche per mappare gli embedding equi verso punteggi scalari.

Risultati Chiave
L'approccio proposto ha dimostrato una significativa riduzione del bias mantenendo un'accuratezza di valutazione accettabile:

• Riduzione del Bias: La disparità di punteggio (gap) per i saggi ad alta competenza è stata ridotta dal 10,3% del modello baseline al 6,2% nel modello contrastivo, rappresentando una riduzione del 39,9% del gap di bias.
• Mantenimento dell'Accuratezza: Il modello ha raggiunto un Quadratic Weighted Kappa (QWK) di 0,756, che rimane al di sopra della soglia di 0,70 tipicamente richiesta per un "accordo sostanziale" nella valutazione educativa. Ciò indica che il modello ha appreso una rappresentazione più equa senza far collassare lo spazio degli embedding o degradare severamente le prestazioni.
• Risultati dell'Ablazione: Un'impostazione "aggressiva" con $\alpha = 2,0$ ha ridotto ulteriormente il gap di bias ma ha causato un calo più significativo del QWK (0,718), suggerendo che $\alpha = 1,0$ rappresenta la frontiera di Pareto ottimale tra equità e accuratezza.
• Analisi Linguistica: Un'analisi post-hoc utilizzando spaCy e textstat ha rivelato che il modello baseline penalizzava erroneamente la complessità sintattica nella scrittura ESL, scambiando strutture sintattiche L2 valide per errori. Il modello contrastivo è riuscito a disgiungere la complessità della frase dagli errori grammaticali, smettendo di penalizzare le caratteristiche stilistiche comuni nella scrittura L2 ad alta competenza.

Significatività e Rivendicazioni
Il documento sostiene che il tradizionale compromesso tra equità e accuratezza negli AES potrebbe essere meno severo di quanto precedentemente assunto. Utilizzando coppie di triplette corrispondenti, gli autori dimostrano che l'apprendimento contrastivo può mirare efficacemente a specifiche rappresentazioni latenti della qualità piuttosto che affidarsi a tecniche avversarie ampie o all'aumento dei dati, che spesso degradano le prestazioni del modello.

Lo studio conclude che questo approccio offre un quadro viabile per mitigare il bias demografico nei modelli basati su encoder. Tuttavia, gli autori rimangono modesti riguardo all'immediata implementazione, osservando che il modello attualmente mostra una tendenza alla sottovalutazione sistematica per entrambi i gruppi (suggerendo una politica di valutazione più conservativa) e che il modello richiede un riaddestramento per generalizzare ad altre demografie o architetture (es. RoBERTa, ELECTRA). Il lavoro futuro proposto esplorerà le tecniche di ricalibrazione del punteggio e l'apprendimento multi-task per perfezionare ulteriormente l'equilibrio tra equità e accuratezza assoluta.