💬 NLP

Mitigating Bias in Automated Grading Systems for ESL Learners: A Contrastive Learning Approach

यह अध्ययन मेल किए गए निबंध युग्मों (matched essay pairs) के साथ एक कंट्रास्टिव लर्निंग दृष्टिकोण का उपयोग करके ESL शिक्षार्थियों के विरुद्ध स्वचालित निबंध स्कोरिंग में एल्गोरिद्मिक पूर्वाग्रह को संबोधित करता है, जिसने समग्र ग्रेडिंग सटीकता बनाए रखते हुए उच्च-दक्षता स्कोरिंग असमानताओं को 39.9% तक सफलतापूर्वक कम कर दिया।

मूल लेखक: Kevin Fan, Eric Yun

प्रकाशित 2026-01-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kevin Fan, Eric Yun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ इस शोध पत्र (paper) का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

समस्या: पक्षपाती "सख्त शिक्षक"

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट शिक्षक है जिसे निबंधों को स्वचालित रूप से ग्रेड करने के लिए डिज़ाइन किया गया है। इस रोबोट ने हजारों निबंध पढ़े हैं जो मूल अंग्रेजी बोलने वालों (native speakers) द्वारा लिखे गए हैं और उस अनुभव के आधार पर उसने सीखा है कि एक "अच्छा" निबंध कैसा दिखता है।

शोधकर्ताओं ने एक समस्या पाई: जब यह रोबोट उन छात्रों द्वारा लिखे गए निबंधों को ग्रेड करता है जो अंग्रेजी को दूसरी भाषा के रूप में बोलते हैं (ESL), तो यह भ्रमित हो जाता है। भले ही एक ESL छात्र एक शानदार, उच्च-गुणवत्ता वाला निबंध लिखता है, रोबोट अक्सर उसे एक मूल वक्ता (native speaker) की तुलना में कम स्कोर देता है, जबकि दोनों की गुणवत्ता बिल्कुल समान होती है।

ऐसा क्यों होता है?
रोबोट एक "शॉर्टकट" ले रहा है। कहानी के गहरे अर्थ (semantics) को पढ़ने के बजाय, यह सतही संकेतों (surface-level clues) को देख रहा है, जैसे वाक्य की लंबाई या विशिष्ट व्याकरण पैटर्न।

उदाहरण: कल्पना कीजिए कि एक जज सोचता है, "यदि कोई वाक्य लंबा और जटिल है, तो वह एक गलती है।" मूल वक्ता स्वाभाविक रूप से लंबे, जटिल वाक्य लिखते हैं। लेकिन ESL छात्र लंबे, जटिल वाक्य इसलिए लिखते हैं क्योंकि वे दूसरी भाषा में एक जटिल विचार को व्यक्त करने की पूरी कोशिश कर रहे होते हैं। रोबोट उस लंबाई को देखता है और सोचता है, "यह एक त्रुटि जैसा लग रहा है," और स्कोर कम कर देता है। यह एक संगीत समीक्षक की तरह है जो जैज़ (jazz) से नफरत करता है क्योंकि उसके नोट्स शास्त्रीय संगीत (classical music) के नियमों का पालन नहीं करते, भले ही वह जैज़ सुंदर हो।

खोज: "स्कोर सीलिंग" (Score Ceiling)

शोधकर्ताओं ने एक शीर्ष-स्तरीय AI मॉडल (DeBERTa) का परीक्षण किया और ESL छात्रों के लिए एक विशिष्ट "सीलिंग" (सीमा) पाई।

यदि एक मूल वक्ता एक आदर्श निबंध लिखता, तो रोबोट उसे उच्च स्कोर (जैसे, 9/10) देता।
यदि एक ESL छात्र एक ऐसा निबंध लिखता जिसे मनुष्यों ने समान रूप से आदर्श माना, तो रोबोट उनके स्कोर को कम पर सीमित कर देता (जैसे, 8/10)।
परिणाम: रोबोट व्यवस्थित रूप से उच्च-कुशल ESL लेखकों को लगभग 10% कम आंक रहा था, भले ही निबंध वस्तुनिष्ठ रूप से उतने ही अच्छे थे।

समाधान: "ट्विन ट्रेनिंग" (Twin Training) विधि

इसे ठीक करने के लिए, शोधकर्ताओं ने केवल रोबोट को "निष्पक्ष होने" के लिए नहीं कहा। इसके बजाय, उन्होंने कंट्रास्टिव लर्निंग (Contrastive Learning) नामक तकनीक का उपयोग करके इसे प्रशिक्षित करने का तरीका बदल दिया।

उदाहरण: "ट्विन" अभ्यास
कल्पना कीजिए कि आप एक नए कोच को एथलीटों को जज करने के लिए प्रशिक्षित कर रहे हैं।

पुराना तरीका: आप कोच को एक मूल वक्ता एथलीट दिखाते हैं और कहते हैं, "यह स्वर्ण पदक है।" फिर आप एक ESL एथलीट को दिखाते हैं और कहते हैं, "यह रजत पदक है।" कोच सीख जाता है कि "Native = Gold" और "ESL = Silver", चाहे वास्तविक प्रदर्शन कुछ भी हो।
नया तरीका (ट्रिपलेट रणनीति): शोधकर्ताओं ने तीन निबंधों के समूहों (Triplets) के साथ एक विशेष प्रशिक्षण सेट बनाया:
- एंकर (Anchor): एक मूल वक्ता का निबंध जिसका स्कोर 9 है।
- पॉजिटिव (The Twin): एक ESL निबंध जिसे मनुष्यों ने भी 9 रेटिंग दी है।
- नेगेटिव (The Mismatch): एक निबंध (मूल या ESL) जिसे 5 रेटिंग दी गई है।

रोबोट को एक विशिष्ट नियम सीखने के लिए मजबूर किया गया: "मूल वक्ता का निबंध और ESL निबंध (जुड़वां/Twins) आपको गुणवत्ता के मामले में बिल्कुल एक जैसे दिखने चाहिए क्योंकि उनकी गुणवत्ता समान है। मिसमैच (Mismatched) वाला निबंध बहुत अलग दिखना चाहिए।"

रोबोट को यह देखने के लिए मजबूर करके कि ESL निबंध और मूल वक्ता का निबंध गुणवत्ता के मामले में "जुड़वां" हैं, रोबोट ने "लहजे" (सतही व्याकरण की विचित्रताओं) को अनदेखा करना और "आत्मा" (वास्तविक लेखन की गुणवत्ता) पर ध्यान केंद्रित करना सीखा।

परिणाम: बुद्धिमत्ता खोए बिना अधिक निष्पक्ष

इस नए प्रशिक्षण के बाद, शोधकर्ताओं ने रोबोट का पुन: परीक्षण किया:

पक्षपात में कमी: मूल वक्ता बनाम ESL छात्रों के बीच स्कोर का अंतर 10.3% से घटकर 6.2% रह गया। यह अनfairness (अनुचितता) में 40% की कमी है।
सटीकता बरकरार रही: रोबोट "मूर्ख" नहीं हुआ। यह अभी भी 76% बार मानव ग्रेडर्स के साथ सहमत होता है (एक स्कोर जिसे QWK कहा जाता है), जो इस प्रकार के काम के लिए बहुत अच्छा माना जाता है।
क्या बदला: रोबोट ने ESL छात्रों को जटिल वाक्य संरचनाओं का उपयोग करने के लिए दंडित करना बंद कर दिया। इसने सीखा कि ESL निबंध में एक लंबा, जटिल वाक्य कौशल का संकेत है, न कि एक गलती का।

कमी (सीमाएँ)

शोध पत्र में कुछ बातें ध्यान में रखने के लिए बताई गई हैं:

रूढ़िवादी ग्रेडिंग: नया रोबोट थोड़ा अधिक "सावधान" हो गया। इसने पुराने मुकाबले सभी को (दोनों मूल और ESL) थोड़े कम स्कोर दिए। इसने समूहों के बीच के अंतर को तो ठीक कर दिया, लेकिन पूर्ण स्कोर को पूर्ण बनाने के लिए थोड़े और ट्यूनिंग की आवश्यकता हो सकती है।
इस मॉडल तक सीमित: यह सुधार एक विशिष्ट प्रकार के AI (DeBERTa) और अंग्रेजी सीखने वालों के लिए परीक्षण किया गया था। अन्य भाषाओं या विभिन्न AI मॉडल पर काम करने के लिए इसे फिर से प्रशिक्षित करने की आवश्यकता हो सकती है।

सारांश

शोधकर्ताओं ने एक AI ग्रेडर के लिए "फेयरनेस ट्रेनिंग कैंप" बनाया। AI को यह दिखाकर कि एक मूल वक्ता का निबंध और एक ESL निबंध गुणवत्ता में "जुड़वां" हो सकते हैं, उन्होंने AI को उनके "लहजे" (सतही व्याकरण) के आधार पर निर्णय लेने के बजाय उनके वास्तविक विचारों के आधार पर निर्णय लेना सिखाया। परिणाम एक ऐसी ग्रेडिंग प्रणाली है जो ESL छात्रों के लिए बहुत अधिक निष्पक्ष है और बिना अपनी सटीकता खोए काम करती है।

तकनीकी सारांश: ESL शिक्षार्थियों के लिए स्वचालित ग्रेडिंग प्रणालियों में पूर्वाग्रह को कम करना

समस्या विवरण
जैसे-जैसे ऑटोमेटेड एसे स्कोरिंग (AES) सिस्टम, विशेष रूप से BERT और DeBERTa जैसे ट्रांसफॉर्मर आर्किटेक्चर पर आधारित, उच्च-दांव वाले शैक्षिक परिवेश में तैनात किए जा रहे हैं, वे अंग्रेजी के दूसरे भाषा के रूप में सीखने वाले (ESL) शिक्षार्थियों के विरुद्ध महत्वपूर्ण एल्गोरिद्मिक पूर्वाग्रह प्रदर्शित करते हैं। यह शोध पत्र पहचान करता है कि ये मॉडल अक्सर "शॉर्टकट लर्निंग" (shortcut learning) में संलग्न होते हैं, जो गहरे अर्थपूर्ण तर्क (semantic reasoning) के बजाय सतही भाषाई ह्यूरिस्टिक्स (heuristics) पर निर्भर करते हैं। विशेष रूप से, ट्रांसफॉर्मर अटेंशन हेड्स (attention heads) निम्न गुणवत्ता के प्रॉक्सी के रूप में विशिष्ट L2 मार्करों (जैसे, प्रीपोजीशन का गलत उपयोग, टेन्स की विसंगतियां) पर अत्यधिक ध्यान केंद्रित करते हैं। इसके परिणामस्वरूप एक "प्रतिबंधित स्कोरिंग प्रभाव" (constrained scoring effect) उत्पन्न होता है जहाँ उच्च-दक्षता वाले ESL निबंधों को समान मानव-रेटेड गुणवत्ता वाले नेटिव (Native) वक्ताओं के निबंधों की तुलना में व्यवस्थित रूप से कम अंक दिए जाते हैं। एक फाइन-ट्यून किए गए DeBERTa-v3 मॉडल के लेखकों के प्रारंभिक विश्लेषण से पता चला कि उच्च-दक्षता वाले ESL निबंधों को उनके नेटिव समकक्षों की तुलना में लगभग 10.3% कम अंक प्राप्त हुए, जबकि उनकी मानव रेटिंग समान थी।

कार्यप्रणाली
कुल ग्रेडिंग सटीकता से समझौता किए बिना इस प्रतिनिधित्व अंतराल (representation gap) को संबोधित करने के लिए, लेखक एक डोमेन-विशिष्ट हस्तक्षेप का प्रस्ताव करते हैं: मैच्ड एसे पेयर्स के साथ कॉन्ट्रास्टिव लर्निंग (Contrastive Learning with Matched Essay Pairs)।

डेटा निर्माण: अध्ययन ने ASAP 2.0 डेटासेट (जिसमें नेटिव और ESL दोनों निबंध शामिल हैं) और ELLIFSE डेटासेट (ESL-विशिष्ट) को मिलाकर एक एकीकृत बेंचमार्क का उपयोग किया। दोनों डेटासेट के स्कोर को [0, 1] रेंज में सामान्यीकृत (normalized) किया गया।
ट्रिपलेट निर्माण: कार्यप्रणाली का मुख्य भाग एल्गोरिदम के माध्यम से "फेयरनेस ट्रिपलेट्स" $(A, P, N)$ $(A, P, N)$ उत्पन्न करना है:
- एंकर (A): एक नेटिव स्पीकर का निबंध जिसका सामान्यीकृत स्कोर $S$ है।
- पॉजिटिव (P): एक ESL निबंध जिसका मानव स्कोर एंकर के एक संकीर्ण दायरे ( $[S - 0.02, S + 0.02]$ ) के भीतर है।
- नेगेटिव (N): एक निबंध (नेटिव या ESL) जिसका स्कोर एंकर से काफी भिन्न ( $[S \pm 0.20]$ ) है।
  इस निर्माण से मॉडल को यह मानने के लिए मजबूर किया जाता है कि समान गुणवत्ता वाले ESL और नेटिव निबंध "क्वालिटी ट्विन्स" (quality twins) हैं, जो गणितीय रूप से यह आवश्यक बनाता है कि उनके लेटेंट एम्बेडिंग्स (latent embeddings) अलग गुणवत्ता वाले निबंधों की तुलना में एक-दूसरे के करीब हों।
मॉडल आर्किटेक्चर और प्रशिक्षण:
- बेस मॉडल: माइक्रोसॉफ्ट का DeBERTa-v3-base, जिसे लो-रैंक एडेप्टेशन (LoRA) के साथ रैंक $r=16$ का उपयोग करके फाइन-ट्यून किया गया है।
- लॉस फंक्शन: रिग्रेशन हेड को हटा दिया गया, और बैकबोन को ट्रिपलेट मार्जिन लॉस (Triplet Margin Loss) का उपयोग करके फाइन-ट्यून किया गया: $L = \max(0, d(A, P) - d(A, N) + \alpha)$ , जहाँ $d$ यूक्लिडियन दूरी है और $\alpha$ मार्जिन है।
- हाइपरपैरामीटर्स: प्रारंभिक एब्लेशन अध्ययनों ने इष्टतम मार्जिन $\alpha = 1.0$ निर्धारित किया। प्री-ट्रेंड ज्ञान को संरक्षित करते हुए लेटेंट स्पेस को संरेखित करने के लिए मॉडल को 2 एपोक (epochs) के लिए प्रशिक्षित किया गया।
- स्कोरिंग: संरेखण के बाद, बैकबोन को फ्रीज कर दिया गया, और स्केलर स्कोर में वापस मैप करने के लिए एक लाइटवेट लीनियर रिग्रेशन हेड को 5 एपोक के लिए प्रशिक्षित किया गया।

प्रमुख परिणाम
प्रस्तावित दृष्टिकोण ने समग्र ग्रेडिंग सटीकता बनाए रखते हुए पूर्वाग्रह में महत्वपूर्ण कमी प्रदर्शित की:

पूर्वाग्रह में कमी: उच्च-दक्षता वाले निबंधों के लिए स्कोरिंग असमानता (गैप) बेसलाइन मॉडल के 10.3% से घटकर कॉन्ट्रास्टिव मॉडल में 6.2% हो गई, जो पूर्वाग्रह अंतराल में 39.9% की कमी को दर्शाता है।
सटीकता का रखरखाव: मॉडल ने 0.756 का क्वाड्रेटिक वेटेड कप्पा (QWK) प्राप्त किया, जो शैक्षिक मूल्यांकन के लिए आमतौर पर आवश्यक "पर्याप्त सहमति" (substantial agreement) के 0.70 थ्रेशोल्ड से ऊपर है। यह इंगित करता है कि मॉडल ने एम्बेडिंग स्पेस को ध्वस्त किए बिना या प्रदर्शन में गंभीर गिरावट लाए बिना एक निष्पक्ष प्रतिनिधित्व सीखा है।
एब्लेशन निष्कर्ष: एक "आक्रामक" सेटिंग जिसमें $\alpha = 2.0$ था, उसने पूर्वाग्रह अंतराल को थोड़ा और कम किया लेकिन QWK (0.718) में अधिक महत्वपूर्ण गिरावट आई, जिससे पता चलता है कि $\alpha = 1.0$ निष्पक्षता और सटीकता के बीच इष्टतम पारेटो फ्रंटियर (Pareto frontier) का प्रतिनिधित्व करता है।
भाषाई विश्लेषण: spaCy और textstat का उपयोग करके पोस्ट-हॉक विश्लेषण से पता चला कि बेसलाइन मॉडल ने ESL लेखन में वाक्य जटिलता को गलत तरीके से दंडित किया, जिससे वैध L2 सिंटैक्टिक संरचनाओं को त्रुटियों के रूप में समझा गया। कॉन्ट्रास्टिव मॉडल ने वाक्य जटिलता को व्याकरण संबंधी त्रुटियों से सफलतापूर्वक अलग कर दिया, जिससे उच्च-दक्षता वाले L2 लेखन में सामान्य शैलीगत विशेषताओं को दंडित करना बंद कर दिया।

महत्व और दावे
यह शोध पत्र दावा करता है कि AES में निष्पक्षता और सटीकता के बीच पारंपरिक ट्रेड-ऑफ (trade-off) पहले की तुलना में कम गंभीर हो सकता है। मैच किए गए ट्रिपलेट पेयर्स का उपयोग करके, लेखक प्रदर्शित करते हैं कि कॉन्ट्रास्टिव लर्निंग प्रभावी रूप से गुणवत्ता के विशिष्ट लेटेंट रिप्रजेंटेशन को लक्षित कर सकती है, बजाय व्यापक एडवरसेरियल तकनीकों या डेटा ऑग्मेंटेशन के, जो अक्सर मॉडल के प्रदर्शन को कम कर देते हैं।

अध्ययन निष्कर्ष निकालता है कि यह दृष्टिकोण एनकोडर-आधारित मॉडलों में जनसांख्यिकीय पूर्वाग्रह को कम करने के लिए एक व्यवहार्य ढांचा प्रदान करता है। हालांकि, लेखक तत्काल तैनाती के संबंध में विनम्र हैं, यह नोट करते हुए कि मॉडल वर्तमान में दोनों समूहों के लिए एक व्यवस्थित अंडर-स्कोरिंग ट्रेंड प्रदर्शित करता है (जो एक अधिक रूढ़िवादी स्कोरिंग नीति का सुझाव देता है) और मॉडल को अन्य जनसांख्यिकी या आर्किटेक्चर (जैसे, RoBERTa, ELECTRA) तक सामान्य करने के लिए पुन: प्रशिक्षण की आवश्यकता है। निष्पक्षता और पूर्ण सटीकता के बीच संतुलन को और अधिक परिष्कृत करने के लिए स्कोर रीकैलिब्रेशन तकनीकों और मल्टी-टास्क लर्निंग का पता लगाने के लिए भविष्य के कार्य प्रस्तावित किए गए हैं।