Demographic Metadata as Construct-Irrelevant Noise in DistilBERT-Based Automated Essay Scoring
यह अध्ययन प्रदर्शित करता है कि डिस्टिलबर्ट (DistilBERT) आधारित ऑटोमेटेड एसे स्कोरिंग मॉडल में टेक्स्ट इनपुट के साथ जनसांख्यिकीय मेटाडेटा को अनौपचारिक रूप से (naively) जोड़ना, केवल टेक्स्ट-आधारित बेसलाइन की तुलना में भविष्य कहनेवाला सटीकता (predictive accuracy) को काफी कम कर देता है, प्रशिक्षण हानि (training loss) को बढ़ाता है और स्कोरिंग पूर्वाग्रह (scoring bias) को गंभीर बनाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप छात्रों के निबंधों को ग्रेड करने के लिए एक बहुत ही बुद्धिमान, तेज़ कंप्यूटर को काम पर रख रहे हैं। यह कंप्यूटर, जिसे DistilBERT कहा जाता है, एक सुपर-रीडिंग मशीन की तरह है जिसने लाखों किताबें पढ़ी हैं और जो शब्दों को देखते ही अच्छी लेखन शैली, खराब व्याकरण और मजबूत तर्कों को पहचान सकता है।
आमतौर पर, यह कंप्यूटर केवल निबंध को ही देखता है। लेकिन कुछ लोगों के मन में यह सवाल आया: क्या होगा अगर हम कंप्यूटर को छात्र के बारे में कुछ अतिरिक्त जानकारी दें, जैसे कि उनका लिंग, क्या वे अंग्रेजी सीख रहे हैं, या क्या वे एक गरीब पृष्ठभूमि से आते हैं? क्या इससे कंप्यूटर अधिक निष्पक्षता से ग्रेड दे पाएगा?
इस अध्ययन ने ठीक यही सवाल पूछा। शोधकर्ताओं ने कंप्यूटर को यह अतिरिक्त जानकारी देने का एक "नाइव" (या सरल) तरीका आजमाया: उन्होंने कंप्यूटर का कोई नया विशेष मस्तिष्क नहीं बनाया; उन्होंने बस छात्र के व्यक्तिगत विवरणों को निबंध के बिल्कुल शुरू में चिपका दिया, जैसे किसी रिपोर्ट के पहले पन्ने पर एक 'स्टिकी नोट' लिख दिया हो।
यहाँ उन्हें क्या मिला, जिसे सरल भाषा में समझाया गया है:
1. "स्टिकी नोट" ने कंप्यूटर को कम बुद्धिमान बना दिया
जब शोधकर्ताओं ने निबंधों में ये व्यक्तिगत विवरण (वे "स्टिकी नोट्स") जोड़े, तो कंप्यूटर के ग्रेड देने के कौशल वास्तव में बदतर हो गए।
- नोट्स के बिना: कंप्यूटर मानव शिक्षकों के साथ लगभग 73% बार सहमत था (एक स्कोर जिसे QWK of 0.727 कहा जाता है)।
- नोट्स के साथ: सहमति गिरकर लगभग 66% (QWK of 0.656) हो गई।
उपमा (Analogy): कल्पना कीजिए कि एक शेफ सूप का परीक्षण करने की कोशिश कर रहा है। यदि आप उसे एक कागज़ थमाते हैं जिस पर लिखा है "रसोइया 10 साल का है," तो शेफ विचलित हो सकता है और सूप के स्वाद के बजाय रसोइए की उम्र के आधार पर अंदाज़ा लगाने लग सकता है। कंप्यूटर ने भी ऐसा ही किया: इसने केवल लेखन पर ध्यान देने के बजाय छात्र की पृष्ठभूमि को देखना शुरू कर दिया, जिससे वह भ्रमित हो गया और इसके अनुमान कम सटीक हो गए।
2. कंप्यूटर "नॉइजी" (शोर युक्त) और भ्रमित हो गया
अध्ययन में पाया गया कि कंप्यूटर का आंतरिक "मस्तिष्क" अधिक शोर वाला (noisy) हो गया।
- समस्या: कंप्यूटर शब्दों (टेक्स्ट) को समझने के लिए प्रशिक्षित है। अतिरिक्त जानकारी (जैसे "पुरुष" या "विकलांग") केवल एक लेबल है, कोई कहानी नहीं। इन दोनों को आपस में मिलाना ऐसा था जैसे किसी को कान में बेतरतीब नंबर चिल्लाते हुए सुनते हुए एक सिम्फनी सुनने की कोशिश करना।
- परिणाम: कंप्यूटर पैटर्न सीखने में संघर्ष करने लगा। प्रशिक्षण के दौरान इसे "स्थिर" होने में अधिक समय लगा, और जब यह समाप्त भी हुआ, तब भी यह अपने उत्तरों को लेकर कम आश्वस्त था।
3. "निष्पक्षता" का उल्टा असर (Backfire)
आप सोच सकते हैं, "यदि कंप्यूटर छात्र के संघर्षों के बारे में जानता है, तो शायद यह उनके प्रति अधिक दयालु होगा?"
अध्ययन में इसके विपरीत पाया गया।
- नोट्स के बिना: कंप्यूटर काफी हद तक निष्पक्ष था, हालांकि इसने विशिष्ट समूहों (जैसे विकलांग छात्रों) के साथ कुछ गलतियाँ कीं।
- नोट्स के साथ: कंप्यूटर लगभग सभी के प्रति अनुचित रूप से पक्षपाती हो गया। इसने संघर्ष कर रहे छात्रों (जैसे जो अंग्रेजी सीख रहे हैं या कम आय वाले परिवारों से हैं) को उच्च अंक देना शुरू कर दिया, इसलिए नहीं कि उनका लेखन बेहतर था, बल्कि इसलिए क्योंकि कंप्यूटर ने उनके "संघर्ष" वाले लेबल को देखा और अनुमान लगाया कि वे एक बढ़त के हकदार हैं।
उपमा: यह एक ऐसे शिक्षक की तरह है जो देखता है कि एक छात्र ने "देश में नया" होने का बैज पहना है और स्वचालित रूप से उसे गणित की परीक्षा में A+ दे देता है, भले ही उसने उत्तर गलत दिए हों। कंप्यूटर निबंध को ग्रेड नहीं कर रहा था; वह लेबल को ग्रेड कर रहा था। इसने एक "प्रणालीगत पूर्वाग्रह" (systemic bias) पैदा किया जहाँ कंप्यूटर ने हाशिए पर रहने वाले समूहों के अंकों को कृत्रिम रूप से बढ़ा दिया, जो वास्तव में अनुचित है क्योंकि यह उनकी वास्तविक लेखन क्षमता को नहीं दर्शाता है।
निष्कर्ष (The Bottom Line)
शोधकर्ताओं ने निष्कर्ष निकाला कि इस विशिष्ट प्रकार के कंप्यूटर (DistilBERT) और डेटा जोड़ने के इस विशिष्ट तरीके (टेक्स्ट के ऊपर सीधे चिपकाना) के लिए, व्यक्तिगत विवरण "शोर" (noise) के रूप में कार्य करते हैं।
कंप्यूटर को छात्र को बेहतर ढंग से समझने में मदद करने के बजाय, अतिरिक्त जानकारी ने इसे विचलित कर दिया, इसे कम सटीक बना दिया और इसे पक्षपाती बना दिया। अध्ययन सुझाव देता है कि यदि हम इस तरह का डेटा उपयोग करना चाहते हैं ताकि ग्रेडिंग अधिक निष्पक्ष हो सके, तो हम इसे इतनी सरलता से "चिपका" नहीं सकते; हमें कंप्यूटर को यह सिखाने के लिए बहुत अधिक परिष्कृत तरीकों की आवश्यकता होगी कि वह बिना भ्रमित हुए उस जानकारी का उपयोग कैसे करे।
संक्षेप में: कंप्यूटर को छात्र का व्यक्तिगत इतिहास देने से वह एक बेहतर शिक्षक नहीं बना; बल्कि इसने उसे एक भ्रमित और पक्षपाती शिक्षक बना दिया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।