Enhancing Automated Essay Scoring With Three Techniques: Two-Stage Fine-Tuning, Score Alignment, and Self-Training
यह शोध पत्र DualBERT मॉडल में तीन प्रमुख तकनीकों—टू-स्टेज फाइन-ट्यूनिंग (Two-Stage fine-tuning), स्कोर अलाइनमेंट (Score Alignment), और अनसर्टेन्टी-अवेयर सेल्फ-ट्रेनिंग (uncertainty-aware self-training)—को एकीकृत करके सीमित-डेटा और पूर्ण-डेटा दोनों सेटिंग्स में ऑटोमेटेड एसे स्कोरिंग (Automated Essay Scoring) प्रदर्शन को बढ़ाने के लिए एक नवीन दृष्टिकोण प्रस्तावित करता है, जिससे ASAP++ सहित कई डेटासेट पर अत्याधुनिक परिणाम प्राप्त होते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ एक थके हुए शिक्षक को हर हफ्ते सैकड़ों निबंधों को ग्रेड करना पड़ता है। यह एक बहुत बड़ा काम है, और इसे निष्पक्षता से करने में समय और ऊर्जा लगती है। मदद के लिए, वैज्ञानिकों ने "ऑटोमेटेड एसे ऑफ स्कोरिंग" (AES) सिस्टम बनाए हैं—ऐसे कंप्यूटर प्रोग्राम जो छात्रों के लेखन को पढ़ते हैं और उन्हें ग्रेड देते हैं, ठीक वैसे ही जैसे एक इंसान करता है। इन प्रोग्रामों को डिजिटल शिक्षण सहायकों के रूप में सोचें। लंबे समय तक, ये सहायक स्मार्ट लेकिन अनाड़ी रोबोटों की तरह थे; उन्हें अच्छा ग्रेड देने में माहिर होने के लिए हजारों उदाहरण पढ़ने की आवश्यकता होती थी। यदि किसी शिक्षक के पास ग्रेड करने के लिए केवल कुछ ही निबंध होते, तो रोबोट भ्रमित हो जाता और गलत स्कोर देता। यह एक बड़ी समस्या है क्योंकि, वास्तविक दुनिया में, शिक्षकों के पास अक्सर कंप्यूटर को प्रशिक्षित करने के लिए हजारों निबंध नहीं होते; उनके पास बस अपनी कक्षा के कागजों का एक ढेर होता है।
चुनौती यह है कि कंप्यूटर को लेखन समझना सिखाना कठिन है। यह केवल शब्दों को गिनने या व्याकरण की जाँच करने के बारे में नहीं है; यह विचारों के प्रवाह, लहजे और संरचना को समझने के बारे में है। जबकि विशाल, शक्तिशाली AI मॉडल (जैसे वे जो कहानियाँ लिखते हैं या आपसे चैट करते हैं) मौजूद हैं, वे इस विशिष्ट कार्य के लिए संघर्ष करते हैं जब तक कि उन्हें भारी मात्रा में डेटा न दिया जाए। इसलिए, बड़ा सवाल शोधकर्ताओं के लिए यह है: हम एक कंप्यूटर ग्रेडर को कैसे स्मार्ट और निष्पक्ष बना सकते हैं, भले ही उसने बहुत कम उदाहरण देखे हों?
यह शोध पत्र इन डिजिटल ग्रेडरों को प्रशिक्षित करने का एक चतुर नया तरीका पेश करता है, विशेष रूप से तब जब सीखने के लिए बहुत कम निबंध उपलब्ध हों। शोधकर्ताओं ने "डुअल BERT" (DualBERT) नामक एक मॉडल के साथ काम करते हुए (जो एक स्मार्ट पाठक की तरह है जो व्यक्तिगत वाक्यों और पूरे निबंध दोनों को समझता है), प्रदर्शन को बढ़ाने के लिए तीन विशेष तकनीकों को विकसित किया।
सबसे पहले, उन्होंने लोरा (LoRA) के साथ टू-स्टेज फाइन-ट्यूनिंग का उपयोग किया। कल्पना कीजिए कि आप एक ऐसे छात्र को पढ़ा रहे हैं जो अंग्रेजी की बुनियादी बातें पहले से जानता है। उसे सब कुछ फिर से सिखाने के बजाय, आप उसे "हाईलाइटर पेन" का एक विशेष सेट (LoRA) देते हैं जो उसे असाइनमेंट के विशिष्ट, कठिन हिस्सों पर ध्यान केंद्रित करने देते हैं बिना उसके पहले से ज्ञात ज्ञान को बिगाड़े। शोधकर्ताओं ने मॉडल को इन पेन के साथ दो राउंड में अभ्यास करने दिया, जिसमें निबंध के विभिन्न गुणों (जैसे सामग्री बनाम संगठन) के महत्व को तौलने के अलग-अलग तरीकों को आजमाया गया, जब तक कि उसे सही संतुलन न मिल जाए।
दूसरा, उन्होंने स्कोर अलाइनमेंट (Score Alignment) पेश किया। कभी-कभी, यहाँ तक कि एक स्मार्ट ग्रेडर भी थोड़ा घबरा जाता है और सुरक्षित खेलने की कोशिश करता है। यदि कोई छात्र एक आदर्श निबंध लिखता है, तो कंप्यूटर पूर्ण स्कोर देने से डर सकता है और 10 में से 9.8 दे सकता है। यदि निबंध बहुत खराब है, तो वह 0 के बजाय 0.2 दे सकता है। यह तकनीक एक "कैलिब्रेशन टूल" की तरह कार्य करती है। शोधकर्ता देखते हैं कि कंप्यूटर ने निबंधों के एक छोटे अभ्यास सेट को कैसे ग्रेड किया, वे कहाँ बहुत शर्मीले या बहुत साहसी थे, और फिर वास्तविक परीक्षण के लिए स्कोर को ठीक करने हेतु एक सरल गणितीय समायोजन लागू करते हैं। यह एक गिटार को ट्यून करने जैसा है ताकि हर नोट सही पिच पर लगे।
तीसरा, उन्होंने अनसर्टेन्टी-अवेयर सेल्फ-ट्रेनिंग (Uncertainty-Aware Self-Training) का उपयोग किया। यहाँ कंप्यूटर उन निबंधों पर अभ्यास करता है जिन्हें अभी तक ग्रेड नहीं किया गया है। कंप्यूटर इन अनग्रेड किए गए निबंधों को पढ़ता है और उन्हें एक "नकली" स्कोर देता है। लेकिन इसमें ट्विस्ट यह है कि यदि कंप्यूटर अपने स्वयं के स्कोर के बारे में अनिश्चित (unsure) है, तो वह उस निबंध को हटा देता है। वह केवल उन्हीं निबंधों को रखता है जिनके बारे में वह आश्वस्त महसूस करता है ताकि उन्हें अतिरिक्त अभ्यास सामग्री के रूप में उपयोग किया जा सके। इस तरह, कंप्यूटर बिना अपने ही गलतियों से सीखे, अधिक उदाहरणों से सीखता है।
जब शोधकर्ताओं ने इन तीनों ट्रिक्स को एक साथ मिलाकर ASAP++ नामक डेटासेट पर परीक्षण किया, तो परिणाम प्रभावशाली थे। एक परिदृश्य में जहाँ कंप्यूटर के पास सीखने के लिए केवल 32 निबंध थे (एक बहुत छोटी मात्रा), नए तरीके ने ग्रेडिंग की सटीकता में महत्वपूर्ण सुधार किया। यह लगभग 1,000 निबंधों पर प्रशिक्षित मॉडल के प्रदर्शन स्तर के 91.2% तक पहुँच गया। सरल शब्दों में, डेटा की बहुत कम मात्रा और इन तीन स्मार्ट ट्रिक्स के साथ, कंप्यूटर उतना ही अच्छा बन गया जैसे कि उसने निबंधों का एक पूरा पुस्तकालय पढ़ लिया हो।
यहाँ तक कि अधिक दिलचस्प बात यह है कि जब कंप्यूटर के पास पर्याप्त डेटा था ("फुल-डेटा" सेटिंग), तो अकेले "स्कोर अलाइनमेंट" ट्रिक ने उसे सभी पिछले रिकॉर्ड तोड़कर एक नया सर्वश्रेष्ठ स्कोर हासिल करने में मदद की। शोधकर्ताओं ने अन्य डेटासेट्स पर भी इसका परीक्षण किया जिनमें निबंधों के विभिन्न प्रकार थे और पाया कि ये ट्रिक्स वहाँ भी काम करते हैं, जो यह सुझाव देता है कि ये विधियाँ मजबूत हैं और केवल एक विशिष्ट परीक्षण के लिए नहीं हैं।
यह शोध पत्र सुझाव देता है कि ये तकनीकें मॉड्यूलर हैं, जिसका अर्थ है कि उन्हें अन्य सिस्टम के साथ मिलाया और जोड़ा जा सकता है। हालाँकि, लेखक सावधानीपूर्वक यह भी नोट करते हैं कि जहाँ परिणाम मजबूत हैं, वहीं वे सीमाओं का भी सामना करते हैं। उदाहरण के लिए, "सेल्फ-ट्रेनिंग" पद्धति को काम करने के लिए अनग्रेड किए गए निबंधों के एक बड़े ढेर की आवश्यकता होती है, जो शायद हर स्कूल में उपलब्ध न हो। इसके अलावा, "टू-स्टेज" पद्धति में कंप्यूटर को शुरू में प्रशिक्षित करने में थोड़ा अधिक समय लगता है, हालांकि यह बाद में वास्तविक ग्रेडिंग प्रक्रिया को धीमा नहीं करता है।
अंततः, यह अध्ययन दिखाता है कि हमें महान AI उपकरण बनाने के लिए हमेशा भारी मात्रा में डेटा की आवश्यकता नहीं होती है। मॉडलों को फाइन-ट्यून करने, उनके स्कोर को कैलिब्रेट करने और अभ्यास सामग्री को सावधानीपूर्वक चुनने की स्मार्ट रणनीतियों का उपयोग करके, हम ऐसे स्वचालित ग्रेडर बना सकते हैं जो डेटा की कमी होने पर भी विश्वसनीय हों। यह हमें दुनिया भर के शिक्षकों के लिए सहायक, निष्पक्ष और कुशल डिजिटल सहायकों के और करीब लाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।