ICLE++: Modeling Fine-Grained Traits for Holistic Essay Scoring
यह शोध पत्र ICLE++ को प्रस्तुत करता है, जो प्रेरक छात्र निबंधों का एक नया संग्रह है जिसे समग्र और विशिष्ट गुणों वाले स्कोर के साथ एनोटेट किया गया है, जिसे ASAP डेटासेट पर प्रशिक्षित मौजूदा मॉडलों की सामान्यीकरण सीमाओं को दूर करने और मल्टी-ट्रेट तथा क्रॉस-प्रॉम्ट स्वचालित निबंध स्कोरिंग में अनुसंधान को सुगम बनाने के लिए डिज़ाइन किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ कंप्यूटर शिक्षक बनना सीख रहे हैं, विशेष रूप से छात्रों द्वारा लिखे गए निबंधों को ग्रेड देने के लिए। यह क्षेत्र, जिसे ऑटोमेटेड एसे स्कोरिंग (AES) कहा जाता है, एक डिजिटल ग्रेडर की तरह है जो छात्र के काम को पढ़ता है और यह बताने के लिए एक संख्या देता है कि वह कितना अच्छा है। वर्षों से, इन कंप्यूटर शिक्षकों को लगभग विशेष रूप से "ASAP" नामक निबंधों के एक विशाल ढेर पर प्रशिक्षित किया गया है। आप ASAP को अमेरिकी मिडिल और हाई स्कूल के छात्रों द्वारा लिखे गए निबंधों से भरी एक विशाल लाइब्रेरी की तरह समझ सकते हैं जो अंग्रेजी को अपनी पहली भाषा के रूप में बोलते हैं। कंप्यूटर एक अच्छे निबंध के नियमों को इस विशिष्ट लाइब्रेरी का अध्ययन करके सीखता है। लेकिन यहाँ एक पेंच है: सिर्फ इसलिए कि एक कंप्यूटर ने अमेरिकी निबंधों को पूरी तरह से ग्रेड करना सीख लिया है, इसका मतलब यह नहीं है कि वह अन्य देशों के छात्रों द्वारा लिखे गए निबंधों, या विभिन्न प्रकार के असाइनमेंट के लिए लिखे गए निबंधों को ग्रेड करने के बारे में जान जाएगा। यह एक शेफ को एक आदर्श अमेरिकी-शैली का बर्गर बनाना सिखाने और फिर यह उम्मीद करने जैसा है कि वह बिना किसी नए प्रशिक्षण के तुरंत एक आदर्श सुशी रोल बनाना जान जाएगा।
इसे ठीक करने के लिए, शोधकर्ताओं को अपने कंप्यूटर शिक्षकों को टेस्ट करने के लिए निबंधों के एक अधिक विविध संग्रह की आवश्यकता थी। उन्हें एक ऐसी जगह की आवश्यकता थी जहाँ वे देख सकें कि क्या कंप्यूटर विभिन्न लेखकों, विभिन्न विषयों और गुणवत्ता को आंकने के विभिन्न तरीकों को संभाल सकता है। यहीं से "ICLE++" नामक एक नए डेटासेट की कहानी शुरू होती है। यह केवल एक एकल स्कोर देने के बारे में नहीं है; यह स्कोर के पीछे के "क्यों" को समझने के बारे में है। केवल यह कहने के बजाय कि "यह निबंध 4 में से 3 है," लक्ष्य यह कहना है कि "यह निबंध 3 है क्योंकि विचार थोड़े अस्त-व्यस्त थे, लेकिन शब्दावली शानदार थी।" यह पेपर उस नए लाइब्रेरी को पेश करता है और परीक्षण करता है कि क्या पुराने कंप्यूटर शिक्षक इसे संभाल सकते हैं।
शोधकर्ताओं, शेंगजी ली और विंसेंट एनजी ने, निबंधों का एक नया, विशिष्ट संग्रह बनाने का निर्णय लिया जिसे ICLE++ कहा जाता है। उन्होंने 16 अलग-अलग देशों के उन विश्वविद्यालय के छात्रों द्वारा लिखे गए 1,006 प्रेरक निबंध एकत्र किए जो अंग्रेजी को एक विदेशी भाषा के रूप में सीख रहे हैं। पुराने लाइब्रेरी (ASAP) के विपरीत, जिसमें विभिन्न लंबाई के निबंध थे, ये निबंध सभी लगभग एक ही आकार (500 और 600 शब्दों के बीच) के थे, जो एक पेचीदा चर (variable) को हटा देता है जो पहले कंप्यूटरों को भ्रमित कर सकता था।
लेकिन ICLE++ का असली जादू केवल निबंध ही नहीं हैं; बल्कि यह है कि उन्हें कैसे ग्रेड किया गया। शोधकर्ताओं ने प्रत्येक निबंध को केवल एक समग्र स्कोर नहीं दिया। इसके बजाय, उन्होंने ग्रेडिंग को 10 विशिष्ट गुणों में विभाजित किया, जैसे कि एक मैकेनिक द्वारा कार के इंजन के पुर्जों की जांच करना। इन गुणों में प्रॉम्प्ट एडहेरेंस (क्या छात्र ने प्रश्न का उत्तर दिया?), थीसिस क्लैरिटी (क्या मुख्य बिंदु स्पष्ट है?), आर्ग्युमेंट पर्सुएसिवनेस (क्या तर्क आपको समझाने में सक्षम है?), डेवलपमेंट (क्या विचारों को पूरी तरह से समझाया गया है?), और टेक्निकल क्वालिटी (क्या व्याकरण और वर्तनी की त्रुटियाँ हैं?) शामिल हैं।
टीम ने पाया कि ये 10 गुण एक रेसिपी के अवयवों (ingredients) की तरह हैं। कुछ अवयव, जैसे आर्ग्युमेंट पर्सुएसिवनेस और डेवलपमेंट, अंतिम "स्वाद" (समग्र स्कोर) के लिए सबसे महत्वपूर्ण साबित हुए। वास्तव में, उन्होंने पाया कि यदि किसी छात्र का तर्क बेहतरीन था और विचार अच्छी तरह से विकसित थे, तो निबंध को आमतौर पर उच्च समग्र स्कोर मिलता था, भले ही अन्य भाग केवल ठीक-ठाक हों। हालाँकि, उन्होंने यह भी खोजा कि कुछ गुण, जैसे थीसिस क्लैरिटी, उम्मीद से कहीं अधिक कम समग्र स्कोर से जुड़े थे। यह सुझाव देता है कि मानव ग्रेडर एक धुंधले मुख्य बिंदु के लिए उदार हो सकते हैं यदि निबंध का बाकी हिस्सा मजबूत है, जो एक सूक्ष्म अंतर है जिसे सरल कंप्यूटर मॉडल मिस कर सकते हैं।
जब शोधकर्ताओं ने पुराने लाइब्रेरी (ASAP) के सर्वश्रेष्ठ कंप्यूटर मॉडलों का इस नए ICLE++ लाइब्रेरी पर परीक्षण किया, तो परिणाम काफी चौंकाने वाले थे। कंप्यूटर, जो पुराने लाइब्रेरी के चैंपियन थे, नए वाले पर संघर्ष करते दिखे। उनके स्कोर में गिरावट आई, जिससे पता चला कि मॉडलों ने अमेरिकी निबंधों के विशिष्ट पैटर्न को याद कर लिया था, न कि अच्छे लेखन के सार्वभौमिक नियमों को सीखा था। यह उस छात्र की तरह है जिसने एक विशिष्ट अभ्यास परीक्षा के उत्तर रट लिए लेकिन जब प्रश्न अलग तरीके से पूछे गए तो असफल हो गया।
पेपर ने एक "क्या होगा अगर" परिदृश्य का भी अन्वेषण किया: क्या होगा यदि कंप्यूटर समग्र स्कोर का अनुमान लगाने से पहले सभी 10 गुणों के स्कोर देख सके? जब उन्होंने कंप्यूटर को इस "चीट शीट" (पूर्ण गुण स्कोर) के साथ दिया, तो इसका प्रदर्शन आसमान छू गया, जिससे सिद्ध हुआ कि ये 10 गुण वास्तव में निबंध की गुणवत्ता को समझने के लिए बहुत उपयोगी हैं। हालाँकि, जब कंप्यूटर को पहले स्वयं उन गुणों के स्कोर का अनुमान लगाना पड़ा, तो इससे मदद नहीं मिली; कभी-कभी, अनुमान लगाने से उत्पन्न होने वाला अतिरिक्त शोर समग्र स्कोर को और खराब कर देता था। यह सुझाव देता है कि जबकि विवरण जानना शक्तिशाली है, कंप्यूटर को अभी भी उन विवरणों को स्वयं सटीक रूप से खोजने के लिए सीखना होगा।
संक्षेप में, पेपर का तर्क है कि निबंध-ग्रेडिंग कंप्यूटरों को केवल एक प्रकार के निबंध पर टेस्ट करने का पुराना तरीका अब पर्याप्त नहीं है। नया ICLE++ लाइब्रेरी दिखाता है कि जबकि कंप्यूटर बेहतर हो रहे हैं, उन्हें लेखन के सूक्ष्म, बहु-आयामी तरीकों को समझने के लिए अभी भी बहुत कुछ सीखना है। शोधकर्ताओं का मानना है कि यह नया डेटासेट एक महत्वपूर्ण कदम है, जो भविष्य के AI शिक्षकों के लिए एक अधिक यथार्थवादी और चुनौतीपूर्ण खेल का मैदान प्रदान करता है ताकि वे दुनिया भर के छात्रों के लिए निष्पक्ष, विस्तृत और वास्तव में सहायक बनना सीख सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।