Learning to Grade Efficiently: A Bandit-Driven Prompt-Selection Framework for Low-Cost LLM Essay Scoring
यह शोध पत्र एक लागत-सचेत (cost-aware), मल्टी-आर्म्ड बैंडिट फ्रेमवर्क प्रस्तुत करता है जो स्वचालित निबंध स्कोरिंग के लिए इष्टतम प्रॉम्प्टिंग रणनीतियों को अनुकूल रूप से चुनता है, जिससे व्यापक ग्रिड सर्च के समान सटीकता प्राप्त होती है और साथ ही LLM कॉल्स को 78.4% तक कम किया जाता है और इस क्षेत्र के लिए प्रथम लागत-विश्वसनीयता शिक्षण वक्र (cost-reliability learning curves) स्थापित किए जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
शिक्षा की दुनिया में, निबंधों के ढेर को ग्रेड करना एक भारी और समय लेने वाला कार्य है। दशकों से, कंप्यूटर इस काम में मदद करने की कोशिश कर रहे हैं, लेकिन वे अक्सर एक मानव शिक्षक की सूक्ष्मता (nuance) के साथ तालमेल बिठाने में संघर्ष करते हैं। हाल ही में, बड़े भाषा मॉडल (large language models) के रूप में जाने जाने वाले शक्तिशाली कंप्यूटर प्रोग्रामों की एक नई पीढ़ी ने मानव लेखन को पढ़ने और समझने की एक उल्लेखनीय क्षमता दिखाई है। इन प्रणालियों को परीक्षक के रूप में कार्य करने के लिए निर्देशित किया जा सकता है, जो विशिष्ट नियमों के आधार पर छात्रों के काम को अंक दे सकते हैं। हालाँकि, एक महत्वपूर्ण समस्या बनी हुई है: इन कार्यक्रमों को चलाना महंगा है। कंप्यूटर को दिए गए निर्देश जितने विस्तृत होंगे, उत्तर प्राप्त करने की लागत उतनी ही अधिक होगी। इसके अलावा, कंप्यूटर से सवाल पूछने का सबसे अच्छा तरीका हमेशा स्पष्ट नहीं होता है; यह विशिष्ट निबंध या सॉफ्टवेयर के संस्करण के आधार पर बदल जाता है। शिक्षक और परीक्षण संगठन एक कठिन विकल्प का सामना करते हैं: सबसे अच्छे निर्देश खोजने के लिए हर निबंध को हर संभावित निर्देश के माध्यम से चलाने के लिए उच्च कीमत चुकाना, या एक सस्ते, कम सटीक तरीके का उपयोग करने का जोखिम उठाना जो लक्ष्य से चूक सकता है।
कार्लटन यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने इस दुविधा को हल करने का एक नया तरीका प्रस्तावित किया है। पहले से ही पूर्ण निर्देशों का अनुमान लगाने के बजाय, उन्होंने एक ऐसी प्रणाली बनाई जो काम करते समय सबसे अच्छा दृष्टिकोण सीखती है। उन्होंने निबंध को ग्रेड करने के विभिन्न तरीकों को स्लॉट मशीनों के एक सेट की तरह माना, जिनमें से प्रत्येक के पास अच्छा परिणाम देने की अलग-अलग संभावना थी। जैसे-जैसे सिस्टम निबंधों को ग्रेड कर रहा था, इसने इस बात का हिसाब रखा कि किस पद्धति ने मानव शिक्षकों के साथ सबसे सटीक रूप से मेल खाते स्कोर दिए और कौन सी पद्धतियां सबसे अधिक कुशल थीं। समय के साथ, सिस्टम ने स्वाभाविक रूप से खराब तरीकों पर प्रयास बर्बाद करना बंद कर दिया और लगभग पूरी तरह से उन तरीकों पर ध्यान केंद्रित किया जो सबसे अच्छा काम करते थे। इस दृष्टिकोण ने उन्हें बहुत कम कंप्यूटर संसाधनों का उपयोग करके सबसे प्रभावी ग्रेडिंग रणनीति खोजने की अनुमति दी।
शोधकर्ताओं ने इस विचार का परीक्षण IELTS लेखन परीक्षा के 787 वास्तविक निबंधों के संग्रह का उपयोग करके किया, जो अंग्रेजी दक्षता का एक प्रमुख अंतरराष्ट्रीय परीक्षण है। उन्होंने कंप्यूटर द्वारा पेपर ग्रेड करने के चार अलग-अलग तरीके स्थापित किए। दो तरीकों में कंप्यूटर को तुरंत एक एकल, समग्र स्कोर देने के लिए कहा गया, जबकि अन्य दो में इसे अंतिम स्कोर की गणना करने से पहले निबंध को चार विशिष्ट श्रेणियों में तोड़ने के लिए कहा गया—जैसे कि लेखक ने प्रॉम्प्ट का कितनी अच्छी तरह उत्तर दिया और विचार कितने व्यवस्थित थे। आधे तरीकों के लिए, कंप्यूटर को अच्छे और बुरे निबंधों के उदाहरण भी दिखाए गए ताकि वह समझ सके कि क्या देखना है; शेष आधे के लिए, उसे अपने स्वयं के ज्ञान पर निर्भर रहना था। सिस्टम ने फिर एक लर्निंग एल्गोरिदम का उपयोग करके प्रत्येक पेपर के लिए सर्वश्रेष्ठ पद्धति चुनने के निर्णय के साथ निबंधों को ग्रेड करना शुरू किया।
परिणाम स्पष्ट और तत्काल थे। सिस्टम ने जल्दी ही सीख लिया कि सबसे प्रभावी रणनीति वही थी जिसने निबंध को विशिष्ट श्रेणियों में विभाजित किया और अच्छे या बुरे निबंध के उदाहरण प्रदान किए। इस पद्धति ने लगातार ऐसे स्कोर उत्पन्न किए जो मानव परीक्षकों के साथ सबसे अधिक मेल खाते थे। इसके विपरीत, वे तरीके जिन्होंने उदाहरणों को छोड़ दिया या बिना विभाजन के एकल स्कोर देने की कोशिश की, काफी खराब प्रदर्शन करते रहे। लर्निंग एल्गोरिदम इतना प्रभावी था कि परीक्षण की एक छोटी अवधि के बाद, इसने कमजोर तरीकों को लगभग पूरी तरह से चुनना बंद कर दिया, और अपने प्रयासों का 70 प्रतिशत से अधिक हिस्सा सबसे अच्छा प्रदर्शन करने वाले दृष्टिकोण को समर्पित कर दिया।
सबसे आश्चर्यजनक खोज तब हुई जब शोधकर्ताओं ने इन निर्देशों की लागत पर गौर किया। पारंपरिक धारणा यह है कि कंप्यूटर को ग्रेडिंग के नियमों के बारे में अधिक विस्तृत विवरण और व्याख्या देने से बेहतर परिणाम मिलने चाहिए। हालांकि, अध्ययन में इसके विपरीत पाया गया। जब शोधकर्ताओं ने निर्देशों से ग्रेडिंग नियमों के लंबे, विस्तृत विवरण हटा दिए, तो कंप्यूटर वास्तव में बेहतर प्रदर्शन करने लगा। सरल निर्देशों ने, जो नियमों की नियमावली के बजाय कंप्यूटर की लेखन संबंधी मौजूदा समझ पर भरोसा करते थे, अधिक सटीक स्कोर दिए और कम कंप्यूटर संसाधनों का उपयोग किया। यह सुझाव देता है कि इन शक्तिशाली कंप्यूटर प्रोग्रामों ने अपने प्रशिक्षण के दौरान शैक्षणिक लेखन की बारीकियों को पहले से ही सीख लिया है और उन्हें हर विवरण फिर से बताने की आवश्यकता नहीं है।
इस अनुकूल दृष्टिकोण (adaptive approach) से दक्षता लाभ पर्याप्त थे। सिस्टम को चलते समय ही सर्वश्रेष्ठ पद्धति चुनने की अनुमति देकर, शोधकर्ताओं ने पारंपरिक पद्धति की तुलना में कंप्यूटर को मदद के लिए बुलाने की संख्या को लगभग 79 प्रतिशत तक कम कर दिया, जो कि हर निबंध पर हर संभव विकल्प आज़माने की कोशिश करती है। कंप्यूटर कॉल्स में इस भारी कमी का सीधा अर्थ कंप्यूटर द्वारा प्रोसेस किए जाने वाले शब्दों की कुल संख्या में 73 प्रतिशत की गिरावट और प्रयोग की अनुमानित लागत में 70 प्रतिशत की कमी था। सिस्टम ने उसी स्तर की सटीकता हासिल की जो व्यापक, महंगे तरीके ने प्राप्त की थी, लेकिन उसने इसे बहुत कम प्रयास के साथ किया।
यह कार्य इस बात में बदलाव का प्रतिनिधित्व करता है कि स्वचालित ग्रेडिंग को कैसे संभाला जा सकता है। निर्देशों के चयन को एक निश्चित सेटिंग के रूप में मानने के बजाय जिसे काम शुरू करने से पहले तय किया जाना चाहिए, शोधकर्ताओं ने दिखाया कि यह एक गतिशील प्रक्रिया हो सकती है जो काम के साथ बेहतर होती जाती है। हालांकि यह अध्ययन एक विशिष्ट निबंध सेट और एक प्रकार के कंप्यूटर प्रोग्राम तक सीमित था, लेकिन इसके निष्कर्ष शैक्षिक तकनीक के लिए एक आशाजनक मार्ग प्रदान करते हैं। सटीकता की आवश्यकता और परिचालन लागत की वास्तविकता के बीच संतुलन बनाकर, यह विधि उच्च-गुणवत्ता वाली स्वचालित ग्रेडिंग को बड़े पैमाने पर परीक्षण कार्यक्रमों के लिए सुलभ और टिकाऊ बनाने का एक तरीका प्रदान करती है। अध्ययन सुझाव देता है कि स्वचालित मूल्यांकन का भविष्य अधिक जटिल निर्देश बनाने में नहीं, बल्कि ऐसे स्मार्ट सिस्टम बनाने में है जो यह सीख सकें कि वर्तमान क्षण में कौन से निर्देश सबसे अच्छा काम करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।