Cost-efficient generative AI summarization for scalable automated essay scoring in educational assessment
यह अध्ययन एक लागत-कुशल, हाइब्रिड जनरेटिव एआई फ्रेमवर्क प्रस्तावित करता है जो ट्रांसफॉर्मर इनपुट सीमाओं को दूर करने और स्कोरिंग विश्वसनीयता, सारांश निष्ठा (summary fidelity) तथा कम्प्यूटेशनल लागत के बीच संतुलन बनाते हुए स्केलेबल स्वचालित निबंध स्कोरिंग को बढ़ाने के लिए हस्तनिर्मित भाषाई विशेषताओं के साथ GPT-5-आधारित निबंध सारांशीकरण को संयोजित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शिक्षक हैं जिसके पास ग्रेड करने के लिए निबंधों का एक पहाड़ है। आप हर छात्र को उपयोगी फीडबैक देना चाहते हैं, लेकिन हजारों लंबे, भ्रामक किस्सों को पढ़ना बहुत समय लेता है। यह स्वचालित निबंध स्कोरिंग (Automated Essay Scoring - AES) की दुनिया है, जो कंप्यूटर विज्ञान की एक शाखा है जहाँ मशीनें यह सीखने की कोशिश करती हैं कि इंसानों की तरह लेखन को कैसे पढ़ा और ग्रेड किया जाए। लंबे समय तक, ये कंप्यूटर उन छात्रों की तरह थे जो केवल छोटे नोट्स पढ़ सकते थे; यदि कोई निबंध बहुत लंबा होता, तो कंप्यूटर उसका अंत काट देता था, जिससे छात्र के सबसे अच्छे तर्क छूट सकते थे। लेकिन अब, हमारे पास शक्तिशाली "जेनरेटिव एआई" (Generative AI) उपकरण हैं—सुपर-स्मार्ट कंप्यूटर जो टेक्स्ट लिख और सारांशित कर सकते हैं। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: क्या हम इन एआई उपकरणों का उपयोग लंबे निबंधों को छोटे सारांशों में संक्षिप्त करने के लिए कर सकते हैं ताकि ग्रेडिंग करने वाला कंप्यूटर उन्हें आसानी से पढ़ सके, बिना महत्वपूर्ण हिस्सों को खोए? यह एक पूरे उपन्यास को एक ट्वीट में फिट करने जैसा है; आपको कथानक और पात्रों को बनाए रखना होगा लेकिन अनावश्यक बातों को हटाना होगा। यदि हम इसे सही ढंग से कर लेते हैं, तो स्कूल तुरंत निबंधों को ग्रेड कर सकते हैं, जिससे छात्रों को उनके विचारों के बारे में सोचते समय ही फीडबैक मिल सकता है, न कि शिक्षक द्वारा निबंधों के ढेर को खत्म करने के हफ्तों बाद।
यह अध्ययन ठीक इसी समस्या में गहराई से उतरता है, और एक "सारांशित-फिर-ग्रेड" (summarize-then-grade) रणनीति का उपयोग करके निबंधों को ग्रेड करने के एक नए तरीके का परीक्षण करता है। शोधकर्ताओं ने छात्र निबंधों का एक विशाल डेटासेट लिया और तीन अलग-अलग संस्करणों वाले एक शक्तिशाली एआई मॉडल का उपयोग करके लंबे निबंधों को छोटे, 512-टोकन सारांशों में फिर से लिखा। फिर उन्होंने इन सारांशों को, कुछ मूल "हस्तनिर्मित" संकेतों (जैसे वाक्य की लंबाई और शब्दावली) के साथ, एक मानक ग्रेडिंग कंप्यूटर में डाला यह देखने के लिए कि यह मानव शिक्षकों के स्कोर के साथ कितनी अच्छी तरह मेल खाता है।
परिणाम थोड़े आश्चर्यजनक थे। सबसे महंगे, शक्तिशाली मॉडल ने वास्तव में सबसे अच्छे सारांश तैयार किए—उसने सबसे अधिक विवरण और अर्थ बनाए रखा। हालाँकि, जब अंतिम लक्ष्य के रूप में सटीक ग्रेडिंग की बात आई, तो मध्यम आकार का मॉडल विजेता रहा। इसने मानव रेटिंग करने वालों के साथ उच्चतम सहमति हासिल की, और क्वाड्रेटिक वेटेड कप्पा (Quadratic Weighted Kappa - QWK) का 0.8435 स्कोर किया, जो एक शानदार तरीका है यह कहने का कि इसने अन्य मॉडलों की तुलना में मानव निर्णय के साथ बेहतर तालमेल बिठाया। सबसे महंगे मॉडल ने 0.8350 स्कोर किया, और सबसे छोटे, सस्ते मॉडल ने 0.8332 स्कोर किया। यह सुझाव देता है कि इस विशिष्ट कार्य के लिए, आपको सबसे बड़े, सबसे महंगे इंजन की आवश्यकता नहीं है; "मिनी" संस्करण ने लागत और प्रदर्शन का सबसे अच्छा संतुलन प्रदान किया।
हालाँकि, अध्ययन में एक पेचीदा पैटर्न भी पाया गया: एआई को सर्वश्रेष्ठ निबंधों के साथ अधिक संघर्ष करना पड़ा। जैसे-जैसे निबंधों का स्कोर बढ़ता गया (1 से 6 तक), सभी मॉडलों में सारांशों की गुणवत्ता गिरती गई। शोधकर्ता सुझाव देते हैं कि ऐसा इसलिए है क्योंकि उच्च-स्कोर वाले निबंध स्वाभाविक रूप से लंबे और जटिल होते हैं, जिससे महत्वपूर्ण जानकारी खोए बिना उन्हें छोटा करना कठिन हो जाता है। "मिनी" मॉडल, जो कुल मिलाकर बेहतरीन है, जटिल निबंधों पर पूर्ण मॉडल की तुलना में प्रदर्शन में अधिक गिरावट दिखाता है।
लेखक सावधानी बरतते हुए नोट करते हैं कि यह दुनिया के हर स्कूल के लिए एक अंतिम, पूर्ण समाधान नहीं है। वे स्पष्ट रूप से कहते हैं कि यह एक "प्रारंभिक नियंत्रित मूल्यांकन" है, न कि हर अन्य संभावित विधि के विरुद्ध एक पूर्ण बेंचमार्क। उन्होंने हर अन्य प्रकार के एआई या टेक्स्ट को काटने के हर संभावित तरीके का परीक्षण नहीं किया। इसके बजाय, उन्होंने दिखाया कि निबंधों को सारांशित करने के लिए जेनरेटिव एआई का उपयोग करना कैसे अच्छी तरह से काम कर सकता है और पैसे बचा सकता है, लेकिन उन्होंने यह भी रेखांकित किया कि हमें यह सुनिश्चित करने के लिए और अधिक शोध की आवश्यकता है कि सिस्टम अनजाने में उन छात्रों को दंडित न करे जो लंबे, जटिल, उच्च-गुणवत्ता वाले तर्क लिखते हैं। अध्ययन बताता है कि हालांकि हम ग्रेडिंग को तेज़ और सस्ता बनाने के लिए एआई का उपयोग कर सकते हैं, हमें टेक्स्ट को छोटा करने के बारे में बहुत सावधान रहना होगा ताकि हम एक शानदार निबंध के जादू को खोने की प्रक्रिया में उसे नष्ट न कर दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।