Beyond Automated Scoring: An Evidence-Informed Human–GenAI Complementarity Framework for Formative Writing Assessment
यह अध्ययन एक मिश्रित-विधि डिजाइन का उपयोग करता है यह प्रदर्शित करने के लिए कि जहाँ जेनेरेटिव एआई (Generative AI) और मानव शिक्षक सीमित रेटिंग सहमति प्रदर्शित करते हैं, वहीं वे अधिकांश स्कोरिंग आयामों में व्यावहारिक समानता प्राप्त करते हैं और विशिष्ट फीडबैक विशेषताएँ प्रदान करते हैं, जिससे एक ऐसे ढांचे का विकास होता है जो जेनेरेटिव एआई को रचनात्मक लेखन मूल्यांकन में शिक्षक निर्णय के प्रतिस्थापन के बजाय एक पूरक सहायता के रूप में स्थापित करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
दुनिया भर की कक्षाओं में, लेखन सिखाने का कार्य एक गहरा मानवीय प्रयास है। यह एक शिक्षक द्वारा छात्र के काम को पढ़ने, शब्दों के पीछे के संघर्ष को समझने और ऐसे मार्गदर्शन देने पर निर्भर करता है जो लेखक को विकसित होने में मदद करता है। यह प्रक्रिया, जिसे 'फॉर्मेटिव असेसमेंट' (रचनात्मक मूल्यांकन) कहा जाता है, अंतिम ग्रेड देने के बारे में नहीं है, बल्कि ऐसे फीडबैक देने के बारे में है जो अगले ड्राफ्ट को आकार दे सके। दशकों से, शिक्षक इस फीडबैक को अधिक समयबद्ध और सुसंगत बनाने के तरीके खोज रहे हैं, विशेष रूप से जैसे-जैसे कक्षाओं का आकार बढ़ा है। हाल ही में, एक नया उपकरण चर्चा में आया है: जनरेटिव आर्टिफिशियल इंटेलिजेंस (AI)। ये कंप्यूटर सिस्टम टेक्स्ट को पढ़ने और मानव-समान प्रतिक्रियाएं, जिसमें आलोचना और सुझाव शामिल हैं, उत्पन्न करने में सक्षम हैं। शिक्षाविदों के लिए केंद्रीय प्रश्न यह नहीं रहा है कि क्या ये मशीनें पढ़ सकती हैं, बल्कि यह है कि क्या वे पढ़ा सकती हैं। क्या एक कंप्यूटर उसी तरह का उपयोगी, सीखने पर केंद्रित फीडबैक प्रदान कर सकता है जैसा कि एक कुशल शिक्षक करता है, या छात्र के काम को देखने के उनके तरीके में एक मौलिक अंतर है?
शोधकर्ताओं की एक टीम ने मानव शिक्षकों और तीन अलग-अलग आर्टिफिशियल इंटेलिजेंस सिस्टम को परीक्षण में रखकर इसका उत्तर देने का प्रयास किया। उन्होंने अंग्रेजी के रूप में दूसरी भाषा सीखने वाले विश्वविद्यालय के छात्रों द्वारा लिखे गए सौ निबंध एकत्र किए। ये निबंध विभिन्न कौशल स्तरों के थे और फिर इन्हें तीन अनुभवी शिक्षकों और तीन अलग-अलग AI सिस्टम द्वारा स्वतंत्र रूप से मूल्यांकित किया गया। लक्ष्य केवल यह देखना नहीं था कि क्या मशीनें शिक्षकों के स्कोर से मेल खाती हैं, बल्कि यह समझना था कि उनके द्वारा दिए गए फीडबैक की विषय-वस्तु और शैली में क्या तुलना है। शोधकर्ताओं ने एक मानक स्कोरिंग गाइड का उपयोग किया जो लेखन के चार विशिष्ट क्षेत्रों को देखता था: लेखन की सामग्री (कंटेंट), विचारों का संगठन, भाषा का उपयोग, और वर्तनी एवं विराम चिह्न जैसी यांत्रिक बारीकियां।
परिणामों ने एक आश्चर्यजनक जटिलता को प्रकट किया। जब तीनों शिक्षकों ने निबंधों को आपस में ग्रेड किया, तो वे एक-दूसरे के साथ घनिष्ठ रूप से सहमत थे, जो निरंतरता का उच्च स्तर प्रदर्शित करता था। तीनों AI सिस्टम भी लगभग उतने ही एक-दूसरे के साथ सहमत थे। हालांकि, जब शोधकर्ताओं ने सीधे शिक्षकों की तुलना AI सिस्टम से की, तो सहमति काफी कम हो गई। मनुष्यों और मशीनों द्वारा दिए गए स्कोर अक्सर मेल नहीं खाते थे, भले ही दोनों समूहों में से कोई भी सांख्यिकीय रूप से "गलत" नहीं था जो पूर्ण विफलता का संकेत दे। वास्तव में, लेखन की अधिकांश श्रेणियों के लिए, स्कोर में अंतर इतना कम था कि उन्हें व्यावहारिक रूप से समकक्ष माना जा सके, जिसका अर्थ है कि मशीनें लक्ष्य से बहुत दूर नहीं थीं। लेकिन निबंधों की सामग्री के लिए, AI और शिक्षक स्पष्ट रूप से अलग थे, जहाँ मशीनें अक्सर लेखन की विषय-वस्तु को मनुष्यों की तुलना में अलग तरह से रेट करती थीं।
हालाँकि, असली कहानी उन शब्दों से सामने आई जो शिक्षकों और मशीनों ने अपने फीडबैक में लिखे थे। मानव शिक्षक विशेष रूप से त्रुटियों पर ध्यान केंद्रित करते थे। उनकी टिप्पणियाँ सीधी और सुधारात्मक थीं, जो सटीक रूप से बताती थीं कि वाक्य व्याकरणिक रूप से कहाँ गलत था, कहाँ एक पैराग्राफ में स्पष्ट विषय का अभाव था, या कहाँ कोई विशिष्ट शब्द गलत लिखा गया था। वे एक कोच की तरह थे जो खिलाड़ी के फॉर्म में दोष ढूंढता है और एक सटीक समाधान देता है। इसके विपरीत, AI सिस्टम ने बहुत व्यापक दृष्टिकोण अपनाया। वे एक ही प्रतिक्रिया में लेखन के चारों क्षेत्रों को कवर करने की प्रवृत्ति रखते थे, जिसमें अक्सर प्रशंसा और आलोचना का संतुलन होता था। एक AI छात्र को बता सकता था कि उनके विचार मजबूत और सुव्यवस्थित हैं, इससे पहले कि वह धीरे से यह नोट करे कि व्याकरण में सुधार की आवश्यकता है। उन्होंने विशिष्ट गलतियों पर लक्षित प्रहार करने के बजाय व्यापक अवलोकन प्रदान किए।
इस दृष्टिकोण के अंतर ने शोधकर्ताओं को यह सोचने का एक नया तरीका प्रस्तावित करने के लिए प्रेरित किया कि इन उपकरणों का उपयोग कैसे किया जाना चाहिए। अध्ययन का सुझाव है कि आर्टिफिशियल इंटेलिजेंस को शिक्षक के विकल्प के रूप में नहीं, बल्कि एक ऐसे उपकरण के रूप में नहीं देखा जाना चाहिए जिसे बिल्कुल मानव की तरह सोचने के लिए प्रशिक्षित करने की आवश्यकता है। इसके बजाय, दोनों के पास अलग-अलग ताकत होती है जो मिलकर सबसे अच्छा काम करती है। AI एक अथक 'प्रथम पाठक' के रूप में कार्य कर सकता है, जो तत्काल और व्यापक फीडबैक प्रदान करता है जो लेखन के हर पहलू को कवर करता है और यह सुनिश्चित करता है कि कोई भी छात्र प्रतिक्रिया के लिए प्रतीक्षा न करे। शिक्षक फिर एक विशेषज्ञ संपादक के रूप में कार्य करता है, जो उस व्यापक फीडबैक की समीक्षा करता है, विशिष्ट छात्र के लिए सबसे महत्वपूर्ण मुद्दों को प्राथमिकता देता है, और वह गहरा, प्रासंगिक मार्गदर्शन प्रदान करता है जो केवल एक मानव ही दे सकता है।
शोधकर्ता इसे 'पूरकता के लिए साक्ष्य-आधारित ढांचे' (एविडेंस-इन्फॉर्म्ड फ्रेमवर्क फॉर कॉम्प्लीमेंटैरिटी) कहते हैं। यह स्वीकार करता है कि जबकि मशीनें पैटर्न को स्कैन करने और सुसंगत, बहु-आयामी फीडबैक उत्पन्न करने में उत्कृष्ट हैं, उनमें यह समझने के लिए 'पेडागोगिकल जजमेंट' (शिक्षण संबंधी निर्णय) की कमी है कि किसी विशिष्ट शिक्षार्थी के लिए किसी विशिष्ट क्षण में कौन सा फीडबैक वास्तव में सहायक होगा। मानव शिक्षक यह तय करने का अनुभव लाता है कि सबसे महत्वपूर्ण क्या है। अध्ययन निष्कर्ष निकालता है कि लेखन मूल्यांकन का भविष्य मानव और मशीन के बीच चयन करने में नहीं, बल्कि उन्हें समन्वित करने में है। AI को प्रारंभिक समीक्षा की व्यापकता संभालने देकर और शिक्षक को निर्देश की गहराई संभालने देकर, स्कूल एक ऐसी प्रणाली बना सकते हैं जहाँ छात्रों को तकनीक की गति और मानवीय विशेषज्ञता का विवेक, दोनों प्राप्त हों।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।