Exposía: Teaching and Assessment of Academic Writing Skills for Research Project Proposals and Peer Feedback
यह शोध पत्र Expos'ia को प्रस्तुत करता है, जो छात्र अनुसंधान प्रस्तावों को बहु-चरणीय सहकर्मी और प्रशिक्षक फीडबैक के साथ जोड़ने वाला पहला सार्वजनिक डेटासेट है, ताकि स्वचालित स्कोरिंग कार्यों पर लार्ज लैंग्वेज मॉडल्स का बेंचमार्क बनाया जा सके और शैक्षिक मूल्यांकन के लिए प्रभावी प्रॉम्प्टिंग रणनीतियों की पहचान की जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र हैं जो एक बड़े शोध प्रोजेक्ट के लिए प्रस्ताव (proposal) लिखने की कोशिश कर रहे हैं। यह एक घर बनाने की कोशिश करने जैसा है जिसके पास कोई ब्लूप्रिंट नहीं है: आपके पास ईंटें (विचार) तो हैं, लेकिन आपको यह नहीं पता कि उन्हें कैसे सजाना है ताकि छत न गिर जाए। आमतौर पर, आप मदद के लिए किसी शिक्षक से पूछते हैं, लेकिन शिक्षक व्यस्त होते हैं, और अपने सहपाठियों से मदद मांगना थोड़ा मुश्किल हो सकता है क्योंकि शायद उन्हें अच्छी सलाह देना न आता हो।
यह पेपर Exposía को पेश करता है, जो एक नया डिजिटल "खेल का मैदान" (playground) है जिसे कंप्यूटर को यह सिखाने के लिए डिज़ाइन किया गया है कि छात्रों की ठीक इसी समस्या में मदद कैसे की जाए।
यहाँ Exposía की कहानी है, जिसे सरल भागों में विभाजित किया गया है:
1. समस्या: "फीडबैक लूप" टूटा हुआ है
विश्वविद्यालय में, शोध प्रस्ताव (जिसे exposé कहा जाता है) लिखना वैज्ञानिक बनने की सीखने की प्रक्रिया का सबसे कठिन हिस्सा है।
- चुनौती: छात्र स्पष्ट योजनाएँ लिखने में संघर्ष करते हैं।
- लापता कड़ी: वे अपने साथियों को अच्छा फीडबैक देने में भी संघर्ष करते हैं।
- परिणाम: शिक्षक सब कुछ ग्रेड करने में अत्यधिक व्यस्त हो जाते हैं, और छात्रों को पर्याप्त अभ्यास नहीं मिल पाता।
इसे एक कुकिंग क्लास की तरह समझें जहाँ हर कोई सूफ़ले (soufflé) बनाना सीखने की कोशिश कर रहा है। शिक्षक इतना व्यस्त है कि वह हर एक व्यंजन चख नहीं सकता, और छात्र एक-दूसरे को यह कहने से डरते हैं कि, "हे, तुम्हारा ओवन बहुत गर्म है," क्योंकि उन्हें नहीं पता कि इसे विनम्रता से या सही तरीके से कैसे कहा जाए।
2. समाधान: एक नया डेटासेट (द "रेसिपी बुक")
शोधकर्ताओं ने Exposía बनाया, जो अनिवार्य रूप से छात्र के काम का एक विशाल, व्यवस्थित पुस्तकालय है। लेकिन यह केवल निबंधों का ढेर नहीं है। यह प्रत्येक छात्र के लिए एक समय-यात्रा करने वाली कहानी है:
- ड्राफ्ट 1: छात्र अपने प्रस्ताव का पहला कच्चा (messy) संस्करण लिखता है।
- आलोचना (Critique): उन्हें दो स्रोतों से फीडबैक मिलता है:
- सहकर्मी (Peers): अन्य छात्र टिप्पणियाँ और समीक्षाएँ लिखते हैं।
- शिक्षक: प्रशिक्षक विस्तृत टिप्पणियाँ लिखते हैं और अंक देते हैं।
- संशोधन (Revision): छात्र उस फीडबैक को लेता है और एक अंतिम संस्करण (Final Version) लिखता है।
जादुई सामग्री:
आमतौर पर, डेटासेट में केवल अंतिम निबंध होता है। Exposía में पूरी यात्रा है। यह कच्चे ड्राफ्ट, विशिष्ट टिप्पणियों (जैसे "यह वाक्य भ्रमित करने वाला है"), अंतिम ग्रेड और सुधरे हुए अंतिम ड्राफ्ट को एक साथ जोड़ता है। यह एक शेफ द्वारा एक खराब व्यंजन को ठीक करने के वीडियो रिकॉर्डिंग जैसा है, बजाय इसके कि केवल अंतिम प्लेट देखी जाए।
3. "ग्रेडिंग रूब्रिक" (द "रूलबुक")
डेटा को उपयोगी बनाने के लिए, शोधकर्ताओं ने शिक्षकों से केवल 10 में से एक ग्रेड देने के लिए नहीं कहा। उन्होंने एक अत्यंत विस्तृत नियम पुस्तिका (जिसे रूब्रिक कहा जाता है) बनाई जिसमें प्रस्ताव के लिए 3х6 विशिष्ट नियम और फीडबैक के लिए 24 नियम थे।
- प्रस्ताव के लिए: क्या उन्होंने समस्या को स्पष्ट रूप से बताया? क्या योजना वास्तविक है? क्या बिब्लियोग्राफी (संदर्भ सूची) सही है?
- फीडबैक के लिए: क्या छात्र समीक्षक ने कार्रवाई योग्य (actionable) सलाह दी? क्या उनका लहजा विनम्र था? क्या उन्होंने समझाया कि क्यों कुछ गलत था?
यह एक फुटबॉल मैच के रेफरी की तरह है जो केवल सीटी नहीं बजाता; वह सटीक रूप से रिकॉर्ड करता है कि कौन सा नियम टूटा था और अगले प्ले में खिलाड़ी ने उसे कैसे सुधारा।
4. प्रयोग: क्या AI शिक्षक बन सकता है?
शोधकर्ताओं ने पूछा: "क्या आधुनिक AI (लार्ज लैंग्वेज मॉडल्स) इन प्रस्तावों और फीडबैक को मानव शिक्षकों की तरह ग्रेड करना सीख सकता है?"
उन्होंने AI का दो कार्यों पर परीक्षण किया:
- प्रस्ताव को ग्रेड करना: "क्या यह शोध योजना अच्छी है?"
- फीडबैक को ग्रेड करना: "क्या इस छात्र की समीक्षा मददगार है?"
परिणाम:
- "सुपर-टीचर्स" (क्लोज्ड-सोर्स AI): सबसे शक्तिशाली, महंगी AI मॉडल्स (जैसे बड़ी टेक कंपनियों की ओर से) ने बहुत अच्छा काम किया। वे मानव शिक्षकों के बहुत करीब थे।
- "लोकल टीचर्स" (ओपन-सोर्स AI): मुफ्त, डाउनलोड करने योग्य AI मॉडल ठीक थे, लेकिन उन्होंने अधिक गलतियाँ कीं। यह एक समस्या है क्योंकि स्कूल अक्सर महंगे मॉडल्स का खर्च नहीं उठा सकते या गोपनीयता कारणों से छात्र डेटा को क्लाउड पर नहीं भेज सकते।
- "एक ही आकार सबके लिए" (One-Size-Fits-All) की गलती: शोधकर्ताओं ने पाया कि AI को दोनों कार्यों के लिए अलग-अलग "व्यक्तित्वों" की आवश्यकता थी। एक AI जो प्रस्ताव को ग्रेड करने में बहुत अच्छा था, वह कभी-कभी फीडबैक को ग्रेड करने में बहुत खराब था, और इसके विपरीत।
5. बड़ा निष्कर्ष: कक्षा में AI का उपयोग कैसे करें
पेपर शिक्षा के भविष्य के लिए कुछ महत्वपूर्ण सबक प्रस्तुत करता है:
- AI से केवल एक स्कोर न मांगें: यह सबसे अच्छा काम करता है यदि आप इसे एक साथ सभी नियमों को देखने के लिए कहें (एक समग्र न्यायाधीश की तरह) बजाय इसके कि एक नियम चेक करें, फिर दूसरा, और फिर एक और।
- AI एक "को-पायलट" है, कप्तान नहीं: AI पैटर्न पहचानने और ग्रेड का सुझाव देने में बहुत अच्छा है, लेकिन इसे मानव शिक्षक की जगह नहीं लेनी चाहिए। कभी-कभी AI शोध की "आत्मा" को समझने में चूक जाता है या जटिल शब्दों से भ्रमित हो जाता है। सबसे अच्छा दृष्टिकोण "ह्यूमन-इन-द-लूप" (Human-in-the-Loop) है: AI भारी काम करता है, और मानव शिक्षक अंतिम निर्णय लेता है।
- गोपनीयता मायने रखती है: चूंकि स्कूल हमेशा छात्र के काम को क्लाउड पर नहीं भेज सकते, इसलिए हमें बेहतर, मुफ्त AI मॉडल बनाने की आवश्यकता है जो छात्र की गोपनीयता की रक्षा के लिए स्कूल के कंप्यूटरों पर चल सकें।
संक्षेप में
Exposía एक नया उपकरण है जो कंप्यूटर को लेखन और फीडबैक सिखाने का तरीका सीखने में मदद करता है। यह साबित करता है कि जबकि AI ग्रेडिंग करने में बहुत अच्छा हो रहा है, इसे अभी भी मानवीय मार्गदर्शन की आवश्यकता है, और हमें बेहतर, निजी और मुफ्त AI टूल बनाने की आवश्यकता है ताकि हर छात्र को अपने अगले बड़े विचार को लिखने के लिए आवश्यक मदद मिल सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।