AI-supported formative assessment of conceptual understanding in mathematics: LLM-based pre-coding of open student responses
यह अध्ययन प्रदर्शित करता है कि प्रॉम्प्ट-आधारित लार्ज लैंग्वेज मॉडल्स बिना फाइन-ट्यूनिंग के छात्रों की मुक्त-अंत वाली गणितीय प्रतिक्रियाओं में वैचारिक श्रेणियों की विश्वसनीय रूप से पहचान कर सकते हैं, जो सकारात्मक विशेषताओं और गहन वैचारिक समझ के लिए उच्च सटीकता प्राप्त करते हैं, जबकि अनुपस्थित विशेषताओं को सत्यापित करने या अस्पष्टता को सुलझाने की चुनौतियों को संबोधित करने के लिए विशेषज्ञ-इन-द-लूप सहायता और भाषाई रूप से स्पष्ट प्रॉम्प्ट्स की आवश्यकता पर प्रकाश डालते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कक्षा में, सबसे मूल्यवान क्षण अक्सर तब नहीं होते जब कोई छात्र सही उत्तर देता है, बल्कि तब होते हैं जब वह यह समझाता है कि वह वहां तक कैसे पहुँचा। शिक्षकों ने लंबे समय से यह जान लिया है कि छात्र के मन को वास्तव में समझने के लिए, उन्हें केवल अंतिम संख्या से आगे बढ़कर उसके पीछे के तर्क को देखना चाहिए। यही 'फॉर्मेटिव असेसमेंट' (रचनात्मक मूल्यांकन) का मूल है: सीखने की प्रक्रिया के दौरान ही उसे जाँचने की एक विधि, ताकि निर्देश को छात्र की मदद के लिए समायोजित किया जा सके और उसे आगे बढ़ने में सहायता मिल सके। हालाँकि, इसमें एक व्यावहारिक समस्या है। जब छात्र अपने विचार लिखते हैं, चित्र बनाते हैं, या अपनी स्वयं की वर्ड प्रॉब्लम (शब्द समस्या) बनाते हैं, तो शिक्षक के सामने पढ़ने और व्याख्या करने के लिए टेक्स्ट का एक पहाड़ खड़ा हो जाता है। हर छात्र के लिए गहराई से ऐसा करना उस समय की मांग करता है जो व्यस्त स्कूल के दिन में शायद ही कभी उपलब्ध होता है। परिणामस्वरूप, कई शिक्षक केवल अंतिम उत्तरों का ही ग्रेडिंग करते हैं, जिससे छात्रों की व्याख्याओं में छिपे समृद्ध अंतर्दृष्टि को वे अनदेखा कर देते हैं।
वर्षों से, शोधकर्ताओं ने ऐसे कंप्यूटर बनाने की कोशिश की है जो इन व्याख्याओं को पढ़ सकें और उनके भीतर सोचने के पैटर्न को पहचान सकें। शुरुआती प्रयास अक्सर विफल रहे क्योंकि वे कठोर नियमों पर निर्भर थे या उन्हें सीखने के लिए भारी मात्रा में पूर्व-लेबल किए गए डेटा की आवश्यकता थी। 'लार्ज लैंग्वेज मॉडल्स' (विशाल भाषा मॉडल)—जो मानव भाषा को समझने और उत्पन्न करने के लिए विशाल मात्रा में टेक्स्ट पर प्रशिक्षित शक्तिशाली कंप्यूटर सिस्टम हैं—के आगमन ने इस प्रश्न को फिर से खोल दिया है। ये मॉडल बिना हर विशिष्ट कार्य के लिए पुन: प्रशिक्षित हुए, साधारण अंग्रेजी में लिखे गए निर्देशों का पालन कर सकते हैं। लेकिन एक महत्वपूर्ण संदेह बना हुआ है: क्या एक मशीन, जो भाषा में उत्कृष्ट है, वास्तव में गणित के विशिष्ट और अक्सर सूक्ष्म तर्क को समझ सकती है? क्या वह उस छात्र के बीच अंतर कर सकती है जो वास्तव में एक अवधारणा को समझता है और उस छात्र के बीच जो केवल अनुमान लगा रहा है या गलत कारणों के लिए सही शब्दों का उपयोग कर रहा है?
TU डॉर्टमुंड यूनिवर्सिटी के एक शोधकर्ता ने इस प्रश्न का उत्तर देने के लिए गणित शिक्षा के संदर्भ में प्रयास किया। वे जानना चाहते थे कि क्या ये नए एआई (AI) उपकरण खुले अंत वाले गणितीय उत्तरों में छात्र की सोच के विशिष्ट प्रकारों को विश्वसनीय रूप से पहचान सकते हैं, और क्या वे ऐसा कक्षा में उपयोगी होने के स्तर तक कर सकते हैं। अध्ययन ने दो मुख्य क्षेत्रों पर ध्यान केंद्रित किया: प्राकृतिक संख्याएँ और भिन्न (fractions)। शोधकर्ता ने पाँचवीं और छठी कक्षा के छात्रों के हजारों लिखित उत्तर एकत्र किए। इन छात्रों को ऐसी चीजें करने के लिए कहा गया था जैसे कि यह समझाना कि एक भिन्न एक निश्चित तरीके से क्यों काम करती है या दिए गए गणितीय समीकरण के लिए अपनी स्वयं की वर्ड प्रॉब्लम बनाना। लक्ष्य यह देखना था कि क्या एक एआई, मानव विशेषज्ञ द्वारा लिखे गए निर्देशों के सेट के मार्गदर्शन में, इन प्रतिक्रियाओं को सार्थक श्रेणियों में वर्गीकृत कर सकता है, जैसे कि "गहरी समझ प्रदर्शित करता है," "एक विशिष्ट गलत धारणा रखता है," या "समझ का कोई प्रमाण प्रदान नहीं करता है।"
शोधकर्ता ने चार अलग-अलग ओपन-सोर्स एआई मॉडल्स का परीक्षण किया, जो तकनीक के वे संस्करण हैं जिन्हें स्कूल छात्र गोपनीयता बनाए रखने के लिए अपने स्वयं के सर्वर पर होस्ट कर सकते हैं। उन्होंने मानव विशेषज्ञों के ग्रेडिंग के विरुद्ध एआई के ग्रेडिंग की तुलना की। परिणाम आश्चर्यजनक रूप से सकारात्मक थे। 13,000 से अधिक कोडेड प्रतिक्रियाओं में, एआई मॉडल्स ने मानव विशेषज्ञों के साथ उच्च स्तर की सहमति प्राप्त की, और छात्र की सोच की मुख्य श्रेणियों को लगभग 82 प्रतिशत बार सही ढंग से पहचाना। यह प्रदर्शन विभिन्न प्रकार की गणितीय समस्याओं और विभिन्न मॉडल्स में सुसंगत था। एआई विशेष रूप से यह पहचानने में अच्छा था कि जब एक छात्र ने किसी अवधारणा को सही ढंग से समझाया हो, जैसे कि यह समझना कि गुणा में वस्तुओं को समूहों में व्यवस्थित करना शामिल है, या जब छात्र ने अपने तर्क में एक स्पष्ट और विशिष्ट त्रुटि की हो।
हालाँकि, अध्ययन ने यह भी दिखाया कि मशीनें कहाँ अटक जाती हैं। जब कार्य के लिए एआई को एक सरल अंकगणितीय जांच करने की आवश्यकता होती—जैसे कि यह सत्यापित करना कि छात्र की कहानी में संख्याएँ वास्तव में सही तरह से जुड़ रही हैं या नहीं—तो मॉडल्स संघर्ष करते थे। उन्हें तब भी कठिनाई हुई जब छात्र की प्रतिक्रिया बहुत छोटी या अस्पष्ट थी, या जब छात्र ने अस्पष्ट भाषा का उपयोग किया। इन कठिन स्थितियों में, एआई अनुमान लगाने की प्रवृत्ति रखता था, अक्सर यह मान लेता था कि छात्र अधिक समझता है जितना कि वास्तव में है। शोधकर्ता ने पाया कि एआई ने लगभग एक जानकार गैर-विशेषज्ञ मानव पाठक, जैसे कि एक छात्र शिक्षक के समान प्रदर्शन किया, लेकिन यह एक अनुभवी विशेषज्ञ के प्रदर्शन का मुकाबला नहीं कर सका जो तुरंत गहरे वैचारिक दोषों या गणनाओं को सत्यापित कर सकता है।
सबसे महत्वपूर्ण निष्कर्ष केवल यह नहीं था कि एआई काम करता है, बल्कि यह था कि वह कैसे काम करता है और उसे कहाँ मदद की आवश्यकता है। शोधकर्ता ने पाया कि एआई सबसे अधिक विश्वसनीय तब होता है जब छात्र की प्रतिक्रिया भाषाई रूप से स्पष्ट होती है। यदि छात्र एक समूहीकरण संरचना (grouping structure) का वर्णन करने के लिए स्पष्ट शब्दों का उपयोग करता है, तो एआई इसे आसानी से पकड़ लेता है। यदि छात्र अस्पष्ट है, तो एआई भटक जाता है। यह सुझाव देता है कि स्वयं परीक्षण प्रश्नों का डिज़ाइन अत्यंत महत्वपूर्ण है; ऐसे प्रश्न जो छात्रों को स्पष्ट और पूर्ण रूप से लिखने के लिए प्रेरित करते हैं, वे एआई उपकरणों से बेहतर परिणाम देंगे। इसके अलावा, अध्ययन ने निष्कर्ष निकाला कि इन एआई उपकरणों को शिक्षकों के विकल्प के रूप में नहीं देखा जाना चाहिए। इसके बजाय, वे एक शक्तिशाली उत्प्रेरक के रूप में कार्य करते हैं। वे हजारों प्रतिक्रियाओं को पढ़ने और छाँटने का भारी काम कर सकते हैं, और उन मामलों को चिह्नित कर सकते हैं जिन्हें मानवीय दृष्टि की आवश्यकता है। यह शिक्षक को सबसे कठिन मामलों पर ध्यान केंद्रित करने और कक्षा की समझ की एक स्पष्ट, अधिक व्यवस्थित तस्वीर के आधार पर अंतिम निर्देशात्मक निर्णय लेने के लिए मुक्त करता है।
शोधकर्ता इस बात पर जोर देते हैं कि एआई शिक्षक के लिए एक उपकरण है, न कि उनके निर्णय का विकल्प। इस प्रणाली को एक लूप में काम करने के लिए डिज़ाइन किया गया है जहाँ मशीन विश्लेषण का पहला ड्राफ्ट प्रदान करती है, और मानव शिक्षक इसकी समीक्षा करता है, गलतियों को सुधारता है और आवश्यक संदर्भ जोड़ता है जो केवल एक व्यक्ति ही प्रदान कर सकता है। यह दृष्टिकोण शिक्षण की जटिलता का सम्मान करता है और मानव समय की व्यावहारिक सीमाओं को स्वीकार करता है। प्रारंभिक छंटनी को संभालने के लिए एआई का उपयोग करके, शिक्षक संभावित रूप से प्रत्येक छात्र की गहरी वैचारिक सोच के साथ जुड़ सकते हैं, न कि केवल कुछ के साथ। अध्ययन पुष्टि करता है कि जबकि एआई अभी भी एक कुशल शिक्षक की सूक्ष्म समझ को प्रतिस्थापित नहीं कर सकता है, यह उस बिंदु तक पहुँच गया है जहाँ वह गणित में गहन, व्यक्तिगत रचनात्मक मूल्यांकन के सपने को स्कूलों के लिए एक व्यावहारिक वास्तविकता बना सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।