Baseline Performance of AI Tools in Classifying Cognitive Demand of Mathematical Tasks
यह अध्ययन ग्यारह सामान्य-उद्देश्य और शिक्षा-विशिष्ट एआई उपकरणों का मूल्यांकन करता है, जिसमें यह पाया गया है कि वे गणितीय कार्यों की संज्ञानात्मक मांग को वर्गीकृत करने में केवल मध्यम सटीकता (63%) प्राप्त करते हैं क्योंकि उनमें मध्य-स्तरीय श्रेणियों के प्रति एक व्यवस्थित पूर्वाग्रह और अंतर्निहित संज्ञानात्मक प्रक्रियाओं के बजाय सतही पाठ्य विशेषताओं को प्राथमिकता देने की प्रवृत्ति है, जिससे बेहतर प्रॉम्प्ट इंजीनियरिंग या टूल विकास के बिना शिक्षक नियोजन के लिए उनकी तत्काल विश्वसनीयता सीमित हो जाती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मुख्य शेफ (एक शिक्षक) हैं जो एक व्यस्त रसोई चला रहे हैं। आपके पास व्यंजनों (गणित की समस्याओं) का एक विशाल मेनू है, जो सरल "ब्रेड का एक टुकड़ा टोस्ट करने" के कार्यों से लेकर जटिल "12-कोर्स मॉलिक्यूलर गैस्ट्रोनॉमी दावत" जैसी चुनौतियों तक विस्तृत है।
आपका काम इन व्यंजनों को सही डिब्बों में छाँटना है ताकि आप अपने डाइनर्स (छात्रों) को सही स्तर की चुनौती दे सकें। यदि आप एक नौसिखिए को एक जटिल दावत देंगे, तो वे थककर हार मान लेंगे। यदि आप एक विशेषज्ञ को सिर्फ टोस्ट देंगे, तो वे ऊब जाएंगे।
हाल ही में, आपकी रसोई में एक नया सहायक आया है: आर्टिफिशियल इंटेलिजेंस (AI)। आपने पूछा, "क्या आप इन व्यंजनों को देख सकते हैं और मुझे बता सकते हैं कि कौन से सरल हैं और कौन से जटिल?"
यह पेपर उस रिपोर्ट कार्ड की तरह है कि आपके AI सहायक ने अपने काम के पहले दिन कैसा प्रदर्शन किया।
सेटअप: "संज्ञानात्मक मांग" (Cognitive Demand) मेनू
शोधकर्ताओं ने एक प्रसिद्ध ढांचा उपयोग किया जिसे टास्क एनालिसिस गाइड (TAG) कहा जाता है। इसे गणित की समस्याओं के लिए चार-सितारा रेटिंग सिस्टम के रूप में समझें:
- याद करना (1 सितारा): केवल तथ्यों को दोहराना। जैसे बिना सोचे-समझे कहना "2 + 2 = 4"।
- संबंधों के बिना प्रक्रियाएं (2 सितारे): बिना यह जाने कि सामग्री क्यों काम करती है, स्टेप-बाय-स्टेप रेसिपी का पालन करना। जैसे बॉक्स में लिखे अनुसार केक का बैटर मिलाना।
- संबंधों के साथ प्रक्रियाएं (3 सितारे): यह समझने के लिए रेसिपी का उपयोग करना कि केक क्यों फूलता है। आप बेकिंग के विज्ञान के साथ चरणों को जोड़ रहे हैं।
- गणित करना (4 सितारे): शुरुआत से एक बिल्कुल नया व्यंजन बनाना। आपको सामग्री, विधि और तर्क खुद तय करना होगा। यह अस्त-व्यस्त, कठिन और गहन सोच की आवश्यकता वाला काम है।
प्रयोग: "आउट-ऑफ-द-बॉक्स" टेस्ट
शोधकर्ताओं ने AI को "प्रशिक्षित" करने या उसे विशेष निर्देश देने की कोशिश नहीं की। उन्होंने बस 11 अलग-अलग AI टूल्स (कुछ सामान्य जैसे ChatGPT, कुछ विशेष रूप से स्कूलों के लिए बने जैसे Khanmigo) को 12 गणित की समस्याओं का एक ढेर दिया और कहा, "यहाँ नियम पुस्तिका है। मुझे बताओ कि प्रत्येक समस्या को कौन सा स्टार रेटिंग मिलता है।"
वे देखना चाहते थे कि क्या होता है जब एक शिक्षक बिना घंटों "प्रॉम्प्ट इंजीनियरिंग" (परफेक्ट निर्देश देना) सीखे, सीधे AI का उपयोग करता है।
परिणाम: AI एक "सुरक्षित-मध्यम" (Safe-Middle) सहायक है
परिणाम "बुरा नहीं है" और "काफी चिंताजनक" का मिश्रण थे।
1. औसत स्कोर: 63%
AI ने लगभग 10 में से 6 समस्याओं को सही पहचाना। यह अनुमान लगाने से बेहतर है, लेकिन उस 100% सटीकता से बहुत दूर है जिसकी एक शिक्षक को इस पर आँख मूँदकर भरोसा करने के लिए आवश्यकता होती है।
2. "बीच के रास्ते" का झुकाव (Middle-of-the-Road Bias)
यह सबसे बड़ी खोज थी। AI चरम सीमाओं (extremes) से डरता था।
- जब कोई समस्या स्पष्ट रूप से सरल (याद करना) थी, तो AI अक्सर कहता था, "ओह, यह 2-स्टार प्रक्रिया है।"
- जब कोई समस्या स्पष्ट रूप से कठिन (गणित करना) थी, तो AI अक्सर कहता था, "वह केवल 3-स्टार प्रक्रिया है।"
- उपमा: कल्पना कीजिए कि एक मौसम विज्ञानी "तूफान आ रहा है" या "सूखा पड़ रहा है" कहने से डरता है। इसके बजाय, वे बस कहते रहते हैं, "मौसम बादल वाला है।" AI चीजों को बीच की श्रेणियों (प्रक्रियाओं) में धकेलता रहा क्योंकि वहां सुरक्षित महसूस होता था।
3. "सतही स्तर" का जाल
AI कीवर्ड्स पहचानने में बहुत अच्छा था लेकिन सोच को समझने में बहुत खराब।
- उदाहरण: यदि किसी समस्या में लिखा था "अपना काम दिखाएं" (Show your work), तो AI ने सोचा, "ओह, काम दिखाना मतलब यह एक सरल प्रक्रिया है!"
- वास्तविकता: कभी-कभी "अपना काम दिखाना" एक जटिल, रचनात्मक समाधान को समझाने का अर्थ होता है। AI ने गहरे विचार (दिमाग की शक्ति) के बजाय सतही टेक्स्ट (शब्दों) को देखा।
4. सामान्य बनाम विशिष्ट टूल्स
आप सोच सकते हैं कि स्कूलों के लिए बनाए गए AI टूल्स (जैसे Magic School या Khanmigo) सामान्य टूल्स (जैसे ChatGPT या Grok) की तुलना में बेहतर होंगे।
- ट्विस्ट: वे बेहतर नहीं थे। सामान्य-उद्देश्य वाले टूल्स भी उतने ही अच्छे (या उतने ही खराब) प्रदर्शन कर रहे थे। "शिक्षा-ब्रांडेड" होने से वे इस विशिष्ट कार्य में अधिक स्मार्ट नहीं हुए।
गलतियों के पीछे का "क्यों"
शोधकर्ताओं ने AI के "तर्क" (यह समझाने के कारण कि उसने एक रेटिंग क्यों दी) की जांच की। उन्होंने पाया कि AI अति-आत्मविश्वासी लेकिन गलत था।
- "विश्वसनीय झूठ" (The Plausible Lie): AI एक बहुत ही प्रभावशाली, पेशेवर दिखने वाला स्पष्टीकरण देता था कि क्यों एक कठिन समस्या वास्तव में आसान थी। यह एक शिक्षक की तरह सुनाई देता था, लेकिन यह मूल बात को समझ नहीं पा रहा था।
- "टास्क G" की विफलता: एक विशिष्ट समस्या (टास्क G) थी जहाँ AI 4 में से 3 बार विफल रहा। यह एक वास्तविक दुनिया के परिदृश्य जैसा दिखता था लेकिन इसमें एक विशिष्ट निर्देश था ("अनुपात सेट करें")। AI वास्तविक दुनिया की कहानी से भ्रमित हो गया और उस विशिष्ट निर्देश को मिस कर गया जिसने इसे एक सरल कार्य बना दिया था।
शिक्षकों के लिए इसका क्या अर्थ है
तो, क्या आपको अपना मानव सहायक हटाकर AI को काम पर रखना चाहिए? नहीं।
- समय से पहले तैयार नहीं: आप AI को अपने लेसन प्लान ग्रेड करने या गणित की समस्याओं को अपने आप छाँटने के लिए नहीं छोड़ सकते। यह सबसे कठिन और सबसे आसान समस्याओं को गलत वर्गीकृत कर देगा, जो वे चीजें हैं जिन्हें आपको सही करना चाहिए।
- एक "सेकंड ओपिनियन" के रूप में अच्छा: AI एक ड्राफ्टिंग असिस्टेंट के रूप में बढ़िया है। आप पूछ सकते हैं, "हे, इस समस्या की कठिनाई के बारे में तुम्हारा क्या विचार है?" और फिर आप उसके काम की जाँच करेंगे। यह आपका पहला दौर करके आपका समय बचा सकता है, लेकिन अंतिम निर्णय आपको ही लेना होगा।
- "प्रॉम्प्ट" की समस्या: इस अध्ययन में एक बहुत ही बुनियादी प्रॉम्प्ट का उपयोग किया गया था। यदि शिक्षक AI से बेहतर तरीके से बात करना सीखते हैं (उदाहरण देना, उसे स्टेप-बाय-स्टेप सोचने के लिए कहना), तो स्कोर बढ़ सकते हैं। लेकिन अभी, बिना किसी विशेष निर्देश के, यह थोड़ा अनाड़ी है।
निचोड़ (The Bottom Line)
AI रसोई में एक नए इंटर्न की तरह है। वह उत्साही है, उसे बहुत सी बातें पता हैं, और वह रेसिपी बुक पढ़ सकता है। लेकिन उसमें अभी वह "स्वाद" या "सहज ज्ञान" (intuition) नहीं है जिससे वह जान सके कि कोई व्यंजन वास्तव में सरल है या वास्तव में जटिल। वह सुरक्षित खेलने की कोशिश करता है और हर चीज़ को "मध्यम" बताता है।
जब तक हम इसे बेहतर तरीके से सोचना (न कि केवल पढ़ना) नहीं सिखा देते, तब तक शिक्षकों को अपनी एप्रन पहने रखनी चाहिए और अंतिम टेस्टिंग खुद ही करनी चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।