LLM-Generated Design Problems for Assessing Higher-Order Thinking in Project-Based Learning

कल्पना कीजिए कि आप एक कुकिंग क्लास में हैं जहाँ पूरा सेमेस्टर परफेक्ट पिज्जा बनाने की कला में महारत हासिल करने में बीतता है। आप आटे को गूंथना, सॉस चुनना और उसे सुनहरा होने तक पकाना सीखते हैं। सेमेस्टर के अंत में, शिक्षक आमतौर पर आपको उस पिज्जा के आधार पर ग्रेड देते हैं जो आपने वास्तव में बनाया है। लेकिन यहाँ एक समस्या है: सिर्फ इसलिए कि आप एक बेहतरीन पिज्जा बना सकते हैं, इसका मतलब यह नहीं है कि आप वास्तव में समझते हैं कि यह क्यों काम करता है, या क्या आप उन्हीं कौशलों का उपयोग केक बनाने या टूवन ओवन को ठीक करने के लिए कर सकते हैं। हो सकता है कि आपने बस पिज्जा के चरणों को रट लिया हो, या शायद आपने किसी रोबोट शेफ (जैसे कि एक AI) की मदद ली हो जिसने सारा भारी काम किया और आप बस देखते रहे।

यही वह पहेली है जिसका सामना कंप्यूटर साइंस के शिक्षक प्रोजेक्ट-बेस्ड लर्निंग (PjBL) के साथ करते हैं। छात्र शानदार सॉफ्टवेयर प्रोजेक्ट्स बनाते हैं, लेकिन पारंपरिक टेस्ट अक्सर केवल यह देखते हैं कि क्या वे कोड को कॉपी-पेस्ट कर सकते हैं या उस विशिष्ट चीज़ के बारे में रिपोर्ट लिख सकते हैं जिसे उन्होंने बनाया है। वे "उच्च-स्तरीय सोच" (Higher-Order Thinking - HOT) को छोड़ देते हैं—जो कि सीखी गई बातों को किसी बिल्कुल नई, कठिन स्थिति में लागू करने की क्षमता है।

नया टूल: "डिज़ाइन प्रॉब्लम्स" (Design Problems)

इसे ठीक करने के लिए, इस पेपर के लेखकों ने डिज़ाइन प्रॉब्लम्स (DPs) नामक कुछ पेश किया है। इसे एक "किचन चैलेंज" की तरह समझें जो पिज्जा क्लास के तुरंत बाद होता है। बजाय इसके कि वे पूछें, "मुझे अपना पिज्जा दिखाओ," शिक्षक कहते हैं:

"ठीक है, कल्पना कीजिए कि एक अस्पताल को बुजुर्ग मरीजों की उंगलियों की गति को ट्रैक करने के लिए एक सिस्टम की आवश्यकता है ताकि स्वास्थ्य संबंधी समस्याओं का पता लगाया जा सके। अपने पिज्जा ऐप के लिए उपयोग किए गए तर्क (logic) का उपयोग करते हुए, इस नए सिस्टम के लिए एक उच्च-स्तरीय योजना तैयार करें। आपके पास 30 मिनट हैं।"

यह छात्रों को केवल तथ्यों को दोहराने के बजाय अपने ज्ञान को स्थानांतरित (transfer) करने के लिए मजबूर करता है। उन्हें कुछ नया बनाने के लिए विश्लेषण, मूल्यांकन और सृजन करना पड़ता है, जिससे यह साबित होता है कि वे वास्तव में अवधारणाओं को समझते हैं, न कि केवल उस विशिष्ट कोड को जो उन्होंने अपने अंतिम प्रोजेक्ट के लिए लिखा था।

रोबोट हेल्पर: क्या AI ये प्रश्न लिख सकता है?

ये पेचीदा, नए-परिदृश्य वाले प्रश्न बनाना शिक्षकों के लिए कठिन कार्य है। हर एक छात्र प्रोजेक्ट के लिए एक नया और ताज़ा परिदृश्य गढ़ने में बहुत समय लगता है। इसलिए, शोधकर्ताओं ने पूछा: क्या एक लार्ज लैंग्वेज मॉडल (LLM)—एक सुपर-स्मार्ट AI चैटबॉट—हमारे लिए ये प्रश्न लिख सकता है?

उन्होंने दो अलग-अलग AI मॉडल्स (एक मानक मॉडल और एक "रीज़निंग" मॉडल जो स्टेप-बाय-स्टेप सोचता है) का उपयोग करके 80 ऐसे डिज़ाइन प्रॉब्लम्स जेनरेट करने के लिए परीक्षण किया, जो चार अलग-अलग छात्र प्रोजेक्ट्स (जैसे कि एक सुरक्षा टूल, एक डिस्ट्रीब्यूटेड गेम और एक मोबाइल ऐप) पर आधारित थे।

उन्होंने क्या पाया:

• AI काफी अच्छा है: "रीज़निंग" वाला AI विशेष रूप से प्रभावशाली था। इसने ऐसे परिदृश्य बनाए जो यथार्थवादी थे और सीखने के लक्ष्यों से पूरी तरह मेल खाते थे। वास्तव में, AI द्वारा जेनरेट किए गए 50% समस्याओं को मानव विशेषज्ञों से परफेक्ट स्कोर मिला।
• AI परफेक्ट नहीं है: कभी-कभी AI आलसी हो जाता था। यह ऐसा परिदृश्य बना देता था जो मूल प्रोजेक्ट के बहुत समान होता था (जैसे कि पिज्जा के लिए पिज्जा ही मांगना), या यह सवाल को बहुत अस्पष्ट बना देता था।
• निष्कर्ष: पेपर सुझाव देता है कि AI एक बहुत बड़ी मदद हो सकता है, जो एक अथक सहायक के रूप में प्रश्नों का ड्राफ्ट तैयार कर सकता है, लेकिन यह सुनिश्चित करने के लिए कि वे बहुत आसान या भ्रमित करने वाले न हों, एक मानव शिक्षक को उनकी समीक्षा करने की आवश्यकता होती है।

क्लासरूम टेस्ट: क्या छात्रों ने इसे समझा?

शोधकर्ताओं ने इन AI-लिखित डिज़ाइन प्रॉब्लम्स को तीन वास्तविक कॉलेज क्लासेज में लागू किया। उन्होंने छात्रों को इन नए परिदृश्यों में से एक को व्यक्तिगत रूप से हल करने के लिए 30 मिनट दिए।

यहाँ ट्विस्ट है:
जब उन्होंने इन नए डिज़ाइन प्रॉब्लम्स पर छात्रों के ग्रेड की तुलना उनके मूल सेमेस्टर-लॉन्ग प्रोजेक्ट्स के ग्रेड से की, तो उनके बीच लगभग कोई संबंध नहीं था।

• कुछ छात्र "मास्टर्स" थे: उन्होंने प्रोजेक्ट में भी टॉप किया और नए चैलेंज में भी सफल रहे।
• कुछ "इम्प्लीमेंटर्स" (Implementers) थे: उन्होंने एक बेहतरीन प्रोजेक्ट बनाया (शायद मदद से या रेसिपी का पालन करके) लेकिन नए चैलेंज में विफल रहे क्योंकि वे तर्क को कहीं और लागू नहीं कर सके।
• कुछ "कॉन्सेप्चुअलाइज़र्स" (Conceptualizers) थे: वे प्रोजेक्ट में संघर्ष कर रहे थे लेकिन नए चैलेंज में छा गए क्योंकि वे गहरे सिद्धांतों (concepts) को समझते थे।

यह साबित करता है कि पारंपरिक प्रोजेक्ट ग्रेड पूरी कहानी नहीं बताते। एक छात्र एक बेहतरीन ऐप बना सकता है लेकिन फिर भी वह एक नई स्थिति में इंजीनियर की तरह सोचना नहीं जानता। डिज़ाइन प्रॉब्लम्स ने इस अंतर को पकड़ लिया।

छात्र वास्तव में कैसे सोचते थे

शोधकर्ताओं ने छात्रों के उत्तर देने के तरीके (कीस्ट्रोक डेटा का उपयोग करके) को भी देखा। उन्होंने पाया कि छात्र केवल अंधाधुंध टाइप नहीं कर रहे थे।

• उन्होंने शुरुआत में लगभग 2 मिनट का विराम लिया, जो संभवतः सोचने और योजना बनाने के लिए था।
• उन्होंने अपने उत्तरों के हिस्सों को डिलीट किया और फिर से लिखा (एक "रिवीजन रेशियो" लगभग 100 टाइप किए गए अक्षरों के लिए 12-16 डिलीट किए गए अक्षर)।
• उन्होंने लिखते समय बार-बार ब्रेक लिया (10 सेकंड से अधिक का अंतराल)।

यह व्यवहार सुझाव देता है कि छात्र वास्तव में विचारों के विश्लेषण और संश्लेषण का कठिन मानसिक कार्य कर रहे थे, न कि केवल कॉपी-पेस्ट कर रहे थे।

यह पेपर किन बातों को खारिज करता है

पेपर सावधानी से बताता है कि यह तरीका क्या नहीं है:

• यह सभी अन्य परीक्षणों को बदलने वाला कोई "जादुई समाधान" नहीं है।
• यह ऐसा कुछ नहीं है जो तब पूरी तरह काम करे जब छात्र टेस्ट के दौरान AI का उपयोग कर सकें (इसीलिए शिक्षकों ने उन्हें बिना फोन के क्लास में ही इसे करने के लिए कहा)।
• यह छात्रों को उनके द्वारा लिए गए समय के आधार पर ग्रेड देने का तरीका नहीं है; डेटा ने दिखाया कि अधिक समय बिताने से अनिवार्य रूप से बेहतर ग्रेड नहीं मिले।
• यह अभी भी एक पूर्ण प्रणाली नहीं है; पेपर स्पष्ट रूप से नोट करता है कि इन ओपन-एंडेड उत्तरों को ग्रेड करना अभी भी व्यक्तिपरक (subjective) है और बिना मदद के इसे बड़े पैमाने पर लागू करना कठिन है।

निचोड़ (The Bottom Line)

अध्ययन सुझाव देता है कि इन "डिज़ाइन प्रॉब्लम्स" को जेनरेट करने के लिए AI का उपयोग करना यह जांचने का एक आशाजनक तरीका है कि क्या छात्र वास्तव में कंप्यूटर साइंस की अवधारणाओं को समझते हैं, न कि केवल यह कि वे किसी एक विशिष्ट चीज़ को बनाने का तरीका रट रहे हैं। यह शिक्षकों को यह देखने में मदद करता है कि एक छात्र जो केवल एक रेसिपी का पालन कर सकता है और एक छात्र जो एक पूरी नई डिश बना सकता है, दोनों के बीच क्या अंतर है। हालांकि AI परफेक्ट नहीं है और इसे एक मानव पर्यवेक्षक की आवश्यकता है, लेकिन यह सुनिश्चित करने की कुंजी हो सकता है कि छात्र वास्तविक दुनिया के लिए तैयार हैं, जहाँ समस्याएँ कभी भी वैसी नहीं होतीं जैसी उन्होंने क्लास में अभ्यास किया था।