Is Solving Better Than Evaluating GenAI Solutions?
एक जूनियर-स्तरीय एल्गोरिदम पाठ्यक्रम में किए गए एक यादृच्छिक अध्ययन ने पाया कि हालांकि छात्रों द्वारा दोषपूर्ण GenAI-जनित समाधानों का मूल्यांकन करने से होमवर्क स्कोर में सुधार हुआ, लेकिन इससे समग्र परीक्षा प्रदर्शन को कोई नुकसान नहीं पहुँचा, फिर भी यह बिना किसी सुविचारित स्कैफोल्डिंग के पारंपरिक समस्या-समाधान की तुलना में बेहतर वैचारिक स्थानांतरण या सीखने के लाभों की ओर स्वतः ही नहीं ले गया।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मास्टर शेफ बनने की सीख ले रहे हैं। वर्षों तक, खाना बनाना समझने को सिद्ध करने का एकमात्र तरीका यह था कि आप रसोई में खड़े हों, अपनी सब्जियां खुद काटें और अपना सूफ़ले (soufflé) शून्य से खुद बनाएं। लेकिन अब, एक जादुई रोबोट प्रकट हुआ है जो कुछ ही सेकंड में एक बेहतरीन सूफ़ले तैयार कर सकता है। इसने कुकिंग स्कूलों में थोड़ी घबराहट पैदा कर दी है। क्या उन्हें रोबोट पर प्रतिबंध लगा देना चाहिए? या उन्हें छात्रों को इसका उपयोग करने देना चाहिए, लेकिन परीक्षा का तरीका बदल देना चाहिए? बजाय इसके कि छात्रों से बनाने के लिए कहा जाए, शायद उन्हें रोबोट के सूफ़ले को चखने, उसमें जले हुए हिस्सों को खोजने और यह समझाने के लिए कहा जाए कि वह क्यों विफल हुआ। यह आज कंप्यूटर साइंस शिक्षा के सामने खड़ा एक बड़ा सवाल है। हम "जेनरेटिव एआई" (Generative AI) के युग में हैं, जहाँ कंप्यूटर लगभग तुरंत कोड लिख सकते हैं और गणित की समस्याओं को हल कर सकते हैं। शिक्षक सोच रहे हैं: यदि हम छात्रों से समाधान बनाने के बजाय एआई के समाधान की आलोचना करने के लिए कहने लगें, तो क्या वे वास्तव में अधिक सीखेंगे? या वे अपने आप सोचने की क्षमता में और भी कमजोर हो जाएंगे?
यह शोध पत्र उस बहस को सुलझाने के लिए बनाया गया एक वास्तविक प्रयोग है। पर्ड्यू यूनिवर्सिटी के शोधकर्ताओं ने 220 जूनियर-लेवल के छात्रों की एक क्लास ली जो "एल्गोरिदम" (algorithms) पढ़ रहे थे—जो कि जटिल समस्याओं को हल करने के लिए केवल फैंसी, चरण-दर-चरण रेसिपी की तरह हैं, जैसे कि मानचित्र पर सबसे तेज़ रास्ता खोजना या डेटा की एक विशाल सूची को व्यवस्थित करना। उन्होंने "ए/बी टेस्टिंग" (A/B testing) का एक बड़ा खेल आयोजित किया, जो कि एक सिक्के को उछालकर यह तय करने जैसा है कि किसे कौन सा होमवर्क मिलेगा। सेमेस्टर के पहले आधे हिस्से के लिए, छात्रों के एक समूह (मान लीजिए "बेकर्स" या बनाने वाले) को शून्य से एक कठिन एल्गोरिथम समस्या को हल करना था। दूसरे समूह ( "क्रिटिक्स" या आलोचक) को उसी समस्या को हल करने के लिए एआई का उपयोग करना था, और फिर एआई के काम को ग्रेड देना था, यह बताते हुए कि रोबोट कहाँ गलत हुआ। फिर, उन्होंने दूसरे आधे सेमेस्टर के लिए भूमिकाएं बदल लीं। "क्रिटिक्स" अब "बेकर्स" बन गए, और "बेकर्स" अब "क्रिटिक्स" बन गए।
शोधकर्ता यह देखना चाहते थे कि क्या "क्रिटिक्स" ने "बेकर्स" की तुलना में बेहतर सीखा। क्या एआई की गलतियों को पकड़ने से उन्हें अवधारणाओं की गहरी समझ मिली? क्या इसने बाद में अपने दम पर समस्याओं को हल करने में उन्हें बेहतर बनाया? उत्तर, आश्चर्यजनक रूप से, थोड़ा "औसत" (meh) था। जब छात्रों ने अपनी बड़ी मिडटर्म और फाइनल परीक्षाएं दीं, तो "क्रिटिक्स" का स्कोर "बेकर्स" से अधिक नहीं था। वास्तव में, उनका स्कोर कम भी नहीं था। दोनों समूहों के ग्रेड लगभग समान रहे। अध्ययन बताता है कि समाधान बनाने के कार्य को एआई के समाधान की आलोचना करने के कार्य से बदलने से आप स्वचालित रूप से बेहतर समस्या-समाने वाले नहीं बन जाते। यह बस यह बदल देता है कि आप अपना समय कैसे खर्च करते हैं। "क्रिटिक्स" ने अपनी ऊर्जा त्रुटियों का निदान करने और तर्क को परखने में लगाई, जबकि "बेकर्स" ने अपनी ऊर्जा शून्य से तर्क का निर्माण करने में लगाई। दोनों दृष्टिकोण परीक्षा में लगभग एक ही मंजिल तक पहुँचते थे।
हालाँकि, इसमें एक छोटा सा मोड़ था। जिन छात्रों ने "क्रिटिक्स" के रूप में कार्य किया, उन्होंने वास्तव में उन विशिष्ट होमवर्क असाइनमेंट में उच्च अंक प्राप्त किए जहाँ वे एआई को ग्रेड दे रहे थे। रोबोट के काम में गलती ढूंढना पूरे काम को खुद बनाने की तुलना में आसान था। लेकिन यहाँ एक पेंच है: उस अतिरिक्त होमवर्क अंकों का बेहतर परीक्षा स्कोर में अनुवाद नहीं हुआ। यह एक अभ्यास क्विज़ पर 'ए' ग्रेड पाने जैसा था लेकिन वास्तविक परीक्षा में समान स्कोर प्राप्त करना। शोधकर्ताओं ने छात्रों से यह भी पूछा कि वे कैसा महसूस करते हैं। अधिकांश ने कहा कि एआई असाइनमेंट ने उनकी पढ़ाई के तरीके को नहीं बदला। हालाँकि, कुछ छात्र जिन्होंने कहा कि उन्होंने अपनी अध्ययन की आदतों को बदला, उन्हें लगा कि "क्रिटिक" असाइनमेंट बहुत अधिक सहायक थे। यह संकेत देता है कि केवल छात्र को एआई को ग्रेड देने के लिए कहना कोई जादुई नुस्खा नहीं है। वास्तव में सीखने के लिए, छात्रों को अधिक मार्गदर्शन की आवश्यकता हो सकती है—जैसे कि केवल बग (त्रुटि) को खोजने के लिए नहीं, बल्कि उसे ठीक करने या यह समझाने के लिए कि वह सुधार वास्तव में क्यों काम करता है।
अंत में, अध्ययन सुझाव देता है कि स्कूल छात्रों को समाधानों की आलोचना करने के लिए एआई के साथ बातचीत करने की अनुमति सुरक्षित रूप से दे सकते हैं जिससे उनके ग्रेड खराब न हों, लेकिन इससे वे स्वचालित रूप से जीनियस नहीं बन जाएंगे। जादू एआई में नहीं है; यह इस बात में है कि शिक्षक कार्य को कैसे डिजाइन करता है। यदि लक्ष्य गहरी समझ विकसित करना है, तो केवल छात्र को एक टूटा हुआ रोबोट समाधान थमा देना और कहना "इसे ठीक करो" पर्याप्त नहीं हो सकता है। उन्हें उस आलोचना को एक वास्तविक "अहा!" (aha!) क्षण में बदलने के लिए थोड़े और मार्गदर्शन या ढांचे की आवश्यकता हो सकती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।