A Classroom Study of LLM-Generated Feedback Intervention in Introductory Programming
यह शोध पत्र प्रोगफीड (ProgFeed) डेटासेट को पेश करते हुए एक बड़े पैमाने के कक्षा अध्ययन को प्रस्तुत करता है जो यह प्रदर्शित करता है कि प्राकृतिक भाषा में एआई-जनित फीडबैक, टेस्ट केस फीडबैक या बिना फीडबैक की तुलना में, प्रारंभिक प्रोग्रामिंग में छात्र पूर्णता दरों और समाधान अभिसरण (solution convergence) में महत्वपूर्ण सुधार करता है, जो केवल उपस्थिति के बजाय फीडबैक के रूप और वैधता के महत्वपूर्ण महत्व को रेखांकित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप पहली बार एक नई, जटिल रेसिपी बनाना सीख रहे हैं। आप इसे बनाने की कोशिश करते हैं, और इसका स्वाद बहुत खराब आता है। आपको यह जानने की ज़रूरत है कि यह क्यों विफल हुआ ताकि आप इसे ठीक कर सकें।
यह शोध पत्र कंप्यूटर विज्ञान की एक कक्षा में किए गए एक बड़े प्रयोग के बारे में है जहाँ छात्र एक विशेष "AI शेफ" (एक लार्ज लैंग्वेज मॉडल) की मदद से "खाना पकाना" (कोड लिखना) सीख रहे थे। शोधकर्ता यह देखना चाहते थे कि किस प्रकार की "शेफ की सलाह" वास्तव में छात्रों को उनके व्यंजन को सबसे तेज़ी से और सफलतापूर्वक ठीक करने में मदद करती है।
यहाँ इसका विवरण दिया गया है कि उन्होंने क्या किया और उन्हें क्या मिला, सरल उपमाओं का उपयोग करते हुए:
सेटअप: तीन प्रकार के शेफ
छात्रों को यादृच्छिक रूप से (randomly) तीन समूहों में विभाजित किया गया था जब उन्होंने अपने कोड में गलती की:
- साइलेंट ग्रुप (कोई AI नहीं): इन छात्रों को केवल एक लाल बत्ती दिखी जो "गलत" (Wrong) कहती थी और एक हरी बत्ती दिखी जो "सही" (Right) कहती थी (जैसे कि एक साधारण पास/फेल ग्रेड)। उन्हें बाकी सब कुछ खुद ही समझना था।
- "खराब सामग्री" ग्रुप (टेस्ट केस फीडबैक): AI ने उन्हें एक "खराब सामग्री" का विशिष्ट उदाहरण दिया जिसके कारण व्यंजन विफल हुआ। उदाहरण के लिए, यदि कोड संख्याओं को जोड़ने के लिए था, तो AI कह सकता था, "यदि आप 5 और 5 डालते हैं, तो आपको 10 के बजाय 12 मिलता है।" यह उन्हें एक विशिष्ट सामग्री दिखाने जैसा है जिसने सूप को खराब कर दिया, लेकिन यह नहीं बताया कि इसे कैसे ठीक किया जाए।
- "हिंट" ग्रुप (नेचुरल लैंग्वेज फीडबैक): AI ने उन्हें समस्या को समझाने वाला एक छोटा, मैत्रीपूर्ण वाक्य दिया। उदाहरण के लिए, "आप कंप्यूटर को संख्याएँ जोड़ने के लिए बताना भूल गए।" यह एक शेफ द्वारा फुसफुसाने जैसा है, "हे, आप निर्देशों में एक चरण भूल गए।"
परिणाम: क्या सबसे अच्छा काम कर गया?
1. "हिंट" ग्रुप विजेता रहा
जिन छात्रों को मैत्रीपूर्ण, प्राकृतिक भाषा वाले संकेत मिले, उनके रेसिपी को सही करने की संभावना बहुत अधिक थी, और वे वहां तक तेज़ी से पहुँचे।
- उपमा: कोड को एक भूलभुलैया के रूप में सोचें। "हिंट" ग्रुप को एक नक्शा दिया गया था जिसमें लिखा था, "आप गलत दिशा में जा रहे हैं; यहाँ बाईं ओर मुड़ें।" इसने उन्हें जल्दी से निकास खोजने में मदद की।
2. "खराब सामग्री" ग्रुप संघर्ष करता रहा
आश्चर्यजनक रूप से, छात्रों को गलती का एक विशिष्ट उदाहरण देने ( "खराब सामग्री" ग्रुप) से उन्हें कुल मिलाकर वास्तव में कोई मदद नहीं मिली। वास्तव में, उन्हें उस समूह से बेहतर परिणाम नहीं मिले जिन्हें कोई मदद नहीं मिली थी।
- उपमा: कल्पना कीजिए कि AI ने छात्र को टोस्ट का एक जला हुआ टुकड़ा थमाया और कहा, "यही कारण है कि आपका नाश्ता विफल हुआ।" छात्र ने जले हुए टोस्ट को देखा, लेकिन क्योंकि वे शुरुआती स्तर के थे, उन्हें नहीं पता था कि अगली बार टोस्ट को जलने से रोकने के लिए क्या करना है। वे बार-बार अलग-अलग चीज़ें आज़माते रहे, और अक्सर वही गलती दोहराते रहे।
3. "खराब सामग्री" की गुणवत्ता मायने रखती है
शोधकर्ताओं ने पाया कि "खराब सामग्री" वाले उदाहरण केवल दो-तिहाई समय उपयोगी थे। कभी-कभी AI एक ऐसा उदाहरण देता था जो वास्तव में गलत था या जिसका कोई अर्थ नहीं निकलता था। जब उदाहरण सही होता था, तब भी शुरुआती लोगों के लिए इसका प्रभावी ढंग से उपयोग करना कठिन था।
मुख्य निष्कर्ष
इस अध्ययन का मुख्य सबक यह है कि फीडबैक देना उतना ही महत्वपूर्ण है जितना कि फीडबैक का तरीका।
- नेचुरल लैंग्वेज हिंट्स (प्राकृतिक भाषा के संकेत) एक मार्गदर्शक के रूप में कार्य करते हैं, जो भ्रमित करने वाली कंप्यूटर त्रुटियों को सरल अंग्रेजी में अनुवादित करते हैं जिसे एक शुरुआती व्यक्ति समझ सके।
- रॉ डेटा उदाहरण (जैसे टेस्ट केस) किसी को बिना मैनुअल के एक टूटा हुआ इंजन का हिस्सा थमाने जैसा है। यदि छात्र पहले से ही इंजन ठीक करना नहीं जानते हैं, तो वह टूटा हुआ हिस्सा उन्हें केवल भ्रमित करेगा।
शोधकर्ताओं ने निष्कर्ष निकाला कि शुरुआती लोगों के लिए, एक सरल, स्पष्ट स्पष्टीकरण एक जटिल तकनीकी उदाहरण की तुलना में कहीं अधिक शक्तिशाली है। उन्होंने इस प्रयोग का सारा डेटा (जिसे PROGFEED कहा जाता है) भी जारी कर दिया है ताकि अन्य शोधकर्ता यह अध्ययन कर सकें कि छात्र कैसे सीखते हैं और बेहतर AI शिक्षक कैसे बनाए जा सकते हैं।
संक्षेप में: यदि आप किसी शुरुआती व्यक्ति को सिखा रहे हैं, तो उन्हें केवल गलती न दिखाएं; बल्कि यह समझाएं कि वह क्यों हुई। सफलता पाने के लिए यही कुंजी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।