Temporal Stability and Few-Shot Prompting in Math Task Assessment
यह अनुदैर्ध्य अध्ययन प्रदर्शित करता है कि जहाँ केवल मॉडल संस्करण अपडेट गणितीय कार्यों की संज्ञानात्मक मांग को वर्गीकृत करने में असंगत परिणाम देते हैं, वहीं फ़्यू-शॉट प्रॉम्प्टिंग (few-shot prompting) सामान्य-उद्देश्य और शिक्षा-विशिष्ट दोनों प्रकार के एआई उपकरणों के प्रदर्शन में महत्वपूर्ण और विश्वसनीय रूप से सुधार करती है, जो यह सुझाव देता है कि शैक्षिक संदर्भों में एआई को बेहतर बनाने के लिए केवल निष्क्रिय मॉडल सुधारों पर निर्भर रहने के बजाय प्रॉम्प्ट इंजीनियरिंग एक अधिक प्रभावी रणनीति है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने गणित के होमवर्क के ढेर को छाँटने में मदद करने के लिए दो अलग-अलग "AI शिक्षण सहायकों" (teaching assistants) को काम पर रखा है। आपका लक्ष्य उन्हें दो ढेरों में विभाजित करना है: "आसान, नियमित अभ्यास" और "कठिन, गहन सोच वाले चुनौतीपूर्ण कार्य।" आप उन्हें निर्णय लेने में मदद करने के लिए एक नियम पुस्तिका (जिसे 'टास्क एनालिसिस गाइड' कहा जाता है) देते हैं।
यह अध्ययन इन दोनों सहायकों पर एक दीर्घकालिक जांच की तरह है ताकि यह देखा जा सके कि क्या वे समय के साथ सुसंगत रहते हैं और क्या उदाहरणों की एक "चीट शीट" देने से वे बेहतर काम करते हैं।
यहाँ जो हुआ, उसे सरल भाषा में समझाया गया है:
दो सहायक
शोधकर्ताओं ने दो अलग-अलग AI टूल्स का परीक्षण किया:
- Gemini: एक "सामान्य-उद्देश्य" वाला सहायक। इसे एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन की तरह समझें जिसे गणित सहित हर चीज़ के बारे में थोड़ा-बहुत ज्ञान है।
- Coteach: एक "शिक्षा-विशिष्ट" सहायक। इसे एक अनुभवी गणित शिक्षक की तरह समझें जिसने वर्षों तक पेपर चेक किए हैं और स्कूल के गणित की विशिष्ट बारीकियों को जाना है।
भाग 1: "टाइम ट्रैवल" टेस्ट (टेम्पोरल स्टेबिलिटी)
शोधकर्ताओं ने दोनों सहायकों को पहले दिन गणित के सवालों को छाँटने के लिए कहा। फिर, उन्होंने सात सप्ताह का इंतजार किया और फिर से उन्हीं बिल्कुल समान सवालों को छाँटने के लिए कहा।
वास्तविक दुनिया में, सॉफ्टवेयर अपडेट लगातार होते रहते हैं। यह ऐसा है जैसे यदि आपके पसंदीदा वीडियो गेम में कोई पैच अपडेट आता है; कभी-कभी गेम बेहतर हो जाता है, लेकिन कभी-कभी आपका पसंदीदा पात्र अचानक अलग व्यवहार करने लगता है या कमजोर हो जाता है।
सामान्य सहायक (Gemini) के साथ क्या हुआ?
इसका समग्र स्कोर बिल्कुल वही रहा (58% सही)। हालाँकि, यदि आप बारीकी से देखें, तो इसने विशिष्ट समस्याओं पर अपना निर्णय बदल लिया था। इसने तीन नए सवाल सही किए जो पहले गलत थे, लेकिन इसने तीन पुराने सवाल गलत कर दिए जिन्हें इसने पहले सही हल किया था।- उपमा: कल्पना कीजिए कि एक न्यायाधीश जो औसतन आपको वही सजा देता है, लेकिन वह बदल देता है कि किन विशिष्ट अपराधों के लिए मृत्युदंड दिया जाना चाहिए और किनके लिए आजीवन कारावास। "औसत" समान दिखता है, लेकिन आपके मामले के लिए विशिष्ट परिणाम बदल गया है। इसे "प्रॉम्प्ट ड्रिफ्ट" (prompt drift) कहा जाता है।
शिक्षक सहायक (Coteach) के साथ क्या हुआ?
यह वाला और खराब हो गया। इसका स्कोर 75% सही से गिरकर 50% रह गया।- उपमा: कल्पना कीजिए कि एक अनुभवी शिक्षक जो अचानक बुनियादी टेस्ट ग्रेड करना भूलने लगा है। उन्होंने केवल अपने उत्तर नहीं बदले; बल्कि वास्तव में उन्होंने काम करने की अपनी क्षमता खो दी।
बड़ी सीख: सिर्फ इसलिए कि किसी AI टूल का "नया संस्करण" आता है या बैकग्राउंड में अपडेट होता है, इसका मतलब यह नहीं है कि वह आपके विशिष्ट कार्य में बेहतर हो जाएगा। कभी-कभी यह समान रहता है लेकिन अलग तरह से व्यवहार करता है, और कभी-कभी यह वास्तव में बदतर हो जाता है।
भाग 2: "चीट शीट" टेस्ट (फ्यू-शॉट प्रॉम्प्टिंग)
सात सप्ताह के इंतजार के बाद, शोधकर्ताओं ने एक नया तरीका आजमाया। केवल सहायकों से समस्याओं को छाँटने के लिए कहने के बजाय, उन्होंने उन्हें एक "चीट शीट" दी। इस शीट ने उन्हें एक "आसान" समस्या के दो आदर्श उदाहरण और एक "कठिन" समस्या के दो आदर्श उदाहरण, उनके सही लेबल के साथ दिखाए।
इसे फ्यू-शॉट प्रॉम्प्टिंग (Few-Shot Prompting) कहा जाता है। यह एक नए कर्मचारी को कहने जैसा है, "यहाँ एक अच्छी रिपोर्ट का नमूना है और एक खराब रिपोर्ट का नमूना है। अब, इस नए ढेर को देखो और इन नमूनों की तरह ही छाँटो।"
- परिणाम:
- Gemini (लाइब्रेरियन): बेहतर हुआ! इसका स्कोर 58% से बढ़कर 67% हो गया।
- Coteach (शिक्षक): यह बहुत अधिक बेहतर हुआ! यह अपने निचले 50% के स्कोर से उछलकर वापस 75% पर आ गया, जो इसके मूल "विशेषज्ञ" स्तर पर वापसी थी।
बड़ी सीख: AI को कुछ स्पष्ट उदाहरण (चीट शीट) देने से इसके प्रदर्शन में सुधार हुआ, जो सॉफ्टवेयर के नए संस्करण के आने का इंतजार करने से अधिक प्रभावी था। वास्तव में, "चीट शीट" ने शिक्षक सहायक की गलतियों को पूरी तरह से ठीक कर दिया।
"कठिन चीज़ों" की समस्या
एक पेच था। AI टूल्स "आसान" नियमित समस्याओं को छाँटने में बहुत अच्छे थे। लेकिन वे "कठिन, गहन सोच वाले" (जिसे "डूइंग मैथमेटिक्स" कहा जाता है) समस्याओं के साथ वास्तव में संघर्ष करते रहे।
चीट शीट के बावजूद, AI सबसे कठिन समस्याओं को गलत वर्गीकृत करता रहा।
- उपमा: यह एक ऐसे छात्र की तरह है जो पहाड़े याद करने में बहुत अच्छा है लेकिन जब उससे एक ऐसी समस्या हल करने को कहा जाता है जिसमें सोचने का एक नया तरीका विकसित करना हो, तो वह भ्रमित हो जाता है। AI सतह के शब्दों (जैसे "गणना करें" या "कार्य दिखाएं") को देखता है, बजाय इसके कि वह आवश्यक गहन सोच को समझे। यह गहरी मानसिक मेहनत करने के बजाय एक शॉर्टकट खोजने की कोशिश करता है।
पेपर के दावों का सारांश
- AI अस्थिर है: एक छोटे समय (7 सप्ताह) में भी, AI टूल्स अपने उत्तर देने के तरीके को बदल सकते हैं, कभी-कभी वे बदतर हो जाते हैं, और कभी-कभी केवल अप्रत्याशित व्यवहार करते हैं।
- अपडेट जादू नहीं हैं: AI के नए संस्करणों का मतलब स्वचालित रूप से विशिष्ट स्कूली कार्यों पर बेहतर प्रदर्शन नहीं है।
- उदाहरण मदद करते हैं: AI को कुछ स्पष्ट उदाहरण देना (फ्यू-शॉट प्रॉम्प्टिंग) इसकी गलतियों को ठीक करने और सटीकता में सुधार करने का एक शक्तिशाली तरीका है, जो अक्सर सॉफ्टवेयर अपडेट का इंतजार करने से अधिक प्रभावी होता है।
- विशेषज्ञ उपकरणों को मदद की जरूरत होती है: शिक्षा-विशिष्ट टूल (Coteach) बदलावों के प्रति अधिक संवेदनशील था (यह तेजी से खराब हुआ) लेकिन यह सामान्य टूल की तुलना में "चीट शीट" पर बेहतर प्रतिक्रिया भी देता था।
- गहन सोच अभी भी कठिन है: AI अभी भी सबसे जटिल गणितीय कार्यों को पहचानने में संघर्ष करता है, और अक्सर उन्हें सरल कार्यों के साथ भ्रमित कर देता है, भले ही उसे उदाहरण दिए गए हों।
पेपर निष्कर्ष निकालता है कि यदि आप एक शिक्षक या शोधकर्ता के रूप में AI का उपयोग कर रहे हैं, तो आपको केवल टूल के "नया" होने पर भरोसा नहीं करना चाहिए। आपको सक्रिय रूप से यह जांचना होगा कि क्या यह अभी भी सही ढंग से काम कर रहा है और अपनी सोच को निर्देशित करने के लिए स्पष्ट उदाहरण देने के लिए तैयार रहना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।