Ask, Then Think: Does Socratic Prompting Help LLMs on Code Tasks?
यह शोध पत्र \textsc{MIND} को प्रस्तुत करता है, जो LLMs के लिए एक सोक्रेटिक प्रॉम्प्टिंग फ्रेमवर्क है जो, मानव तर्क में अपनी सैद्धांतिक नींव के बावजूद, कोड कार्यों पर चेन-ऑफ-थॉट जैसे स्थापित बेसलाइन से बेहतर प्रदर्शन करने में विफल रहता है और अक्सर अनावश्यक इन्फरेंस ओवरहेड के कारण कम प्रदर्शन करता है, जो यह सुझाव देता है कि मानव तर्क सिद्धांतों के समग्र हस्तांतरण के बजाय केवल विशिष्ट, पृथक तर्क तंत्र ही लाभ प्रदान करते हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सॉफ्टवेयर इंजीनियरिंग के आधुनिक परिदृश्य में, एक नए प्रकार के उपकरण का उदय हुआ है: लार्ज लैंग्वेज मॉडल्स (बड़े भाषा मॉडल)। ये ऐसे कंप्यूटर सिस्टम हैं जिन्हें विशाल मात्रा में टेक्स्ट और कोड पर प्रशिक्षित किया गया है, जो कंप्यूटर के लिए निर्देश उत्पन्न करने, टूटे हुए प्रोग्रामों को ठीक करने, या यह समझाने में सक्षम हैं कि कोई सॉफ्टवेयर कैसे काम करता है। वे शक्तिशाली सहायक बन गए हैं, फिर भी वे अचूक नहीं हैं। अस्पष्ट निर्देशों, लुप्त विवरणों, या गलत धारणाओं का सामना करने पर, ये सिस्टम अक्सर त्रुटियाँ उत्पन्न करते हैं। उन्हें अधिक स्पष्ट रूप से सोचने में मदद करने के लिए, शोधकर्ताओं ने विभिन्न 'प्रॉम्प्टिंग रणनीतियाँ' विकसित की हैं। ये मॉडल को किसी समस्या पर काम करने के लिए पूछने के विशिष्ट तरीके हैं, जैसे कि उत्तर देने से पहले अपने चरणों को सूचीबद्ध करने के लिए प्रोत्साहित करना। लक्ष्य मशीन को केवल अनुमान लगाने से हटाकर किसी कार्य के माध्यम से तर्क करने की ओर ले जाना है, ठीक वैसे ही जैसे एक मनुष्य करता है।
इटली, नीदरलैंड और डेनमार्क के विश्वविद्यालयों के शोधकर्ताओं की एक टीम ने एक विशिष्ट विचार का परीक्षण करने का निर्णय लिया: क्या वे इन कंप्यूटर सिस्टमों को एक मानव दार्शनिक की तरह सोचने के लिए प्रेरित कर सकते हैं? उन्होंने सुकरात पद्धति (Socratic method) की ओर देखा, जो शिक्षण की एक प्राचीन शैली है जहाँ एक शिक्षक छात्र को उनके अपने चिंतन के छिपे हुए दोषों को उजागर करने में मदद करने के लिए प्रश्नों की एक श्रृंखला पूछता है। केवल छात्र के पहले विचार को स्वीकार करने के बजाय, शिक्षक धारणाओं को चुनौती देता है, लुप्त जानकारी की ओर संकेत करता है, और छात्र को निष्कर्ष तक पहुँचने से पहले अपने तर्क को परिष्कृत करने के लिए मजबूर करता है। शोधकर्ता यह जानना चाहते थे कि क्या वे इस मानवीय प्रक्रिया को एक कंप्यूटर मॉडल के लिए निर्देशों के सेट में बदल सकते हैं। उन्होंने एक नया ढांचा बनाया जिसे 'MIND' कहा जाता है, जिसका अर्थ है 'मेइयूटिक इन्फरेंस एंड डिस्कवरी' (Maieutic INference and Discovery)। इस प्रणाली को कंप्यूटर को एक भी लाइन कोड लिखने से पहले कोडिंग कार्य के बारे में कठिन प्रश्न पूछने के लिए मजबूर करने हेतु डिज़ाइन किया गया था। इसका उद्देश्य एक आलोचक के रूप में कार्य करना था, जो अस्पष्टता की जाँच करे और अपनी स्वयं की योजनाओं का परीक्षण करे।
टीम ने इस विचार को बड़े पैमाने पर परखा। उन्होंने बारह अलग-अलग आकार और आर्किटेक्चर वाले विभिन्न कंप्यूटर मॉडलों का उपयोग करके प्रयोग चलाए, और उन्हें कोडिंग चुनौतियों के चार अलग-अलग सेटों पर परखा। इन चुनौतियों में नया कोड उत्पन्न करना, टूटे हुए कोड को ठीक करना, कोड कैसे काम करता है यह समझाना और कुशल कोड लिखना शामिल था। उन्होंने अपने नए सुकराती पद्धति की तुलना कंप्यूटर को प्रॉम्प्ट करने के कई स्थापित तरीकों से की, जिनमें वे तरीके भी शामिल थे जो मॉडल को केवल चरण-दर-चरण सोचने या ड्राफ्ट देखने के बाद अपने उत्तरों को परिष्कृत करने के लिए कहते हैं। परिणाम आश्चर्यजनक और कुछ हद तक विरोधाभासी थे। सुकराती दृष्टिकोण ने कंप्यूटरों को उनके काम में बेहतर नहीं बनाया। वास्तव में, सुकराती पद्धति का उपयोग करने वाले मॉडल साधारण, अधिक प्रत्यक्ष रणनीतियों की तुलना में खराब प्रदर्शन करते थे। सुकराती पद्धति का उपयोग करने वाले मॉडल औसत रूप से समाधान उत्पन्न करने में मानक चरण-दर-चरण दृष्टिकोण की तुलना में लगभग पांच गुना अधिक समय लेते थे, फिर भी वे अधिक गलतियाँ करते थे।
शोधकर्ताओं ने गहराई से अध्ययन किया कि ऐसा क्यों हुआ। उन्होंने सुकराती प्रक्रिया को उसके व्यक्तिगत हिस्सों में विभाजित किया, यह देखने के लिए कि कौन से चरण सहायक थे और कौन से हानिकारक। उन्होंने पाया कि प्रक्रिया के वे हिस्से जिन्होंने कंप्यूटर को अनुरोध पर संदेह करने या अपनी प्रारंभिक योजना पर प्रश्न उठाने के लिए कहा, वास्तव में प्रदर्शन को नुकसान पहुँचा रहे थे। जब मॉडल को खुद से पूछने के लिए मजबूर किया गया, "क्या यह अनुरोध अस्पष्ट है?" या "मैं क्या धारणा बना रहा हूँ?", तो उसने तथ्यों के बजाय अनुमानों के आधार पर उन प्रश्नों के उत्तर गढ़ना शुरू कर दिया। क्योंकि कंप्यूटर प्रश्न पूछने वाला और उत्तर देने वाला दोनों ही था, इसलिए उसे सुधारने वाला कोई दूसरा नहीं था। वह एक धारणा बनाता, खुद को विश्वास दिलाता कि वह सही है, और फिर उस त्रुटि के आधार पर कोड लिखना शुरू कर देता। प्रश्न पूछने की प्रक्रिया का एकमात्र हिस्सा जो मददगार लगा, वह था जब मॉडल को निश्चितता के साथ जो वह पहले से जानता था उसे याद करने के लिए कहा गया। हालाँकि, इस छोटे से लाभ को आत्म-संदेह वाले चरणों से होने वाले नुकसान की भरपाई करने के लिए पर्याप्त नहीं था।
अध्ययन सुझाव देता है कि सुकराती पद्धति, जो मनुष्यों के लिए बहुत अच्छी तरह काम करती है, कंप्यूटर मॉडलों में सीधे तौर पर अनुवादित नहीं होती है जब मॉडल खुद से बात कर रहा हो। एक मानव छात्र के लिए, शिक्षक वह बाहरी दृष्टिकोण प्रदान करता है जो त्रुटियों को पकड़ने के लिए आवश्यक है। एक कंप्यूटर मॉडल के लिए, प्रॉम्प्ट में कोई बाहरी शिक्षक नहीं है; यह केवल मॉडल का खुद से बात करना है। शोधकर्ताओं ने पाया कि मॉडल की आंतरिक "आलोचना" अक्सर उसे गलत रास्ते पर ले गई, जिससे उसकी गलतियों में सुधार होने के बजाय वे और पुख्ចិត្ត हो गईं। सबसे प्रभावी रणनीति सबसे सरल ही रही: मॉडल को स्पष्ट रूप से चरणों के माध्यम से सोचने के लिए कहना, बिना उसे किसी समाधान की आलोचना करने से पहले अपने तर्क की जांच करने के लिए मजबूर किए। अध्ययन का निष्कर्ष है कि जबकि मानवीय तर्क सिद्धांत कंप्यूटर से बात करने के नए तरीके प्रेरित कर सकते हैं, पूरी मानवीय प्रक्रिया की नकल करना बेहतर परिणाम की गारंटी नहीं देता है। कभी-कभी, कंप्यूटर को सोचने में मदद करने का सबसे प्रभावी तरीका उसे कार्य पर ध्यान केंद्रित करने देना है, न कि अपने अस्तित्व पर प्रश्न उठाने के लिए मजबूर करना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।