Soft Guidance Starts to Outperform CoT Prompting as LLMs Improve
यह शोध पत्र तर्क देता है कि जैसे-जैसे लार्ज लैंग्वेज मॉडल्स में सुधार हो रहा है, मानक फ्यू-शॉट चेन-ऑफ-थॉट प्रॉम्प्टिंग अक्सर भ्रामक फॉर्मेटिंग और शैली संबंधी बाधाओं को पेश करके प्रदर्शन में बाधा डालती है, जिससे रीजनिंग कार्यों के लिए सरल ज़ीरो-शॉट दृष्टिकोण अधिक प्रभावी हो जाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को पहेली सुलझाना सिखा रहे हैं। लंबे समय तक, रोबोट को सिखाने का सबसे अच्छा तरीका यह था कि उसे बहुत सारे उदाहरण दिखाए जाएं जहाँ एक इंसान ने अपनी सोच के हर एक चरण को विस्तार से लिखा हो, जैसे कि कोई विस्तृत रेसिपी। यह तरीका, जिसे "चेन-ऑफ-थॉट" (Chain-of-Thought) प्रॉम्प्टिंग कहा जाता था, एक विस्तृत प्रशिक्षण नियमावली देने जैसा था जिसमें लिखा हो, "पहले, यह करो। फिर, वह करो। अंत में, यहाँ उत्तर है।" यह पुराने, सरल रोबोटों के लिए चमत्कार की तरह काम करता था जो बिना सोचे-समझे बस उत्तर का अनुमान लगाने की प्रवृत्ति रखते थे।
लेकिन अब, हमने स्मार्ट और अधिक उन्नत रोबोट बनाए हैं। इन नए मॉडलों ने इतनी सारी किताबें पढ़ ली हैं और अपने आप इतने सारे पहेलियाँ सुलझा ली हैं कि वे स्वाभाविक रूप से कदम-दर-कदम सोचना शुरू कर देते हैं, भले ही आप उन्हें कोई नियमावली न दें। उनके पास तर्क (logic) के लिए एक आंतरिक दिशा-सूचक यंत्र है। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: यदि एक रोबोट पहले से ही जानता है कि कैसे सोचना है, तो क्या उसे अभी भी हमारी ज़रूरत है कि हम एक विस्तृत रेसिपी देकर उसका हाथ थामे रखें? या क्या वह रेसिपी वास्तव में बाधा बन जाती है, जिससे रोबोट अपनी सोच को लिखने के नियमों के बारे में बहुत अधिक उलझकर भ्रमित हो जाता है? यह शोध पत्र इसी सटीक प्रश्न की जांच करने के लिए है कि क्या हमारे पुराने शिक्षण तरीके अब हमारे नवीनतम, सबसे स्मार्ट छात्रों को पीछे खींच रहे हैं।
"ओवर-गाइडेड" रोबोट: जब बहुत अधिक मदद नुकसान पहुँचाती है
इस अध्ययन में, शोधकर्ताओं ने निर्णय लिया कि वे वर्तमान में उपलब्ध कुछ सबसे स्मार्ट गणित हल करने वाले रोबोटों का परीक्षण करें। वे यह देखना चाहते थे कि क्या पुराने ज़माने का उदाहरण दिखाने का तरीका (few-shot prompting) अभी भी सबसे अच्छा तरीका है, या क्या यह वास्तव में रोबोटों के प्रदर्शन को खराब कर रहा है।
इसे इस तरह समझें: कल्पना कीजिए कि आप एक मास्टर शेफ हैं जिसने वर्षों तक खाना पकाया है। आप बिना किसी रेसिपी के जानते हैं कि एक परफेक्ट सूफ़ले (soufflé) कैसे बनाया जाता है। अब, कल्पना कीजिए कि कोई आपको एक स्टिकी नोट थमाता है जिस पर लिखा है, "पहले, अंडे फोड़ें। फिर, उन्हें फेंटें। फिर, 350 डिग्री पर पकाएं," और ज़ोर देता है कि आप इसका ठीक से पालन करें। आप चिढ़ सकते हैं, या आप उस नोट का पूरी तरह से पालन करने में इतना केंद्रित हो सकते हैं कि आप अपनी कुकिंग की सहज बुद्धि (instincts) को भूल जाएं। आप शायद निर्देश से विचलित होकर अपना व्यंजन भी बिगाड़ सकते हैं।
शोधकर्ताओं ने पाया कि आधुनिक AI के साथ बिल्कुल यही हो रहा है। जब उन्होंने इन उन्नत "रीजनिंग-स्पेशलाइज्ड" (तर्क-विशेषज्ञ) मॉडलों से गणित की समस्याओं को हल करने के लिए मानक विधि का उपयोग किया—यानी उन्हें समान समस्याओं को मनुष्यों ने कैसे हल किया था, इसके कुछ उदाहरण दिखाए—तो मॉडलों का प्रदर्शन खराब हो गया।
उदाहरण के लिए, Mathstral नामक मॉडल को लें। जब शोधकर्ताओं ने इसे बिना किसी उदाहरण के (एक "जीरो-शॉट" दृष्टिकोण) समस्याओं को हल करने दिया, तो इसने लगभग 83.8% उत्तर सही दिए। लेकिन जब उन्होंने इसे मानव-लिखित उदाहरणों वाली मानक "प्रशिक्षण नियमावली" दी, तो इसका स्कोर गिरकर लगभग 74.2% हो गया। यह एक बहुत बड़ा अंतर है! ऐसा लग रहा था जैसे रोबोट उदाहरणों की शैली और फॉर्मेटिंग को कॉपी करने में इतना व्यस्त था कि वह वास्तव में गणित करना ही भूल गया।
शोध पत्र का सुझाव है कि ऐसा इसलिए होता है क्योंकि मानक उदाहरण रोबोट को अपने स्टाइल को मानव उदाहरणों के अनुरूप ढालने के लिए मजबूर करते हैं। उसे फॉर्मेटिंग, विशिष्ट वाक्य संरचनाओं का पालन करने और एक ऐसे बॉक्स में फिट होने की चिंता करनी पड़ती है जो उसके लिए नहीं बनाया गया था। यह एक "गाइडेंस-डिस्ट्रैक्शन" (मार्गदर्शन-भटकाव) ट्रेड-ऑफ बनाता है। मार्गदर्शन (उदाहरण) का उद्देश्य मदद करना है, लेकिन इन सुपर-स्मार्ट मॉडलों के लिए, यह एक भटकाव बन जाता है जो उनका ध्यान समस्या को हल करने के मुख्य कार्य से हटा देता है।
"लेट्स थिंक" (Let's Think) वाला नुस्खा: उपयोगी है, लेकिन जादू कम हो गया है
शोधकर्ताओं ने "जीरो-शॉट CoT" नामक एक सरल ट्रिक का भी परीक्षण किया। इसमें आप कोई उदाहरण नहीं दिखाते, बस प्रश्न में "Let's think step by step" (आइए कदम-दर-कदम सोचते हैं) वाक्यांश जोड़ देते हैं।
पुराने, सामान्य-उद्देश्य वाले रोबोटों (जैसे Llama मॉडल) के लिए, यह ट्रिक अभी भी बहुत मददगार थी। इसने उनके स्कोर को काफी बढ़ा दिया, जो उनकी तर्क क्षमता को जगाने के लिए एक हल्के धक्के की तरह काम करता है। हालाँकि, सुपर-स्मार्ट, रीजनिंग-स्पेशलाइज्ड मॉडलों के लिए, इस ट्रिक ने केवल मामूली बढ़त दी। Mathstral के लिए यह 83.8% से बढ़कर 86.1% हुआ।
लेखकों का तर्क है कि ऐसा इसलिए है क्योंकि ये मॉडल पहले से ही कदम-दर-कदम सोचने में इतने अच्छे हैं कि उन्हें पहले की तुलना में अब इस धक्के की उतनी आवश्यकता नहीं है। वे इसकी तुलना कंप्यूटर विज्ञान के शुरुआती दिनों से करते हैं, जहाँ इंजीनियरों को प्रोग्राम की हर विशेषता को मैन्युअल रूप से डिज़ाइन करना पड़ता था। अंततः, कंप्यूटर इतने स्मार्ट हो गए कि वे उन विशेषताओं को खुद सीख सकते थे, जिससे मैन्युअल डिज़ाइन अनावश्यक हो गया। शोध पत्र का सुझाव है कि "Let's think step by step" वाक्यांश अब उन पुराने मैनुअल फीचर्स की तरह होता जा रहा है: यह पहले आवश्यक था, लेकिन अब यह बस एक छोटा सा अतिरिक्त हिस्सा है जो बहुत अधिक बदलाव नहीं लाता है।
पुराना तरीका क्यों विफल हो रहा है
सबसे आश्चर्यजनक निष्कर्षों में से एक यह था कि जब शोधकर्ताओं ने मॉडलों द्वारा स्वयं उत्पन्न किए गए उदाहरणों (ताकि स्टाइल मैच हो सके) का उपयोग करके समस्या को ठीक करने की कोशिश की, तब भी यह सबसे स्मार्ट मॉडलों के लिए साधारण "नो एग्ज़ाम्पल्स" (बिना उदाहरण वाले) दृष्टिकोण को नहीं हरा सका।
यह पता चला है कि समस्या केवल उदाहरणों के मानव-निर्मित होने के बारे में नहीं है; यह उदाहरणों की संरचना (structure) के बारे में है। एक विशिष्ट पैटर्न का पालन करने के लिए मजबूर करके, आप मॉडल की उस प्राकृतिक क्षमता को सीमित कर रहे हैं जो उसके लिए सबसे अच्छा काम करती है। शोध पत्र स्पष्ट रूप से इस विचार को खारिज करता है कि अधिक उदाहरण दिखाना या "बेहतर" उदाहरण चुनना रीजनिंग-स्पेशलाइज्ड मॉडलों के लिए इस समस्या को ठीक कर देगा। वास्तव में, उन्होंने पाया कि सबसे उन्नत मॉडलों के लिए, आप जितना अधिक उन्हें उदाहरणों के साथ गाइड करने की कोशिश करेंगे, उतना ही आप उन्हें पीछे खींच सकते हैं।
निष्कर्ष: रोबोट की सहज बुद्धि पर भरोसा करें
तो, भविष्य में AI के परीक्षण के लिए इसका क्या अर्थ है? लेखक सुझाव दे रहे हैं कि हमें इन मॉडलों को मापने के तरीके को बदलने की आवश्यकता है। लंबे समय तक, मानक परीक्षण यह था कि मॉडल को कुछ उदाहरण दिखाए जाएं और देखें कि वह उनकी कितनी नकल करता है। लेकिन यह शोध पत्र दिखाता है कि नवीनतम, सबसे स्मार्ट मॉडलों के लिए वह परीक्षण अनुचित है। यह एक रेस कार ड्राइवर को स्कूल ज़ोन में चलाने के लिए मजबूर करने जैसा है जहाँ गति सीमा का बोर्ड लगा हो; यह उसकी वास्तविक गति को नहीं दर्शाता है।
इसके बजाय, शोधकर्ता तर्क देते हैं कि हमें सीधे मॉडलों से प्रश्न पूछने चाहिए, बिना किसी उदाहरण या विशेष निर्देश के, और देखना चाहिए कि वे अपने आप क्या निकालते हैं। यह "जीरो-शॉट" विधि एक सच्ची तस्वीर देती है कि मॉडल वास्तव में क्या कर सकता है।
यह शोध पत्र यह दावा नहीं करता कि Chain-of-Thought प्रॉम्प्टिंग हमेशा के लिए खत्म हो गई है। यह सरल मॉडलों या विशिष्ट कार्यों के लिए उपयोगी हो सकती है जहाँ मॉडल को थोड़ी मदद की आवश्यकता होती है। लेकिन बड़े खिलाड़ियों के लिए—उन मॉडलों के लिए जिन्हें विशेष रूप से तर्क करने के लिए डिज़ाइन किया गया है—उन्हें सिखाने का पुराना तरीका एक भटकाव बनता जा रहा है। जैसे-जैसे ये मॉडल स्मार्ट होते जा रहे हैं, उन्हें कम मार्गदर्शन और अधिक स्वतंत्रता की आवश्यकता है। यह देखने का सबसे अच्छा तरीका कि वे वास्तव में कितने स्मार्ट हैं, शायद यह है कि उनका हाथ छोड़ दिया जाए और उन्हें अपने तरीके से पहेली सुलझाने दिया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।