Does More Deliberation Help? A Comparative Evaluation of Chain-of-Thought Prompting Strategies for Grade-School Math Reasoning in Open-Source Instruction-Tuned Language Models
यह शोध पत्र अनुभवजन्य रूप से प्रदर्शित करता है कि ग्रेड-स्कूल गणित की समस्याओं को हल करने वाले छोटे (3.8-8B) ओपन-वेट इंस्ट्रक्शन-ट्यून्ड मॉडलों के लिए, फ्यू-शॉट चेन-ऑफ-थॉट प्रॉम्प्टिंग ज़ीरो-शॉट बेसलाइनों की तुलना में काफी बेहतर प्रदर्शन करती है, जबकि सेल्फ-कंसिस्टेंसी और ट्री-ऑफ-थॉट जैसी अधिक जटिल विचार-विमर्श रणनीतियाँ सरल विधियों की तुलना में सांख्यिकीय रूप से विश्वसनीय सटीकता सुधार प्रदान करने में विफल रहती हैं।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की तेजी से बदलती दुनिया में, शोधकर्ता लंबे समय से कंप्यूटर प्रोग्रामों को इंसानों की तरह सोचने का तरीका खोजने की कोशिश कर रहे हैं, विशेष रूप से उन समस्याओं को हल करने के लिए जिनमें तार्किक चरणों के क्रम की आवश्यकता होती है। वर्षों तक, मानक दृष्टिकोण इन प्रणालियों को एक सीधा प्रश्न देना और उत्तर की प्रतीक्षा करना था, लेकिन इससे अक्सर अंकगणित और तर्क में त्रुटियां होती थीं। एक महत्वपूर्ण सफलता तब मिली जब वैज्ञानिकों ने महसूस किया कि यदि वे मॉडलों को पहले अपनी सोचने की प्रक्रिया लिखने के लिए कहें—निष्कर्ष बताने से पहले अपना काम दिखाने के लिए—तो उनकी सटीकता नाटकीय रूपसे सुधर गई। यह तकनीक, जिसे 'चेन-ऑफ-थॉट प्रॉम्प्टिंग' (chain-of-thought prompting) के रूप में जाना जाता है, मशीनों को तर्क करने के लिए प्रेरित करने का एक आधार स्तंभ बन गई है। हालाँकि, जैसे-जैसे ये उपकरण विशाल, महंगे सुपरकंप्यूटरों से हटकर छोटे, अधिक किफायती संस्करणों में बदल गए हैं जिन्हें व्यक्ति और व्यवसाय अपने स्वयं के उपकरणों पर चला सकते हैं, एक महत्वपूर्ण प्रश्न उभर कर आया है: क्या सबसे जटिल और संसाधन-भारी तर्क युक्तियाँ अभी भी काम करती हैं, या वे बिना परिणाम में सुधार किए केवल अनावश्यक लागत जोड़ती हैं?
एक हालिया अध्ययन ने तीन लोकप्रिय, छोटे पैमाने के भाषा मॉडलों पर चार अलग-अलग तर्क रणनीतियों का परीक्षण करके इस प्रश्न का उत्तर देने का प्रयास किया। शोधकर्ताओं ने सौ ग्रेड-स्कूल गणित की शब्द समस्याओं (math word problems) के एक बेंचमार्क पर ध्यान केंद्रित किया, जो पहेलियों का एक समूह है जिन्हें मनुष्यों के लिए सरल लेकिन उन कंप्यूटरों के लिए कठिन बनाया गया है जो चरणों को छोड़ देते हैं। वे यह देखना चाहते थे कि क्या मॉडल बेहतर प्रदर्शन करते हैं जब उन्हें केवल चरण-दर-चरण सोचने के लिए कहा जाता है, जब उन्हें समान समस्याओं को हल करने के कुछ उदाहरण दिखाए जाते हैं, जब उन्हें कई संभावित उत्तर उत्पन्न करने और सबसे अच्छे पर मतदान करने के लिए कहा जाता है, या जब उन्हें समाधान खोजने से पहले विभिन्न विचारों के एक शाखाबद्ध वृक्ष (branching tree) को खोजने के लिए मजबूर किया जाता है। लक्ष्य यह निर्धारित करना था कि कौन सी विधि उन मॉडलों के प्रकार के लिए सटीकता और दक्षता का सबसे अच्छा संतुलन प्रदान करती है जो रोजमर्रा के अनुप्रयोगों में आम होते जा रहे हैं।
जांच ने प्रभावशीलता के एक स्पष्ट और कुछ हद तक आश्चर्यजनक पदानुक्रम का खुलासा किया। सबसे शक्तिशाली उपकरण उदाहरण दिखाने का सबसे सरल रूप निकला। जब मॉडलों को परीक्षण प्रश्नों को हल करने से पहले कुछ हल किए गए उदाहरण दिए गए, तो उनकी सटीकता उस तुलना में काफी बढ़ गई जब उन्हें केवल सावधानी से सोचने का संकेत दिया गया था। यह सुधार परीक्षण किए गए तीनों मॉडलों में सुसंगत था, जिसमें सफलता दर कुछ मामलों में चालीस प्रतिशत तक बढ़ गई। डेटा ने दिखाया कि समस्या को तोड़ने के तरीके का एक ठोस उदाहरण देखना किसी भी मात्रा में अमूर्त निर्देश या आंतरिक विचार-विमर्श से कहीं अधिक मूल्यवान था।
इसके विपरीत, अधिक विस्तृत रणनीतियां जिनमें तर्क के कई पथ उत्पन्न करना शामिल है, अपेक्षित लाभ प्रदान करने में विफल रहीं। एक दृष्टिकोण, जो मॉडल को तीन अलग-अलग समाधान उत्पन्न करने और सबसे सामान्य उत्तर चुनने के लिए कहता है, एकल-उदाहरण पद्धति को हराने में विफल रहा। जबकि यह तकनीक बड़े, अधिक शक्तिशाली मॉडलों की मदद करने के लिए जानी जाती है, अध्ययन ने पाया कि इन छोटे सिस्टमों के लिए, कई उत्तर उत्पन्न करने के अतिरिक्त प्रयास का शुद्धता में सांख्यिकीय रूप से विश्वसनीय सुधार में अनुवाद नहीं हुआ। शोधकर्ताओं ने उल्लेख किया कि मॉडल पर्याप्त विविध त्रुटियां नहीं कर रहे थे ताकि एक वोट उन्हें ठीक कर सके, जिसका अर्थ था कि इस पद्धति के लिए खर्च की गई अतिरिक्त कंप्यूटिंग शक्ति काफी हद तक बर्बाद थी।
यहाँ तक कि 'ट्री-ऑफ-थॉट' (tree-of-thought) रणनीति का प्रदर्शन भी अधिक चौंकाने वाला था, जो एक जटिल विधि है जहाँ मॉडल को विचारों की विभिन्न शाखाओं को खोजने, उनका मूल्यांकन करने और यदि कोई पथ मृत अंत (dead end) की ओर ले जाता है तो पीछे हटने के लिए प्रोत्साहित किया जाता है। इस तकनीक ने पहले उन कठिन पहेलियों के लिए बहुत आशाजनक प्रदर्शन दिखाया था जिनमें आगे देखने या कई संभावनाओं को आज़माने की आवश्यकता होती है। हालाँकि, इन सरल अंकगणितीय समस्याओं पर, इसने बिना किसी उदाहरण के केवल चरण-दर-चरण सोचने के बुनियादी तरीके की तुलना में बेहतर प्रदर्शन नहीं किया। परीक्षण किए गए तीन में से दो मॉडलों में, इस जटिल खोज पद्धति ने वास्तव में उदाहरण-आधारित दृष्टिकोण की तुलना में खराब प्रदर्शन किया। अध्ययन सुझाव देता है कि संक्षिप्त, रैखिक गणित समस्याओं के लिए, कई शाखाओं को खोजने का ओवरहेड एक बोझ है जिसे मॉडल उचित नहीं ठहरा सकते, क्योंकि इन समस्याओं को उस प्रकार के गहन अन्वेषण की आवश्यकता नहीं होती है जो यह रणनीति प्रदान करती है।
ये निष्कर्ष उन लोगों के लिए एक व्यावहारिक मार्गदर्शिका प्रदान करते हैं जो इन तकनीकों का उपयोग कर रहे हैं। अनुसंधान इंगित करता है कि मानक अंकगणित को संभालने वाले छोटे, ओपन-सोर्स मॉडलों के लिए, सबसे प्रभावी मार्ग अधिक जटिल तर्क मशीनरी जोड़ना या मॉडल को कई दिशाओं में सोचने के लिए मजबूर करना नहीं है। इसके बजाय, प्रदर्शन को बढ़ाने का सबसे विश्वसनीय तरीका कुछ उच्च-गुणवत्ता वाले उदाहरण तैयार करने में समय निवेश करना है जो समस्या को हल करने के सही तरीके को प्रदर्शित करते हों। जबकि अधिक परिष्कृत तरीके स्मार्ट परिणाम प्राप्त करने का एक तरीका लग सकते हैं, डेटा बताता है कि वे इस विशिष्ट प्रकार के कार्य के लिए सटीकता में सहसंबद्ध लाभ दिए बिना महत्वपूर्ण लागत और समय जोड़ते हैं। उन अभ्यासकर्ताओं के लिए जो इन मॉडलों को कुशलतापूर्वक तैनात करना चाहते हैं, अध्ययन निष्कर्ष निकालता है कि एक अच्छी तरह से निर्मित उदाहरण एक जटिल खोज एल्गोरिदम से कहीं अधिक मूल्यवान है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।