Sample More, Reflect Less: Self-Refine and Reflexion Lose to Repeated Sampling at Equal Token Cost, from 1.5B to 7B
यह शोध पत्र प्रदर्शित करता है कि विभिन्न ओपन-सोर्स मॉडलों (1.5B से 7B पैरामीटर्स) और गणितीय बेंचमार्क में, समान टोकन लागत पर मूल्यांकित करने पर बार-बार नमूनाकरण (repeated sampling) लगातार जटिल स्व-परिष्करण (self-refinement) और प्रतिबिंब (reflection) विधियों से बेहतर प्रदर्शन करता है या उनके बराबर रहता है, जिससे यह स्पष्ट होता है कि बाद वाले की स्पष्ट बढ़त अक्सर बेहतर तर्क रणनीतियों के बजाय बढ़ी हुई पीढ़ी मात्रा (generation volume) से उत्पन्न होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
द ग्रेट एआई ब्रेन-बूस्ट एक्सपेरिमेंट (The Great AI Brain-Boost Experiment)
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान लेकिन थोड़ा विचलित रहने वाला छात्र है। आप उसे गणित का एक कठिन सवाल देते हैं, और वह उसे हल करने की कोशिश करता है। कभी वह सही होता है; कभी गलत। आर्टिफिशियल इंटेलिजेंस की दुनिया में, शोधकर्ता यह समझने की कोशिश कर रहे हैं कि कैसे इन "छात्रों" (जिन्हें लार्ज लैंग्वेज मॉडल्स कहा जाता है) को उन्हें फिर से बनाए बिना बेहतर सोचने के लिए कैसे बनाया जाए। लोकप्रिय विचार यह रहा है कि एआई को "कठोरता से सोचने" (think harder) के लिए कहना। इसका अर्थ है एआई को अपने चरणों की योजना बनाने, खुद से बहस करने, अपनी गलतियों की आलोचना करने, या जवाब देने से पहले अपने उत्तर को फिर से लिखने के लिए कहना। यह एक छात्र को यह कहने जैसा है, "सिर्फ उत्तर मत लिखो; एक पूरा निबंध लिखो कि तुम्हें क्यों लगता है कि तुम्हारा उत्तर सही है, अपना काम जांचो, और शायद फिर से प्रयास करो।"
बड़ा सवाल यह है: क्या वह अतिरिक्त सोच वास्तव में मदद करती है, या यह केवल समय की बर्बादी है? मुख्य अवधारणा टोकन्स (tokens) है। टोकन्स को "शब्दों" या "प्रयास की इकाइयों" के रूप में समझें जो एक एआई खर्च करता है। हर बार जब एआई एक शब्द लिखता है, तो वह एक टोकन खर्च करता है। यदि कोई विधि एआई को एक समस्या को हल करने के लिए 100 शब्दों के बजाय 1,000 शब्द लिखने के लिए मजबूर करती है, तो उसने दस गुना अधिक प्रयास किया है। वैज्ञानिक बहस यह है कि क्या वह अतिरिक्त प्रयास रणनीति (जैसे आत्म-आलोचना) से आता है या केवल इस तथ्य से कि एआई ने अधिक शब्द लिखे। यदि आप एक छात्र को दस गुना अधिक कागज देते हैं, तो वे केवल इसलिए बेहतर ग्रेड पा सकते हैं क्योंकि उनके पास प्रयास करने के लिए अधिक जगह थी, न कि इसलिए कि वे अचानक अधिक स्मार्ट हो गए। यह शोध पत्र ठीक यही परीक्षण करने के लिए बनाया गया है: जब आप विभिन्न रणनीतियों को कागज (टोकन्स) की बिल्कुल समान मात्रा देते हैं, तो वास्तव में कौन जीतता है?
द पेपर: मोर सैंपल्स, लेस रिफ्लेक्शन (The Paper: More Samples, Less Reflection)
यह शोध पत्र, जिसका शीर्षक "सैंपल मोर, रिफ्लेक्ट लेस" (Sample More, Less Reflection) है, एक विशाल प्रयोग है जिसे यह तय करने के लिए डिज़ाइन किया गया है कि क्या एआई को स्मार्ट बनने के लिए अपने काम पर "चिंतन" (reflect) करने की आवश्यकता है। शोधकर्ताओं ने सात अलग-अलग लोकप्रिय विधियों को लिया जो एआई को "कठोरता से सोचने" में मदद करती हैं—जिसमें वे विधियाँ शामिल हैं जहाँ एआई खुद की आलोचना करता है, अपने ही प्रतियों के साथ बहस करता है, या एक सूची से सर्वश्रेष्ठ उत्तर चुनने की कोशिश करता है—और उन्हें एक बहुत ही सरल, उबाऊ बेसलाइन के खिलाफ खड़ा किया: रिपीटेड सैंपलिंग (repeated sampling)।
बेसलाइन एक सिक्का दस बार उछालने और सबसे अधिक बार आने वाली साइड को चुनने जैसा है। एआई के संदर्भ में, इसका अर्थ है एक ही प्रश्न को दस बार पूछना और सबसे सामान्य उत्तर को चुन लेना। शोधकर्ताओं ने यह सुनिश्चित किया कि प्रत्येक विधि ने टोकन्स (जनरेट किए गए शब्द) की बिल्कुल समान संख्या का उपयोग किया ताकि खेल का मैदान पूरी तरह से समान स्तर का हो। उन्होंने इसे तीन अलग-अलग आकार के एआई मॉडल (1.5 बिलियन, 3 बिलियन, और 7 बिलियन पैरामीटर्स) पर दो गणितीय बेंचमार्क (GSM8K और MATH-500) का उपयोग करके परीक्षण किया, जिनमें प्रत्येक में 150 प्रश्न थे।
बड़ी खोज:
परिणाम आश्चर्यजनक थे। लगभग हर मामले में, वे फैंसी विधियाँ जो एआई को "चिंतन" करने, "आलोचना" करने या "बहस" करने के लिए कहती थीं, वे साधारण विधि (प्रश्न को कई बार पूछने और वोटों को गिनने) से हार गईं।
जब शोधकर्ताओं ने बारीकी से देखा कि फैंसी विधियाँ क्यों हार गईं, तो उन्हें एक स्पष्ट पैटर्न मिला। वे विधियाँ जो एआई को अपने काम का न्याय (judge) करने के लिए कहती थीं (जैसे अपने उत्तर को फिर से लिखना या एक सूची में से "सर्वश्रेष्ठ" को चुनना), वे बेसलाइन की तुलना में लगातार खराब प्रदर्शन करती थीं। उदाहरण के लिए, छोटे 1.5-बिलियन-पैरामीटर वाले मॉडल पर, "बेस्ट-ऑफ-एन" (Best-of-N) नामक एक विधि (जहाँ एआई 8 उत्तरों में से सर्वश्रेष्ठ चुनता है) ने उन समान 8 प्रयासों के बीच सबसे सामान्य उत्तर को गिनने की तुलना में लगभग 8 से 11 प्रतिशत कम स्कोर किया। यहाँ तक कि बड़े 7-बिलियन मॉडल पर भी, यह अंतर गायब हो गया: अंतर सांख्यिकीय रूप से शून्य से अविभेद्य (statistically indistinguishable from zero) हो गया, जिसका अर्थ है कि "न्यायाधीश" अब स्पष्ट रूप से "गिनने वाले" से बदतर नहीं था, और दंड अब शून्य से अलग नहीं पहचाना जा सकता था।
यह शोध पत्र इस विचार को स्पष्ट रूप से खारिज करता है कि "कठोरता से सोचना" या आत्म-चिंतन (self-reflection) वह जादुई तत्व है। इसके बजाय, यह सुझाव देता है कि एक और प्रयास पर टोकन खर्च करना, आत्म-सुधार (self-correction) पर टोकन खर्च करने की तुलना में एक बेहतर निवेश है—उन सभी आकारों के लिए जिन्हें शोधकर्ताओं ने टेस्ट किया है। यदि आपके पास अपने उत्तर के बारे में एक लंबा, आलोचनात्मक निबंध लिखने के लिए पर्याप्त टोकन हैं, तो उन टोकनों का उपयोग दो या तीन नए, स्वतंत्र उत्तर लिखने और उनमें से सबसे लोकप्रिय को चुनने के लिए करना बेहतर है।
द "घोस्ट" मेथड एंड द साइज मैटर्स लेसन (The "Ghost" Method and the Size Matters Lesson)
प्रयोग का एक बहुत ही चंचल और प्रकट करने वाला हिस्सा एक विधि से जुड़ा था जिसे रिफ्लेक्सियन (Reflexion) कहा जाता है। यह विधि इस तरह काम करने के लिए जानी जाती है: एआई एक समस्या को हल करने का प्रयास करता है, फिर खुद से पूछता है, "क्या मैंने इसे सही किया?" यदि वह कहता है "नहीं," तो वह फिर से प्रयास करता है। यदि वह कहता है "हाँ," तो वह रुक जाता है।
शोधकर्ताओं ने सबसे छोटे मॉडल (1.5B) में एक मजेदार गड़बड़ी पाई। इस नन्हे मॉडल पर, एआई ने कभी भी "नहीं" नहीं कहा। उसने अपने हर एक पहले के उत्तर को "सही" माना, भले ही वे गलत थे। इसलिए, रिफ्लेक्सियन विधि ने वास्तव में दोबारा प्रयास करने के लिए ट्रिगर नहीं किया। यह चुपचाप एक एकल, सस्ते प्रयास में बदल गया। क्योंकि यह बहुत सस्ता था (इसने अतिरिक्त टोकन खर्च नहीं किए), यह अच्छा प्रदर्शन करता हुआ दिखा। लेकिन जब शोधकर्ताओं ने एआई को उसके विचार के बावजूद तीन बार दोबारा प्रयास करने के लिए मजबूर किया, तो प्रदर्शन काफी गिर गया, जिससे साबित हुआ कि "रिफ्लेक्शन" तंत्र स्वयं वास्तव में स्कोर को नुकसान पहुँचा रहा था।
जैसे-जैसे मॉडल बड़े होते गए (1.5B से 7B तक), "वोट गिनने" और "एआई को निर्णय लेने देने" के बीच का अंतर कम होने लगा। 7 बिलियन पैरामीटर्स पर, एआई निर्णय लेने में इतना सक्षम हो गया कि वह नुकसानदेह होना बंद हो गया; अंतर शून्य से अविभेद्य नहीं रहा। हालाँकि, शोध पत्र नोट करता है कि इस आकार पर भी, एआई निर्णय लेने में बेहतर नहीं था, वह बस "बदतर" नहीं था। शोधकर्ता सुझाव देते हैं कि एआई के लिए वास्तव में "वोट गिनने" की विधि को हराने के लिए, उसे विशेष रूप से एक न्यायाधीश (judge) के रूप में प्रशिक्षित करने की आवश्यकता हो सकती है, न कि केवल चलते-फिरते निर्णय लेने के लिए कहना।
इसका भविष्य के लिए क्या अर्थ है (What This Means for the Future)
यह शोध पत्र इन एआई सिस्टम बनाने वाले किसी भी व्यक्ति के लिए एक कड़ा संदेश देता है: चीजों को बहुत जटिल न बनाएं। यदि आपके पास टोकन (शब्दों) का बजट है, तो सही उत्तर प्राप्त करने का सबसे कुशल तरीका कई अलग-अलग प्रयास उत्पन्न करना और बहुमत को लागू करना है, बजाय इसके कि एआई को अपने काम की आलोचना और पुनर्लेखन करने के लिए कहा जाए।
लेखक चेतावनी भी देते हैं कि कुछ विधियाँ कागज़ पर अच्छी लग सकती हैं लेकिन व्यवहार में विफल हो सकती हैं क्योंकि वे अपनी वास्तविक लागत को "छिपा" देती हैं। यदि कोई विधि यह तय करती है कि उसे कब रुकना है (जैसे रिफ्लेक्सियन), तो वह तुरंत रुक सकती है और पैसे बचा सकती है, जिससे वह कुशल दिखती है, लेकिन वह वास्तव में वह काम नहीं कर रही होती है जिसके लिए उसे डिज़ाइन किया गया है।
अंततः, यह अध्ययन बताता है कि गणित की समस्याओं के लिए जिनमें स्पष्ट सही-या-गलत उत्तर होते हैं, आत्म-चिंतन (self-reflection) का "जादू" एक मिथक है—कम से कम उन मॉडलों के लिए जिनका परीक्षण किया गया है। सबसे शक्तिशाली उपकरण एक स्मार्ट रणनीति नहीं है; यह केवल अधिक बार प्रयास करना है। जैसा कि शोधकर्ताओं ने कहा, उत्तर पर पुनर्विचार करने के लिए टोकन खर्च करना, उसी टोकन को दूसरे प्रयास पर खर्च करने की तुलना में एक बुरा निवेश है। एआई को कठोरता से सोचने के लिए कहने की आवश्यकता नहीं है; इसे बस प्रयास करने के अधिक अवसर देने की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।