On the Effect of Sampling Diversity in Scaling LLM Inference
यह शोध पत्र एक व्यवस्थित सैद्धांतिक और अनुभवजन्य विश्लेषण प्रदान करता है जो यह प्रदर्शित करता है कि LLM इन्फरेंस के दौरान सार्थक प्रॉम्प्ट विविधता (prompt diversity) को पेश करने से त्रुटि दरों को कम करके Best-of- स्केलिंग प्रदर्शन में महत्वपूर्ण सुधार होता है, साथ ही प्रभावी सैंपलिंग रणनीतियों के मार्गदर्शन के लिए एक विविधता-निष्ठा (diversity-fidelity) ट्रेड-ऑफ सिद्धांत भी स्थापित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही कठिन पहेली को हल करने की कोशिश कर रहे हैं, जैसे कि कोई जटिल गणित की समस्या या कोड का एक टुकड़ा लिखना। आपके पास एक सुपर-स्मार्ट रोबोट दोस्त (एक लार्ज लैंग्वेज मॉडल) है जो आपकी मदद कर सकता है। लेकिन यहाँ एक पेच है: यदि आप रोबोट से ठीक एक ही सवाल दस बार बिल्कुल एक ही तरीके से पूछते हैं, तो वह आपको दस ऐसे उत्तर दे सकता है जो लगभग एक जैसे दिखते होंगे। वे सभी एक ही तरह से गलत हो सकते हैं, या वे सभी समाधान के एक ही छोटे से कोने में फंस सकते हैं। यह ठीक वैसा ही है जैसे किसी दोस्त से दस बार रास्ता पूछना और हर बार उसी गलत मोड़ पर पहुँच जाना क्योंकि वह एक ही लूप में सोच रहा है।
इसे ठीक करने के लिए, वैज्ञानिकों ने "स्केलिंग इन्फरेंस" (scaling inference) नामक एक तरकीब खोजी है। केवल रोबट से एक बार पूछने के बजाय, आप उसे कई बार पूछते हैं और सबसे अच्छा उत्तर चुनते हैं। लेकिन इसे काम करने के लिए, आपको यह सुनिश्चित करना होगा कि रोबोट अलग-अलग रास्तों का पता लगाए, न कि बार-बार एक ही रास्ते पर चलता रहे। यह पेपर एक विशिष्ट प्रश्न में गहराई तक जाता है: हम रोबोट के उत्तरों को एक-दूसरे से अधिक अलग कैसे बना सकते हैं बिना उन्हें खराब किए? शोधकर्ताओं ने पाया कि यदि हम रोबोट की सोच को थोड़े अलग, लेकिन अभी भी प्रासंगिक संकेतों (hints) के साथ थोड़ा प्रेरित करते हैं, तो वह संभावनाओं की एक बहुत बड़ी दुनिया को तलाश लेता है और सही उत्तर बहुत अधिक बार खोज पाता है। हालाँकि, उन्होंने एक जाल भी खोजा: यदि आप सभी कोशिशों में से "सबसे लोकप्रिय" उत्तर चुनने की कोशिश करते हैं, तो नए रास्तों को खोजने की आपकी सारी मेहनत वास्तव में गायब हो सकती है, और आपको बेहतर परिणाम नहीं मिलेंगे।
महान विचार की खोज: मिश्रण करना रोबोटों की सोच को बेहतर बनाने में कैसे मदद करता है
तो, आपके पास एक सुपर-स्मार्ट एआई रोबोट है। यह कहानियाँ लिखने, गणित हल करने और कोडिंग करने में माहिर है। लेकिन कभी-कभी, जब आप उससे कोई कठिन सवाल पूछते हैं, तो वह एक ही ढर्रे में फंस जाता है। यह ठीक वैसा ही है जैसे एक कुत्ता अपनी ही पूंछ का पीछा कर रहा हो; वह एक ही घेरे में दौड़ता रहता है, बार-बार एक ही तरह का उत्तर देता रहता है। एआई की दुनिया में, इसे "विविधता" (diversity) की कमी कहा जाता है।
इस पेपर के पीछे के शोधकर्ता यह जानना चाहते थे कि: क्या होगा अगर हम रोबोट को उस घेरे से बाहर निकलने के लिए मजबूर करें? क्या होगा अगर हम उससे वही सवाल पूछें, लेकिन पूछने के तरीके में थोड़ा सा बदलाव कर दें? शायद हम उसे कहें, "कल्पना करें कि आप एक सख्त गणित शिक्षक हैं," या "एक रचनात्मक लेखक की तरह सोचें," या बस समस्या को व्यक्त करने का थोड़ा अलग तरीका दें। इसे "सैंपलिंग डाइवर्सिटी" (sampling diversity) कहा जाता है।
बड़ा विचार सरल है: यदि आप रोबोट को एक समस्या को हल करने के 100 अलग-अलग तरीके आज़माने के लिए कहते हैं, और वे 100 तरीके एक-दूसरे से बहुत अलग हैं, तो आपके पास इस बात की बहुत अधिक संभावना है कि उनमें से कम से कम एक सही उत्तर होगा। यह "बेस्ट-ऑफ-एन" (Best-of-N) रणनीति है: कई चीजें आजमाएं, और सबसे अच्छी चुनें। लेकिन असली सवाल यह है: आप उन 100 चीजों को बिना मूर्खतापूर्ण या गलत बनाए अलग कैसे करेंगे?
सही संतुलन: न बहुत उबाऊ, न बहुत अजीब
लेखकों ने एक आदर्श "धक्के" (nudge) की तलाश की। उन्होंने रोबोट की सोच को हिलाने-डुलाने के विभिन्न तरीकों का परीक्षण किया।
सबसे पहले, उन्होंने अप्रासंगिक विचार आजमाए। कल्पना कीजिए कि आप एक रोबोट को गणित की समस्या हल करने के लिए कहते हैं, लेकिन आप उसे पहले केक बनाने के बारे में सोचने के लिए कहते हैं। वह केवल शोर (noise) है। वह मदद नहीं करता। रोबोट भ्रमित हो जाता है, और उसके उत्तर खराब हो जाते हैं।
फिर, उन्होंने सटीक दोहराव को आजमाया। कल्पना कीजिए कि आप रोबोट से ठीक एक ही सवाल दस बार बिल्कुल उन्हीं शब्दों के साथ पूछते हैं। वह आपको दस बार वही उत्तर देगा। कोई नया विचार नहीं, कोई बेहतर परिणाम नहीं।
लेकिन फिर, उन्हें सही संतुलन (Sweet Spot) मिला। उन्होंने रोबोट को "कार्य-संरेखित" (task-aligned) विचार देने की कोशिश की। गणित की समस्या के लिए, वे कह सकते हैं, "समस्या को छोटे चरणों में तोड़ने के बारे में सोचें," या "किसी विशिष्ट प्रमेय (theorem) का उपयोग करने पर विचार करें।" ये संकेत इतने अलग थे कि रोबोट को नए रास्तों को खोजने में मदद मिली, लेकिन वे अभी भी उस गणित की समस्या के बारे में ही थे।
परिणाम अद्भुत थे। जब उन्होंने इन "बिल्कुल सही" संकेतों का उपयोग किया, तो रोबोट की सफलता दर काफी बढ़ गई। उदाहरण के लिए, कोडिंग टेस्ट 'HumanEval' पर, "Dual" नामक रणनीति का उपयोग करने से (जहाँ दूसरा रोबोट विचार उत्पन्न करने में मदद करता है) सफलता दर सामान्य रूप से पूछने की तुलना में 4.7% बढ़ गई। गणित के टेस्ट 'MATH' पर, सुधार 8.2% था। रीजनिंग टेस्ट 'MMLU-Pro' पर, यह 10.8% उछल गया।
पेपर सुझाव देता है कि एक "डाइवर्सिटी-फिडेलिटी ट्रेड-ऑफ" (diversity-fidelity trade-off) होता है। आप चाहते हैं कि संकेत इतने अलग हों कि वे नए रास्ते बना सकें (विविधता/diversity), लेकिन इतने अलग भी न हों कि वे उत्तर की गुणवत्ता (शुद्धता/fidelity) को खराब कर दें। यह सूप में मसाले डालने जैसा है: थोड़ा सा डालने से वह स्वादिष्ट बनता है, लेकिन बहुत अधिक डालने से वह खाने लायक नहीं रहता, और बिना मसालों के वह उबाऊ रहता है।
जाल: क्यों "वोटिंग" आपकी सफलता को खत्म कर सकती है
यहीं पर कहानी में एक मोड़ आता है। शोधकर्ताओं ने यह भी देखा कि हम अंतिम उत्तर कैसे चुनते हैं। आमतौर पर, जब आपके पास 100 अलग-अलग उत्तर होते हैं, तो आप सोच सकते हैं, "आइए देखते हैं कि अधिकांश लोग किस उत्तर से सहमत हैं!" इसे बहुमत आधारित वोटिंग (majority voting) कहा जाता है। यदि 100 में से 51 रोबोट कहते हैं, "उत्तर 42 है," तो 42 सही होना चाहिए, है ना?
पेपर कहता है: इतना जल्दी नहीं।
उन्होंने गणितीय रूप से सिद्ध किया कि यदि आप बहुमत आधारित वोटिंग का उपयोग करते हैं, तो आपने उत्तरों को अलग बनाने के लिए जो भी कड़ी मेहनत की है, वह बेकार जा सकती है। क्यों? क्योंकि बहुमत आधारित वोटिंग तभी काम करती है जब सबसे आम उत्तर सही हो। लेकिन यदि आप उत्तरों को विविध बनाते हैं, तो आप वोटों को बिखेर सकते हैं। सही उत्तर अद्वितीय और शानदार हो सकता है, लेकिन यदि वह 100 में से केवल 5 बार आता है, और एक गलत उत्तर 20 बार आता है, तो बहुमत आधारित वोटिंग गलत उत्तर को चुनेगी।
'MATH' डेटासेट पर अपने प्रयोगों में, उन्होंने पाया कि जब उन्होंने बहुमत आधारित वोटिंग का उपयोग किया, तो फैंसी विविधता (diversity) वाली तरकीबों ने मदद नहीं की और कभी-कभी चीज़ों को और खराब कर दिया। पेपर स्पष्ट रूप से बहुमत आधारित वोटिंग को एक अच्छी रणनीति के रूप में खारिज करता है जब आप एक एकल सही उत्तर खोजने की कोशिश कर रहे हों। यह एक ऐसी जूरी की तरह है जहाँ हर कोई अद्वितीय होने की कोशिश कर रहा है; यदि वे सभी अलग-अलग चीजों के लिए वोट करते हैं, तो आप कभी भी निर्णय पर नहीं पहुँच पाते।
यह जादू कब काम करता है?
शोधकर्ताओं ने केवल ट्रिक खोजने पर ही नहीं रोका; उन्होंने इसे हर जगह परमाखा ताकि यह देखा जा सके कि क्या यह टिकता है।
- तापमान (Temperature): उन्होंने रोबोट का परीक्षण तब किया जब वह "गर्म" (बहुत रैंडम) था और "ठंडा" (बहुत सख्त) था। विविधता की तरकीबें दोनों मामलों में काम करती रहीं, जो तापमान द्वारा किए जा रहे किसी भी प्रभाव के ऊपर अतिरिक्त बढ़त देती हैं।
- सोचने के चरण (Thinking Steps): उन्होंने इसे "चेन-ऑफ-थॉट" (Chain-of-Thought) के साथ आज़माया, जहाँ रोबोट अपने चरणों के माध्यम से बात करता है। ये तरकीबें अभी भी काम करती रहीं, जिससे एक कठिन कोडिंग टेस्ट पर 7.4% की बढ़त मिली।
- "विचारक" कौन है? उन्होंने विचारों को उत्पन्न करने के लिए विभिन्न रोबोटों का उपयोग किया। उन्होंने पाया कि एक स्मार्ट "विचारक" रोबोट पूरे सिस्टम को बेहतर बनाता है।
- कितने विचार? जितने अधिक अद्वितीय विचार डाले गए, परिणाम उतने ही बेहतर हुए। 100 अलग-अलग विचारों का उपयोग करना केवल 1 के उपयोग से बेहतर था।
हालाँकि, उन्होंने यह भी देखा कि यह ट्रिक कमजोर रोबोटों के लिए सबसे अच्छा काम करती है। यदि रोबोट पहले से ही बहुत स्मार्ट है (जैसे सबसे बड़े, सबसे शक्तिशाली मॉडल), तो अतिरिक्त बढ़त छोटी होती है। यह एक जीनियस को नक्शा देने जैसा है; वे शायद रास्ता पहले से ही जानते थे। लेकिन एक स्मार्ट-परंतु-जीनियस-नहीं वाले रोबोट के लिए, नक्शा बहुत मदद करता है।
निचोड़ (The Bottom Line)
यह पेपर उन सभी के लिए एक मार्गदर्शिका है जो एआई रोबोट से सबसे अधिक पाना चाहते हैं। यह हमें बताता है कि:
- विविधता अच्छी है: रोबोट को अलग-अलग दृष्टिकोण अपनाने के लिए मजबूर करना उसे सही उत्तर खोजने में मदद करता है।
- धक्के (Nudge) के साथ सावधान रहें: आपके द्वारा दिए गए संकेत प्रासंगिक होने चाहिए। बहुत अजीब, और यह विफल हो जाएगा। बहुत उबाऊ, और यह मदद नहीं करेगा।
- सिर्फ वोट न करें: यदि आप एक एकल सही उत्तर खोजना चाहते हैं, तो केवल सबसे लोकप्रिय को न चुनें। सभी विविध प्रयासों में से एक सबसे अच्छे को चुनें।
- यह एक उपकरण है, जादू की छड़ी नहीं: यह तब सबसे अच्छा काम करता है जब आपके पास कंप्यूटिंग पावर का बजट हो और जब आप इसे उन मॉडलों पर उपयोग करते हैं जो पहले से ही पूर्ण नहीं हैं।
लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने सैकड़ों प्रयोग किए और इसे प्रमाणित करने के लिए एक गणितीय सिद्धांत बनाया। उन्होंने दिखाया कि सावधानीपूर्वक सवाल पूछने के तरीके को बदलकर, हम एआई को स्मार्ट, तेज़ और अधिक विश्वसनीय बना सकते हैं, बिना किसी बड़े, अधिक महंगे रोबोट को बनाए। यह एक याद दिलाता है कि कभी-कभी, सही उत्तर खोजने का सबसे अच्छा तरीका सवाल को सौ अलग-अलग तरीकों से पूछना होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।