More Correct Mass, Worse Answers: Why Power Sampling Can Fail and How to Fix It
यह शोध पत्र प्रकट करता है कि जबकि पावर सैंपलिंग (Power Sampling) सही तर्क पथों (reasoning trajectories) के प्रायिकता द्रव्यमान (probability mass) को बढ़ाता है, यह विरोधाभासी रूप से डोज़ और कवरेज बेमेल (dose and coverage mismatches) के कारण डाउनस्ट्रीम अनुमान सटीकता को कम कर देता है, एक ऐसी समस्या जिसे लेखक एक विरूपण-नियंत्रित (deformation-controlled), समर्थन-संरक्षण (support-preserving) संस्करण पेश करके हल करते हैं जो मानक बहु-नमूना विधियों (multi-sample methods) से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही पेचीदा पहेली सुलझाने की कोशिश कर रहे हैं। आप एक सुपर-स्मार्ट रोबोट से उसका उत्तर पूछते हैं, लेकिन केवल एक अनुमान देने के बजाय, आप उससे इस पहेली को सुलझाने के दस अलग-अलग तरीके (कहानियां) लिखने के लिए कहते हैं। कठिन समस्याओं पर आधुनिक AI इसी तरह काम करता है: यह केवल एक रास्ता नहीं चुनता; यह संभावित समाधानों की एक पूरी भीड़ बनाता है और फिर उस भीड़ को देखता है कि बहुमत किस बात पर सहमत है। "भीड़ की बुद्धिमत्ता" (crowd wisdom) का यह दृष्टिकोण सेल्फ-कंसिस्टेंसी (Self-Consistency) कहलाता है। विचार सरल है: यदि रोबोट आश्वस्त है, तो उसकी दस कहानियों में से अधिकांश एक ही सही उत्तर की ओर ले जानी चाहिए। यदि वे सभी असहमत हैं, तो रोबोट शायद भ्रमित है।
अब, कल्पना कीजिए कि आप रोबोट के सोचने के तरीके में थोड़ा बदलाव करके उसे और भी स्मार्ट बनाना चाहते हैं। आप उसे कह सकते हैं, "हे, अगर तुम्हें लगता है कि कोई कहानी 80% संभावित है, तो उसे 99% संभावित महसूस कराओ!" इस तकनीक को पावर सैंपलिंग (Power Sampling) कहा जाता है। यह रोबोट के पसंदीदा विचारों की आवाज़ बढ़ाने जैसा है, इस उम्मीद में कि "सबसे अच्छे" विचारों को तेज़ करके, रोबोट सही उत्तर तेज़ी से खोज लेगा। यह एक बेहतरीन अपग्रेड लगता है, है ना? लेकिन क्या होगा अगर आवाज़ बढ़ाना वास्तव में रोबोट को शांत, सही विचारों पर चिल्लाकर उन्हें दबा दे, जिससे पूरी भीड़ गलत उत्तर के लिए वोट करने लगे? यह वह चौंकाने वाला मोड़ है जो बीजिंग यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने उजागर किया है। उन्होंने पाया कि यह लोकप्रिय ट्रिक कभी-कभी AI को स्मार्ट बनाने के बजाय मूर्ख बना सकती है, क्योंकि यह अनजाने में उस वैचारिक विविधता को चुप करा देती है जो "भीड़ की बुद्धिमत्ता" को सफल बनाती है।
विरोधाभास: तेज़ आवाज़ का मतलब बेहतर नहीं होता
शोधकर्ताओं, हाओहुई यांग, जियाक्सिंग सन और शिउजुन मा ने खोजा कि AI मॉडल के तर्क करने के तरीके में एक अजीब विरोधाभास है। उन्होंने पावर सैंपलिंग नामक एक विधि को देखा, जिसे मॉडल के फोकस को तेज करने के लिए डिज़ाइन किया गया है। मॉडल के मन को पहाड़ियों और घाटियों वाले एक परिदृश्य के रूप में सोचें। ऊँची पहाड़ियाँ उन विचारों का प्रतिनिधित्व करती हैं जिन्हें मॉडल बहुत संभावित मानता है, और निचली घाटियाँ उन विचारों का प्रतिनिधित्व करती हैं जिन्हें वह कम संभावित मानता है। पावर सैंपलिंग एक गणितीय "आवर्धक लेंस" (exponent) लेता है और ऊँची पहाड़ियों को और भी ऊँचा तथा घाटियों को और भी गहरा बना देता है। लक्ष्य मॉडल को अपने "सर्वश्रेष्ठ" विचारों को अधिक आक्रामक तरीके से चुनने के लिए प्रेरित करना है।
हालाँकि, टीम ने पाया कि जबकि यह तीक्ष्णता (sharpening) सही रास्तों की ओर संभावना के भार को तो बढ़ाती है, लेकिन जब मॉडल कई अनुमानों को जोड़ने की कोशिश करता है, तो यह अक्सर अंतिम उत्तर को खराब कर देती है। गणित, कोड और भौतिकी से जुड़े नौ अलग-अलग सेटअपों में किए गए अपने परीक्षणों में, इस विधि ने वास्तव में AI के प्रदर्शन को बदतर बना दिया। सबसे खराब स्थिति में, सटीकता में भारी 18.5 प्रतिशत अंक की गिरावट आई।
दो मुख्य कारण: डोज़ (Dose) और कवरेज (Coverage)
ऐसा क्यों हुआ? लेखकों ने दो मुख्य कारणों की पहचान की, जिन्हें वे "मिसमैच" (mismatch) कहते हैं।
1. कवरेज मिसमैच (The "One Loud Voice" Problem - एक तेज़ आवाज़ की समस्या)
कल्पना कीजिए कि एक टाउन मीटिंग चल रही है जहाँ आपको एक नए पार्क के बारे में निर्णय लेना है। तीन अलग-अलग समूह (C1, C2, और C3) हैं जो सभी एक ही सही स्थान चाहते हैं, लेकिन वे छोटे और शांत समूह हैं। वहीं एक बहुत ही तेज़, आक्रामक समूह (W1) है जो गलत स्थान चाहता है।
- सामान्य AI (Base): तीन शांत समूह अपनी आवाज़ें मिलाते हैं। भले ही वे व्यक्तिगत रूप से छोटे हों, लेकिन मिलकर वे एक तेज़ समूह को हरा देते हैं। सही उत्तर जीत जाता है।
- पावर सैलिंग (Power Sampling): यह विधि एक मेगाफोन की तरह काम करती है जो केवल सबसे तेज़ व्यक्तिगत आवाज़ को बढ़ाती है। यह एकल तेज़ समूह (W1) को इतना अविश्वसनीय रूप से तेज़ बना देती है कि वह तीन शांत समूहों की संयुक्त आवाज़ को दबा देती है। अब AI सोचता है कि गलत उत्तर ही एकमात्र विकल्प है।
शोधकर्ताओं ने दिखाया कि जबकि पावर सैंपलिंग एक सही रास्ता खोजने की संभावना (एक मीट्रिक जिसे pass@k कहा जाता है) को बढ़ाता है, यह अंतिम निर्णय के लिए आवश्यक "सामूहिक समर्थन" को नष्ट कर देता है। यह सारा ध्यान कुछ प्रमुख रास्तों पर केंद्रित कर देता है, जिससे वह व्यापक समर्थन नेटवर्क पूरी तरह से खाली हो जाता है जिसकी "भीड़ की बुद्धिमत्ता" को आवश्यकता होती है।
2. डोज़ मिसमैच (The "One Size Fits All" Problem - एक ही आकार सबके लिए समस्या)
दूसरी समस्या यह है कि पावर सैंपलिंग में उपयोग किया जाने वाला "आवर्धक लेंस" स्थिर (fixed) है। यह हर समस्या के लिए, चाहे वह कितनी भी कठिन क्यों न हो, एक ही मात्रा में तीक्ष्णता लागू करता है।
- कल्पना कीजिए कि आप कैमरे के फोकस को एडजस्ट कर रहे हैं। एक साधारण फोटो के लिए, एक छोटा सा बदलाव इसे परफेक्ट बना देता है। लेकिन एक जटिल, धुंधली फोटो के लिए, वही छोटा सा बदलाव उसे एक गड़बड़ बना सकता है।
- शोधकर्ताओं ने पाया कि चूंकि हर गणितीय समस्या या कोड चुनौती की कठिनाई का "आकार" अलग होता है, इसलिए एक ही निश्चित घातांक (उन्होंने α = 4 का परीक्षण किया) का उपयोग करना बेहद अलग परिणाम देता है। कुछ आसान समस्याओं के लिए, यह एक हल्का सा धक्का है। अन्य के लिए, यह AI के तर्क का पूर्ण पतन है, जो लगभग सभी रास्तों को कुचल देता है। यह इस विधि को अप्रत्याशित और नियंत्रित करने में कठिन बनाता है।
समाधान: रिलेटिव-रैंक सॉफ्टसैट (Relative-Rank SoftSat)
इसे ठीक करने के लिए, टीम ने एक नया तरीका विकसित किया जिसे रिलेटिव-रैंक सॉफ्टसैट (Relative-Rank SoftSat) कहा जाता है। केवल "सबसे ऊँची" पहाड़ियों को ऊँचा बनाने के बजाय, यह विधि प्रत्येक विशिष्ट समस्या के भीतर विचारों की रैंकिंग को देखती है।
- उपमा (Analogy): एक दौड़ की कल्पना करें। पावर सैंपलिंग उस व्यक्ति को बहुत बड़ी बढ़त देने जैसा है जो वर्तमान में पहले स्थान पर है, ट्रैक की परवाह किए बिना। सॉफ्टसैट (SoftSat) अलग है। यह देखता है कि उस विशिष्ट ट्रैक पर अन्य धावकों के सापेक्ष लोग कहाँ हैं। यह पैक के बीच में रहने वाले धावकों (मध्यम-संभावना वाले रास्तों) को बढ़ावा देता है लेकिन पहले स्थान पर रहने वाले धावक पर एक "कैप" या "गति सीमा" लगा देता है।
- यह कैसे काम करता है: यह शीर्ष पथ को सारा ध्यान सोखने से रोकता है (कवरेज समस्या को ठीक करता है) और यह तय करता है कि बढ़ावा कितना देना है, यह इस आधार पर कि समस्या कैसे संरचित है, न कि एक कठोर, एक ही आकार के नियम का उपयोग करके (डोज़ समस्या को ठीक करता है)।
परिणाम: सिर्फ तेज़ नहीं, बल्कि स्मार्ट
जब उन्होंने इस नए तरीके का परीक्षण किया, तो परिणाम प्रभावशाली थे। उन्हें अधिक कहानियाँ बनाने या अधिक कंप्यूटर शक्ति का उपयोग करने की आवश्यकता नहीं थी; उन्होंने बस इस बात को बदल दिया कि वे कहानियों को कैसे तौलते हैं।
- LiveAoPSBench (एक गणित बेंचमार्क) और PHYSICS परीक्षणों पर, पुराने पावर सैंपलिंग विधि ने सटीकता में भारी गिरावट दर्ज की। नया सॉफ्टसैट तरीका इन गिरावटों को लगभग पूरी तरह से ठीक कर देता है। उदाहरण के लिए, एक विशिष्ट मॉडल के साथ LiveAoPSBench पर, सटीकता एक विनाशकारी गिरावट के 18.474 अंक से घटकर एक मामूली, लगभग नगण्य गिरावट के 1.004 अंक रह गई।
- कई मामलों में, सॉफ्टसैट ने वास्तव में मानक "अनवेटेड" (unweighted) भीड़ की बुद्धिमत्ता की तुलना में AI के प्रदर्शन में सुधार किया, जिससे यह पता चला कि थोड़ा स्मार्ट वेटिंग (weighting) उपयोग करना, बिना किसी वेटिंग या बहुत आक्रामक वेटिंग से बेहतर है।
निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि केवल AI को उसके शीर्ष अनुमानों के प्रति "अधिक आत्मविश्वासी" बनाना हमेशा सही कदम नहीं होता है। कभी-कभी, एक बेहतर उत्तर का रहस्य सबसे तेज़ विचार चिल्लाना नहीं है, बल्कि उन शांत, विविध आवाजों को सुरक्षित रखना है जो मिलकर सत्य तक ले जाती हैं। सापेक्ष रैंकिंग का सम्मान करने वाले और यह सुनिश्चित करने वाले तरीके का उपयोग करके कि कोई भी एकल पथ बातचीत पर हावी न हो, हम अपने AI मॉडलों से अधिक डेटा प्रशिक्षित किए बिना या अधिक कंप्यूटिंग शक्ति खर्च किए बिना बेहतर तर्क प्राप्त कर सकते हैं। यह हमें याद दिलाता है कि AI की दुनिया में, विविधतापूर्ण विचार उतना ही महत्वपूर्ण है जितना कि आत्मविश्वास।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।