CoBa: Cost-Effective Test-Time Scaling via Compute-Balanced Routing
यह शोधपत्र CoBa को प्रस्तुत करता है, जो एक कंप्यूट-बैलेंस्ड रूटिंग पॉलिसी है जो जनरेशन और वेरिफिकेशन के बीच इन्फरेंस संसाधनों को गतिशील रूप से आवंटित करके टेस्ट-टाइम स्केलिंग को अनुकूलित करती है, जिससे गणितीय तर्क संबंधी बेंचमार्क पर अत्याधुनिक सटीकता प्राप्त होती है और पारंपरिक स्केलिंग विधियों की तुलना में कम्प्यूटेशनल लागत में काफी कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही कठिन पहेली सुलझाने की कोशिश कर रहे हैं। आपके पास खर्च करने के लिए सीमित ऊर्जा है, और आपके पास इसे उपयोग करने के तीन तरीके हैं: आप एक नया उत्तर सोच सकते हैं, आपके पास पहले से मौजूद किसी उत्तर की दोबारा जांच कर सकते हैं, या आप बस कह सकते हैं, "ठीक है, मैं हो गया, यह मेरा सबसे अच्छा अनुमान है।" लंबे समय से, कठिन समस्याओं (जैसे गणित की पहेलियों) को हल करने वाले कंप्यूटरों को बार-बार इनमें से एक काम करके "अधिक मेहनत करने" के लिए कहा जाता रहा है। वे सौ अलग-अलग उत्तर उत्पन्न कर सकते हैं और सबसे लोकप्रिय वाला चुन सकते हैं, या वे एक सुपर-स्मार्ट, धीमे रोबोट जज के साथ हर एक उत्तर की जांच करने के लिए भारी मात्रा में ऊर्जा खर्च कर सकते हैं। समस्या यह है कि यह एक अखरोट को तोड़ने के लिए हथौड़े का उपयोग करने जैसा है। यदि उत्तर स्पष्ट है, तो सौ बार जांच करना बर्बादी है। यदि उत्तर बहुत कठिन है, तो केवल रैंडम अंदाजे लगाना कभी भी सही उत्तर तक नहीं पहुँचा पाएगा। बड़ा सवाल वैज्ञानिकों के लिए यह है: हम अपनी सीमित ऊर्जा को कैसे खर्च करें ताकि हम बैटरी खत्म किए बिना सही उत्तर प्राप्त कर सकें?
यहीं पर CoBa नामक एक नया विचार आता है। CoBa को एक श्रमिकों की टीम के लिए एक स्मार्ट मैनेजर के रूपм में समझें। हर कार्यकर्ता को बिल्कुल एक ही चीज़ करने के लिए कहने के बजाय, CoBa स्थिति पर नज़र रखता है और तय करता है कि अगला सबसे अच्छा कदम क्या है। यदि कार्यकर्ता एक आसान उत्तर पर पहले से ही सहमत हैं, तो CoBa कहता है, "बहुत बढ़िया, रुक जाओ! हम हो गए।" यदि वे भ्रमित हैं, तो Co bersama कह सकता है, "आइए कुछ और लोगों से विचार मांगते हैं।" लेकिन यदि वे एक बहुत कठिन समस्या पर अटके हुए हैं, तो CoBa कहता है, "ठीक है, आइए दो सबसे अच्छे विचारों को गहराई से जांचने के लिए एक सुपर-एक्सपर्ट जज के पास भेजें।" शोधकर्ताओं ने इसका परीक्षण हजारों गणित की समस्याओं पर किया और पाया कि एक स्मार्ट मैनेजर बनकर, CoBa उन "ब्रूट फोर्स" तरीकों (जो सब कुछ आज़माते हैं) के समान उच्च स्कोर प्राप्त कर सका, लेकिन उसने 49.1% कम महंगी ऊर्जा इकाइयों (जिन्हें "पैरामीटर-वेटेड टोकन" कहा जाता है) का उपयोग किया। यह एक स्वादिष्ट भोजन पाने के लिए आधे ही सामग्रियों का उपयोग करने जैसा है।
समस्या: "अधिक ही बेहतर है" का जाल
कुछ समय के लिए, AI को समस्याओं को हल करने में स्मार्ट बनाने का सबसे अच्छा तरीका बस उसमें अधिक कंप्यूटिंग पावर झोंक देना था। यदि आप एक बेहतर उत्तर चाहते थे, तो आप AI को अधिक समाधान उत्पन्न करने के लिए कहते थे। यदि आप सुनिश्चित होना चाहते थे, तो आप दूसरे AI को उन सभी की जांच करने के लिए कहते थे। यह घास के ढेर में सुई खोजने के लिए हजार लोगों को पूरे ढेर की जांच करने के लिए बुलाने जैसा है, भले ही सुई बिल्कुल ऊपर ही क्यों न हो। यह काम करता है, लेकिन यह अविश्वसनीय रूप से महंगा और धीमा है।
यह पेपर तर्क देता है कि यह "एक ही आकार सबके लिए" (one-size-fits-all) वाला दृष्टिकोण बेकार है। कुछ समस्याएं आसान होती हैं और उन्हें एक त्वरित नज़र की आवश्यकता होती है। अन्य कठिन होती हैं और उन्हें गहरे चिंतन की आवश्यकता होती है। लेकिन पुराने तरीकों ने हर समस्या के साथ एक जैसा व्यवहार किया। वे एक साधारण गणित के प्रश्न पर भी उतना ही विशाल ऊर्जा खर्च करते थे जितना कि एक जटिल ओलंपियाड-स्तर की पहेली पर। इस पेपर के लेखक इसे संसाधन आवंटन समस्या (resource allocation problem) में बदलकर इसे ठीक करना चाहते थे। उन्होंने पूछा: "ऊर्जा के एक निश्चित बजट को देखते हुए, क्या हमें अगली ऊर्जा का खर्च एक नया विचार उत्पन्न करने पर, एक पुराने को जांचने पर, या बस रुक जाने पर करना चाहिए?"
समाधान: स्मार्ट मैनेजर (CoBa)
लेखकों ने CoBa (कंप्यूट-बैलेंस्ड टेस्ट-टाइम स्केलिंग) पेश किया, जो AI के मस्तिष्क के लिए एक ट्रैफिक कंट्रोलर की तरह कार्य करता है। यह कैसे काम करता है, यहाँ चरण-दर-चरण दिया गया है:
- वार्म-अप: सबसे पहले, CoBa AI को उत्तरों का एक छोटा, विविध सेट उत्पन्न करने के लिए कहता है (जैसे दो दोस्तों से उनके विचार मांगना)। यह "वार्म-अप" है।
- सस्ता चेक: इसके बाद, यह सभी उत्तरों पर एक त्वरित, कम-ऊर्जा वाली जांच चलाता है। यह एक दोस्त से पूछने जैसा है, "क्या यह सही लग रहा है?" यह तेज़ और सस्ता है।
- निर्णय: सस्ते चेक द्वारा जो पाया गया, उसके आधार पर CoBa एक विकल्प चुनता है:
- रुकना (Stop): यदि सभी सहमत हैं और सस्ता चेक आश्वस्त है, तो CoBa तुरंत रुक जाता है। ऊर्जा बर्बाद करने की कोई आवश्यकता नहीं है।
- अधिक उत्पन्न करना (Generate More): यदि उत्तर इधर-उधर बिखरे हुए हैं, तो CoB अधिक विकल्प प्राप्त करने के लिए कुछ और विचार मांगता है।
- मजबूत सत्यापन (Strong Verify): यदि कुछ आशाजनक उत्तर हैं जो अभी भी थोड़े अनिश्चित हैं, तो CoBa केवल उन विशिष्ट उत्तरों को "सुपर जज" (एक बहुत अधिक शक्तिशाली, महंगी AI मॉडल) के पास गहन, विस्तृत जांच के लिए भेजता है।
यही मुख्य अंतर है: सब कुछ 'सुपर जज' के साथ जांचने के बजाय, CoBa केवल सबसे दिलचस्प उम्मीदवारों को भेजता है। यह महंगी ऊर्जा को उन क्षणों के लिए बचाता है जहाँ वास्तव में इसकी आवश्यकता होती है।
परिणाम: कठिन नहीं, बल्कि स्मार्ट
शोधकर्ताओं ने 3,000 से अधिक गणित की समस्याओं पर इस प्रणाली का परीक्षण किया, जो मानक स्कूली गणित से लेकर बहुत कठिन प्रतियोगिता-स्तर की पहेलियों (जैसे AIME और AMC) तक फैली हुई हैं। उन्होंने CoBa की तुलना पुराने "ब्रूट फोर्स" तरीकों से की।
- बड़ी जीत: CoBa का सबसे अच्छा संस्करण (CoBa-Routed-Strong) 85.13% की सटीकता प्राप्त करता है। यह लगभग सबसे महंगे तरीकों के समान है, जिन्होंने 85.20% (सेल्फ-इवैल्यूएशन वेटेड वोटिंग सिस्टम का उपयोग करके) और 85.12% ("बेस्ट-ऑफ-16" बहुमत वोट का उपयोग करके) स्कोर किया।
- बचत: यहाँ जादू वाला हिस्सा है। उसी उच्च स्कोर को प्राप्त करने के लिए, महंगे तरीकों ने भारी मात्रा में कंप्यूटिंग पावर का उपयोग किया। CoBa-Routed-Strong ने सेल्फ-इवैल्यूएशन विधि की तुलना में 49.1% कम और बेस्ट-ऑफ-16 विधि की तुलना में 58.9% कम पैरामीटर-वेटेड टोकन का उपयोग किया।
- समझौता (Trade-off): पेपर नोट करता है कि "बेस्ट-ऑफ-16" विधि (जो बस 16 उत्तर उत्पन्न करती है और सबसे आम को चुनती है) अभी भी एक बहुत मामूली अंश (0.01 अंक) से अधिक सटीक थी, लेकिन इसे चलाने की लागत 2.43 गुना अधिक थी। CoBa सुझाव देता है कि अधिकांश वास्तविक दुनिया के उपयोगों के लिए, मामूली सटीकता लाभ उस भारी लागत के लायक नहीं है।
भविष्य के लिए इसका क्या अर्थ है
पेपर सुझाव देता है कि AI तर्क का भविष्य केवल बड़े, अधिक शक्तिशाली मॉडल बनाने के बारे में नहीं है। यह हमारे पास मौजूद संसाधनों के साथ स्मार्ट होने के बारे में है। लेखकों ने पाया कि सबसे बड़ी बाधा हमेशा जांचना नहीं होती है; कभी-कभी, यह यह होता है कि AI ने सही उत्तर ही नहीं सोचा था। सबसे कठिन समस्याओं (जैसे AIME 2025) पर, भले ही सबसे स्मार्ट मैनेजर भी सही उत्तर नहीं ढूंढ सका यदि प्रारंभिक "विचारों का पूल" में वह शामिल नहीं था।
हालाँकि, अधिकांश समस्याओं के लिए, CoBa ने दिखाया कि हम ऊर्जा बर्बाद करना बंद कर सकते हैं। एक "ट्राइएज" (triage) प्रणाली का उपयोग करके—सभी के लिए सस्ते चेक, और केवल कठिन वाले के लिए महंगे चेक—हम बिना भारी खर्च के सर्वोत्तम परिणाम प्राप्त कर सकते हैं। पेपर निष्कर्ष निकालता है कि यह दृष्टिकोण "ओरेकल गैप" (वह अंतर जो AI क्या कर सकता था यदि उसे उत्तर पता होता और वह वास्तव में क्या करता है) को एक उपयोगी संकेत में बदल देता है। यदि AI विफल होता है, तो अब हमें पता है कि कहाँ देखना है: क्या हमने बहुत जल्दी रुक गए? क्या हमने गलत उम्मीदवारों की जांच की? या क्या हमें वास्तव में बेहतर विचार उत्पन्न करने की आवश्यकता थी?
संक्षेप में, CoBa हमें सिखाता है कि AI की दुनिया में, समय और लक्ष्य (timing and targeting) कच्चे बल (raw power) जितने ही महत्वपूर्ण हैं। यह इस बारे में नहीं है कि आप कितनी कड़ी मेहनत करते हैं; यह इस बारे में है कि आपको कब कड़ी मेहनत करनी है और कब रुकना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।