💬 NLP

Squeeze Evolve: Unified Multi-Model Orchestration for Verifier-Free Evolution

यह शोध पत्र Squeeze Evolve को प्रस्तुत करता है, जो एक एकीकृत मल्टी-मॉडल ऑर्केस्ट्रेशन फ्रेमवर्क है जो विविधता और लागत-दक्षता को संतुलित करने के लिए मॉडल क्षमताओं को गतिशील रूप से आवंटित करके वर्िफायर-मुक्त विकासवादी अनुमान (evolutionary inference) को अनुकूलित करता है, जिससे विविध बेंचमार्क में काफी कम API लागत और बढ़ी हुई थ्रूपुट के साथ अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Monishwaran Maheswaran, Leon Lakhani, Zhongzhu Zhou, Shijia Yang, Junxiong Wang, Coleman Hooper, Yuezhou Hu, Rishabh Tiwari, Jue Wang, Harman Singh, Qingyang Wu, Yuqing Jian, Ce Zhang, Kurt Keutzer, T

प्रकाशित 2026-04-10

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Monishwaran Maheswaran, Leon Lakhani, Zhongzhu Zhou, Shijia Yang, Junxiong Wang, Coleman Hooper, Yuezhou Hu, Rishabh Tiwari, Jue Wang, Harman Singh, Qingyang Wu, Yuqing Jian, Ce Zhang, Kurt Keutzer, Tri Dao, Xiaoxia Wu, Ben Athiwaratkun, James Zou, Chenfeng Xu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक अविश्वसनीय रूप से कठिन पहेली को हल करने की कोशिश कर रहे हैं, जैसे कि कोई जटिल गणित की समस्या या कोई पेचीदा कोडिंग चुनौती। आपके पास आपकी सहायता के लिए सहायकों की एक टीम है।

अतीत में, यह सब करने के लिए एक अत्यंत महंगे जीनियस (प्रतिभाशाली व्यक्ति) को काम पर रखने का मानक तरीका था। वह समाधान उत्पन्न करता, उसकी जांच करता, उसे ठीक करता और फिर से प्रयास करता। हालांकि वह जीनियस बहुत बुद्धिमान था, लेकिन वह बहुत धीमा था और बहुत अधिक खर्च कराता था। यदि आपका बजट सीमित होता, तो आप पैसा खत्म होने से पहले केवल कुछ ही प्रयास कर पाते।

वैकल्पिक रूप से, आप सब कुछ करने के लिए एक सस्ता, तेज़ इंटर्न भी रख सकते थे। वे तेज़ और सस्ते होते हैं, लेकिन वे अक्सर मूर्खतापूर्ण गलतियाँ करते हैं या बुरे विचारों के चक्रव्यूह में फंस जाते हैं।

"Squeeze Evolve" इस पहेली सुलझाने वाली टीम को चलाने का एक नया, स्मार्ट तरीका है। यह एक शानदार प्रोजेक्ट मैनेजर की तरह है जिसे पता है कि कब महंगे जीनियस को बुलाना है और कब सस्ते इंटर्न को काम संभालने देना है।

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:

1. समस्या: "इको चैंबर" (गूँज कक्ष) का जाल

जब आप केवल एक ही मॉडल का उपयोग करते हैं (भले ही वह स्मार्ट हो) और बिना किसी शिक्षक के अपने ही काम को सुधारते रहते हैं, तो वह फंसने लगता है। यह एक ऐसे व्यक्ति की तरह है जो एक छोटे कमरे में खुद से बात कर रहा हो; अंततः, वे बार-बार एक ही गलत विचार दोहराने लगते हैं। टीम अपनी विविधता (Diversity) खो देती है। वे सभी एक ही गलत तरीके से सोचने लगते हैं, और समाधान की गुणवत्ता गिर जाती है।

साथ ही, हर एक कदम के लिए महंगे जीनियस का उपयोग करना पैसे की बर्बादी है। वे साधारण कार्यों, जैसे कि केवल नोट्स व्यवस्थित करने के लिए, ज़रूरत से ज़्यादा योग्य हैं।

2. समाधान: "स्मार्ट मैनेजर" (मल्टी-मॉडल ऑर्केस्ट्रेशन)

Squeeze Evolve एक मैनेजर पेश करता है जो दो प्रकार के श्रमिकों की टीम चलाता है:

बड़ा दिमाग (महंगा मॉडल): एक शक्तिशाली, धीमा, महंगा AI।
त्वरित कार्यकर्ता (सस्ता मॉडल): एक छोटा, तेज़, सस्ता AI।

मैनेजर एक सरल नियम का पालन करता है: "बड़े दिमाग का उपयोग तभी करें जब यह बिल्कुल आवश्यक हो।"

3. मैनेजर निर्णय कैसे लेता है (द "कॉन्फिडेंस" सिग्नल)

मैनेजर को यह कैसे पता चलता है कि बड़े दिमाग को कब बुलाना है? उनके पास जवाबों को जांचने के लिए कोई बाहरी शिक्षक नहीं है। इसके बजाय, वे श्रमिकों की अपनी "अंतरात्मा की आवाज़" (Gut feelings) को सुनते हैं।

अंतरात्मा की जाँच (The Gut Check): जब श्रमिक एक उत्तर उत्पन्न करते हैं, तो सिस्टम जांचता है कि वे कितने "आत्मविश्वासी" हैं।
- उच्च आत्मविश्वास: "मुझे 99% यकीन है कि यह सही है।" -> मैनेजर कहता है: "बहुत बढ़िया! अगले कदम के लिए त्वरित कार्यकर्ता को संभालने दें। पैसा बचाएं!"
- कम आत्मविश्वास: "मुझे यकीन नहीं है, यह अस्त-व्यस्त लग रहा है।" -> मैनेजर कहता है: "ठीक है, यह पेचीदा है। इसे ठीक करने के लिए बड़े दिमाग को बुलाएं।"

यह एक निर्माण स्थल की तरह है। यदि एक ईंट सीधी रखी गई है, तो फोरमैन (मैनेजर) प्रशिक्षु (त्वरित कार्यकर्ता) को निर्माण जारी रखने देता है। लेकिन यदि दीवार टेढ़ी दिखती है, तो फोरमैन नींव को ठीक करने के लिए मास्टर राजमिस्त्री (बड़े दिमाग) को बुलाता है।

4. जादुई सामग्रियां

पेपर ने पाया कि यह काम करने के लिए तीन गुप्त सामग्रियां हैं:

मजबूत शुरुआत: विचारों का पहला सेट (जिसे "सीड" कहा जाता है) बड़े दिमाग से आना चाहिए। यदि आप बुरे विचारों के साथ शुरुआत करते हैं, तो सबसे अच्छा मैनेजर भी उन्हें ठीक नहीं कर सकता। इसलिए, बड़ा दिमाग प्रारंभिक जनसंख्या उत्पन्न करता है, और फिर टीम कार्यभार संभाल लेती है।
विविधता बनाए रखें: सिस्टम यह सुनिश्चित करता है कि टीम बहुत जल्दी एकमत न हो जाए। यदि सभी एक ही तरह से सोचने लगते हैं, तो सिस्टम उन्हें अलग-अलग कोणों से देखने के लिए मजबूर करता है। यह "इको चैंबर" के जाल को रोकता है।
"केवल टेक्स्ट" वाला तरीका: छवियों (जैसे चार्ट देखना) से संबंधित कुछ परीक्षणों में, सिस्टम ने बड़े दिमाग का उपयोग केवल एक बार चित्र को देखने और उसे समझने के लिए किया। इसके बाद, त्वरित कार्यकर्ता (जो चित्र नहीं देख सकता!) बड़े दिमाग द्वारा बनाए गए नोट्स के आधार पर सारा तर्क और गणित संभालता है। इसने बहुत सारा पैसा बचाया क्योंकि महंगे इमेज-प्रोसेसिंग वाले हिस्से का उपयोग केवल एक बार किया गया था!

5. परिणाम: तेज़, सस्ता और स्मार्ट

इस पद्धति का परीक्षण कठिन गणित प्रतियोगिताओं, कोडिंग चुनौतियों और वैज्ञानिक खोज कार्यों पर किया गया।

लागत: उन्होंने लागत को 3 गुना कम कर दिया। आपको एक तीसरे दाम में वही (या बेहतर) परिणाम मिलते हैं।
गति: उन्होंने समान समय में 10 गुना अधिक काम किया।
प्रदर्शन: कुछ सबसे कठिन पहेलियों (जैसे ARC-AGI-V2) पर, इस पद्धति ने पिछले रिकॉर्ड धारकों को भी पीछे छोड़ दिया, भले ही इसने जवाबों की जांच के लिए किसी "शिक्षक" का उपयोग नहीं किया।

बड़ी तस्वीर

Squeeze Evolve को अपने पूरे प्रोजेक्ट के लिए एक अकेले $1,000/घंटा वाले सलाहकार को काम पर रखने, बनाम एक$ 1,000/घंटा वाले सलाहकार को ब्लूप्रिंट डिजाइन करने के लिए और एक $10/घंटा वाली टीम को घर बनाने के लिए काम पर रखने के बीच के अंतर के रूप में समझें, जहाँ एक स्मार्ट फोरमैन यह सुनिश्चित करता है कि टीम सलाहकार को केवल तभी बुलाए जब वे किसी समस्या में फंस जाएं।

यह साबित करता है कि आपको बेहतर AI परिणाम प्राप्त करने के लिए अधिक पैसा खर्च करने की आवश्यकता नहीं है; आपको बस इस बारे में स्मार्ट होने की आवश्यकता है कि कौन, क्या और कब करेगा।

यहाँ शोध पत्र "SQUEEZE EVOLVE: Unified Multi-Model Orchestration for Verifier-Free Evolution" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र वेरिफायर-फ्री इवोल्यूशनरी इन्फरेंस (बाहरी ग्राउंड-ट्रुथ वेरिफिकेशन के बिना पुनरावृत्ति चयन और पुनर्संयोजन के माध्यम से LLM आउटपुट में सुधार करना) में दो महत्वपूर्ण बाधाओं को संबोधित करता है:

डाइवर्सिटी कोलैप्स (विविधता का पतन): बाहरी सत्यापन के बिना, बार-बार होने वाले इवोल्यूशनरी लूप्स संकीर्ण समाधान मोड की ओर बढ़ने लगते हैं। जनसंख्या अपनी सिमेंटिक विविधता खो देती है, जिससे प्रदर्शन की ऊपरी सीमा (जैसे, pass@K) काफी कम हो जाती है।
लागत अक्षमता (Cost Inefficiency): मौजूदा विधियाँ अक्सर सभी इवोल्यूशनरी चरणों (इनिशियलाइजेशन, जनरेशन, रीकॉम्बिनेशन) के लिए एक ही उच्च-लागत वाले मॉडल पर निर्भर करती हैं। यह कंप्यूट का अपव्यय है, क्योंकि "आसान" एग्रीगेशन कार्यों के लिए सस्ते मॉडल पर्याप्त होते हैं, जबकि महंगे मॉडलों का अत्यधिक उपयोग किया जाता है।

मुख्य चुनौती यह है: कठोर बजट सीमाओं के तहत, हम उच्च-प्रदर्शन वाले वेरिफायर-फ्री इवोल्यूशन को कैसे प्राप्त कर सकते हैं और विविधता के पतन को कैसे रोक सकते हैं?

2. कार्यप्रणाली: SQUEEZE EVOLVE (Methodology)

लेखक SQUEEZE EVOLVE का प्रस्ताव करते हैं, जो एक यूनिफाइड मल्टी-मॉडल ऑर्केस्ट्रेशन फ्रेमवर्क है जो कॉन्फिडेंस-आधारित फिटनेस सिग्नल के आधार पर इवोल्यूशनरी ऑपरेशन्स को सबसे लागत-प्रभावी मॉडल तक गतिशील रूप से रूट करता है।

A. यूनिफाइड इवोल्यूशनरी फ्रेमवर्क (Unified Evolutionary Framework)

लेखक मौजूदा टेस्ट-टाइम स्केलिंग विधियों (जैसे, मेजॉरिटी वोटिंग, सेल्फ-रिफाइनमेंट, RSA, AlphaEvolve) को एक एकल इटरेटिव ऑपरेटर $\Phi_f = \text{recomb}_f \circ \text{select}_f$ में औपचारिक रूप देते हैं।

इनिशियलाइजेशन (Initialization): एक मजबूत (महंगा) मॉडल प्रारंभिक जनसंख्या $P^{(0)}$ उत्पन्न करता है।
इवोल्यूशनरी लूप (Evolutionary Loop):
1. सिलेक्शन (Selection): उम्मीदवारों को एक फिटनेस सिग्नल $f$ के आधार पर समूहों में विभाजित किया जाता है।
2. रूटिंग (Routing): प्रत्येक समूह को उसकी कठिनाई के आधार पर एक विशिष्ट रीकॉम्बिनेशन टियर असाइन किया जाता है।
3. रीकॉम्बिनेशन (Recombination): असाइन किया गया मॉडल समूह को एक परिष्कृत उम्मीदवार में एकत्रित करता है।
4. अपडेट (Update): जनसंख्या को अपडेट किया जाता है (या तो प्रतिस्थापन या संचय द्वारा)।

B. मुख्य तंत्र (Key Mechanisms)

कॉन्फिडेंस-आधारित रूटिंग (The "Squeeze"):
- सिस्टम ग्रुप कॉन्फिडेंस (GC) या ग्रुप डाइवर्सिटी (D) को फिटनेस प्रॉक्सी के रूप में उपयोग करता है।
- GC: टोकन लॉग-प्रोबेबिलिटीज़ (सेल्फ-कॉन्फिडेंस) या क्रॉस-मॉडल फॉरवर्ड पास (क्रॉस-कॉन्फिडेंस) से गणना की जाती है। उच्च कॉन्फिडेंस इंगित करता है कि समूह ने सर्वसम्मति प्राप्त कर ली है (आसान), जबकि निम्न कॉन्फिडेंस संघर्ष/अनिश्चितता (कठिन) को दर्शाता है।
- रूटिंग लॉजिक:
  - उच्च कॉन्फिडेंस / निम्न डाइवर्सिटी: इसे एक लाइटवेट नॉन-LLM टियर (जैसे, मेजॉरिटी वोट) या एक सस्ते मॉडल ( $M_1$ ) पर रूट किया जाता है।
  - निम्न कॉन्फिडेंस / उच्च डाइवर्सिटी: अनिश्चितता को हल करने और विविधता बनाए रखने के लिए इसे एक महंगे, उच्च-क्षमता वाले मॉडल ( $M_2$ ) पर रूट किया जाता है।
- यह सुनिश्चित करता है कि महंगे मॉडल केवल उच्च-मार्जिनल-यूटिलिटी वाले चरणों के लिए आरक्षित हों।
मल्टी-मॉडल ऑर्केस्ट्रेशन रणनीति (Multi-Model Orchestration Strategy):
- इनिशियलाइजेशन: हमेशा सबसे मजबूत मॉडल द्वारा किया जाता है ताकि उच्च-गुणवत्ता वाले बीज (seeds) सुनिश्चित किए जा सकें (प्रायोगिक रूप से यह अंतिम सटीकता पर हावी होता है)।
- एग्रीगेशन: यदि उम्मीदवार सेट पहले से ही मजबूत है (अर्थात, इसमें सही बीज शामिल हैं), तो कमजोर मॉडल प्रभावी रूप से उम्मीदवारों को एकत्रित कर सकते हैं।
- सिस्टम को-डिज़ाइन:
  - लेटेंसी-मैच्ड सर्विंग (Latency-Matched Serving): $M_1$ और $M_2$ के संबंधित वर्कलोड को लगभग समान वॉल-क्लॉक समय में पूरा करने के लिए GPU पूल्स का आकार इस तरह रखा जाता है कि बॉटलनेक न बने।
  - कस्टम कॉन्फिडेंस इंजन: एक विशेष vLLM पाथ सीधे GPU पर कॉन्फिडेंस स्कोर की गणना करता है और केवल एक स्केलर लौटाता है। यह मानक लॉग-प्रोब निष्कर्षण की तुलना में ट्रांसफर लेटेंसी को 4-10 गुना कम कर देता है, जिससे रूटिंग ओवरहेड नगण्य हो जाता है।

3. मुख्य योगदान (Key Contributions)

यूनिफाइड फ्रेमवर्क: विविध टेस्ट-टाइम स्केलिंग विधियों को एक एकल इवोल्यूशनरी फ्रेमवर्क में औपचारिक रूप दिया, और डाइवर्सिटी कोलैप्स को वेरिफायर-फ्री इवोल्यूशन के प्राथमिक विफलता मोड के रूप में पहचाना।
कॉन्फिडेंस-आधारित रूटिंग: कॉन्फिडेंस संकेतों के आधार पर रीकॉम्बिनेशन समूहों को मॉडलों तक रूट करने के लिए एक हल्का तंत्र पेश किया, जिससे बाहरी वेरिफायर या प्रशिक्षित रिवॉर्ड मॉडल की आवश्यकता समाप्त हो गई।
कॉस्ट-कैपेबिलिटी फ्रंटियर: प्रदर्शित किया कि मल्टी-मॉडल ऑर्केस्ट्रेशन लागत-प्रदर्शन फ्रंटियर को बदल देता है, जिससे काफी कम लागत पर अत्याधुनिक (SoTA) परिणाम प्राप्त होते हैं।
सिस्टम इम्प्लीमेंटेशन: कस्टम कॉन्फिडेंस इंजन और लेटेंसी-मैच्ड GPU पूल्स के साथ एक सर्विंग सिस्टम विकसित किया, जो फिक्स्ड बजट के तहत 4x से 10x थ्रूपुट स्पीडअप प्राप्त करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस फ्रेमवर्क का मूल्यांकन 8 बेंचमार्क पर किया गया: मैथ (AIME 2025, HMMT 2025, GPQA-Diamond), कोडिंग (LiveCodeBench V6), विजन (MMMU-Pro, BabyVision), विजुअल रीजनिंग (ARC-AGI-V2), और साइंटिफिक डिस्कवरी (Circle Packing)।

लागत में कमी:
- सिंगल-मॉडल बेसलाइन की तुलना में सटीकता बनाए रखते हुए या उससे अधिक प्रदर्शन करते हुए API लागत को 1.3x से 3.3x तक कम किया।
- ARC-AGI-V2 पर, $7.74/टास्क पर 97.5% सटीकता प्राप्त की (GPT-5.4-Pro के $17.60 के मुकाबले), जो एक नया SoTA कॉस्ट-कैपेबिलिटी फ्रंटियर स्थापित करता है।
- Circle Packing पर, बिना किसी बाहरी कोड निष्पादन या ग्राउंड-ट्रुथ फीडबैक के, वेरिफायर-आधारित विधियों (जैसे AlphaEvolve) के बराबर या उससे बेहतर प्रदर्शन किया।
थ्रूपुट और दक्षता:
- आसान कार्यों को छोटे मॉडलों को सौंपकर फिक्स्ड-बजट सर्विंग थ्रूपुट को 4x से 10x तक बढ़ाया (जैसे, Qwen3-30B/235B पेयर)।
- रूटिंग ओवरहेड न्यूनतम (2.4% – 4.3% एंड-टू-एंड लेटेंसी) रहा।
मल्टीमॉडल अंतर्दृष्टि (Multimodal Insights):
- विजन कार्यों (MMMU-Pro) पर, प्रारंभिक इमेज-ग्राउंडिंग स्टेप के बाद एग्रीगेशन के लिए उपयोग किए गए एक टेक्स्ट-ओनली सस्ते मॉडल (Model 1) ने महंगे विजन-सक्षम मॉडलों के प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन करते हुए 2.7x लागत बचत हासिल की। यह सुझाव देता है कि विजुअल अंडरस्टैंडिंग की आवश्यकता मुख्य रूप से इनिशियलाइजेशन के दौरान होती है।
डाइवर्सिटी संरक्षण:
- सिंगल-मॉडल इवोल्यूशन के विपरीत, जहाँ डाइवर्सिटी कोलैप्स होने पर pass@K गिर जाता था, SQUEEZE EVOLVE ने अलग-अलग प्रायर्स (priors) और रीजनिंग स्टाइल वाले मॉडलों को पेश करके लूप्स के दौरान उच्च विविधता और प्रदर्शन बनाए रखा।

5. महत्व (Significance)

आर्थिक व्यवहार्यता: यह वेरिफायर-फ्री इवोल्यूशनरी सर्च को टोकन लागतों को नाटकीय रूप से कम करके वास्तविक दुनिया के परिनियोजन (deployment) के लिए आर्थिक रूप से व्यावहारिक बनाता है।
लोकतंत्रीकरण: यह ओपन-सोर्स मॉडलों को वह प्रदर्शन प्राप्त करने में सक्षम बनाता है जो पहले महंगे प्रोप्राइटरी मॉडलों के लिए आरक्षित था, विशेष रूप से वैज्ञानिक खोज और रीजनिंग कार्यों में।
पैराडाइम शिफ्ट: यह क्षेत्र को "एक मॉडल के साथ कंप्यूट को स्केल करने" से "विषम (heterogeneous) मॉडलों के बुद्धिमान ऑर्केस्ट्रेशन" की ओर ले जाता है, यह सिद्ध करता है कि एलोकेशन एफिशिएंसी रॉ मॉडल कैपेबिलिटी जितनी ही महत्वपूर्ण है।
वेरिफायर-फ्री ब्रेकथ्रू: यह प्रदर्शित करता है कि वेरिफायर-फ्री विधियां खोज कार्यों (discovery tasks) में वेरिफायर-आधारित दृष्टिकोणों (जैसे AlphaEvolve) के बराबर प्रदर्शन कर सकती हैं, जिससे महंगे या अनुपलब्ध बाहरी रिवॉर्ड सिग्नल्स पर निर्भरता समाप्त हो जाती है।

संक्षेप में, SQUEEZE EVOLVE यह सिद्ध करता है कि कॉन्फिडेंस के आधार पर सस्ते और महंगे मॉडलों के बीच कार्यों को बुद्धिमानी से रूट करके, कोई भी इवोल्यूशनरी इन्फरेंस के डाइवर्सिटी और कॉस्ट बॉटलनैक्स को दूर कर सकता है, जिससे बहुत कम लागत पर बेहतर प्रदर्शन प्राप्त किया जा सकता है।