💬 NLP

The Single-Multi Evolution Loop for Self-Improving Model Collaboration Systems

यह शोध पत्र "सिंगल-मल्टी इवोल्यूशन लूप" का परिचय देता है, जो एक स्व-सुधार ढांचा है जो कई भाषा मॉडलों से सहयोगात्मक पैटर्न को एक एकल कुशल मॉडल में संकुचित (distill) करता है, जो फिर विविध कार्यों में प्रदर्शन को सामूहिक रूप से बढ़ाने के साथ-साथ कम्प्यूटेशनल लागत को कम करने के लिए सहयोग चक्र में पुन: प्रवेश करता है।

मूल लेखक: Shangbin Feng, Kishan Panaganti, Yulia Tsvetkov, Wenhao Yu

प्रकाशित 2026-02-25

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shangbin Feng, Kishan Panaganti, Yulia Tsvetkov, Wenhao Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास तीन विशेषज्ञों की एक टीम है: एक गणित का जादूगर (Math Wizard), एक इतिहास विद्वान (History Scholar), और एक तर्क का जासूस (Logic Detective)। व्यक्तिगत रूप से, वे अपने विशिष्ट कार्यों में अच्छे हैं, लेकिन वे पूर्ण नहीं हैं। हालाँकि, जब आप उन्हें एक कठिन समस्या को हल करने के लिए एक साथ एक कमरे में रखते हैं, तो वे बहस करते हैं, एक-दूसरे के काम की जाँच करते हैं, और एक शानदार समाधान निकालने के लिए अपनी शक्तियों को मिलाते हैं।

समस्या क्या है? तीन विशेषज्ञों को कमरे में रखना महंगा है। हर बार जब आप कोई प्रश्न पूछते हैं, तो उन तीनों को चलाने में बहुत समय, पैसा और कंप्यूटर पावर लगता है।

यह पेपर एक चतुर तकनीक पेश करता है जिसे "सिंगल-मल्टी इवोल्यूशन लूप" (Single-Multi Evolution Loop) कहा जाता है। यह एक जादुई प्रशिक्षण शिविर की तरह है जो उस महंगे तीन विशेषज्ञों के समूह को एक एकल "सुपर-एक्सपर्ट" में बदल देता है जो उतना ही बुद्धिमान है जितना कि वह पूरी टीम, लेकिन उसे चलाने की लागत केवल एक व्यक्ति के बराबर है।

यह प्रक्रिया कैसे काम करती है, इसे सरल चरणों में यहाँ दिया गया है:

1. टीम की बैठक (द "मल्टी-स्टेप")

सबसे पहले, तीनों विशेषज्ञ (मॉडल) मिलकर काम करते हैं। वे तर्क करते हैं, चर्चा करते हैं और अपने उत्तरों को परिष्कृत करते हैं। हो सकता है कि गणित के जादूगर ने इतिहास विद्वान द्वारा की गई गणना की त्रुटि को पकड़ लिया हो, या तर्क के जासूस ने तर्क में कोई कमी ढूंढ ली हो।

परिणाम: वे एक "गोल्ड स्टैंडर्ड" (स्वर्ण मानक) उत्तर तैयार करते हैं जो उनमें से किसी भी एक के अकेले बनाने की तुलना में बेहतर होता है।

2. अध्ययन सत्र (द "सिंगल-स्टेप")

अब, असली जादू शुरू होता है। टीम को हमेशा के लिए साथ रखने के बजाय, हम उस "गोल्ड स्टैंडर्ड" उत्तर को प्रत्येक विशेषज्ञ को व्यक्तिगत रूप से सिखाते हैं।

कल्पना कीजिए कि गणित का जादूगर उस टीम के अंतिम उत्तर के साथ बैठा है और कह रहा है, "आह, मैं देख सकता हूँ कि आपने मेरे गणित को इतिहास विद्वान के तथ्यों के साथ कैसे जोड़ा। मैं इस पैटर्न को सीखने जा रहा हूँ।"
प्रत्येक विशेषज्ञ उस टीम के काम का अध्ययन करता है और इस तरह से अपनी टीम वर्क को दोहराने के लिए अपने स्वयं के मस्तिष्क (अपने आंतरिक कोड) को अपडेट करता है।
परिणाम: अब, आपके पास तीन बेहतर विशेषज्ञ हैं। उन्होंने टीम के ज्ञान को अपने व्यक्तिगत दिमाग में "डिस्टिल" (निचोड़) लिया है।

3. विकास चक्र (द "रिपीट")

यहीं पर यह बहुत दिलचस्प हो जाता है। हम वहीं नहीं रुकते।

हम इन तीन नए, बेहतर विशेषज्ञों को फिर से एक साथ काम करने के लिए कमरे में ले जाते हैं।
क्योंकि वे अब व्यक्तिगत रूप से अधिक बुद्धिमान हैं, उनकी टीम चर्चा पहले से कहीं बेहतर होती है। वे एक और भी बेहतर "गोल्ड स्टैंडर्ड" उत्तर तैयार करते हैं।
हम वह नया उत्तर फिर से उन्हें व्यक्तिगत रूप से सिखाते हैं।
चक्र: टीम के रूप में जुड़ें $\rightarrow$ टीम से सीखें $\rightarrow$ और स्मार्ट बनें $\rightarrow$ फिर से टीम के रूप में जुड़ें।

कुछ बार ऐसा करने के बाद, आपके पास एक ऐसा मॉडल होता है जिसने पूरी टीम की सामूहिक बुद्धिमत्ता को आत्मसात कर लिया है।

यह एक बड़ी बात क्यों है?

लागत बनाम गुणवत्ता: आमतौर पर, "टीम-स्तर" का उत्तर प्राप्त करने के लिए, आपको "टीम-स्तर" की कंप्यूटर लागत चुकानी पड़ती है। यह तरीका आपको एक व्यक्ति की लागत पर टीम की गुणवत्ता प्रदान करता है।
स्व-सुधार: यह एक वीडियो गेम की तरह है जहाँ आपका पात्र अन्य पात्रों से लड़कर लेवल अप करता है, फिर और भी मजबूत पात्रों से लड़ता है, और लगातार मजबूत होता जाता है। मॉडल केवल स्थिर नहीं हैं; वे विकसित हो रहे हैं।
असंभव को हल करना: पेपर ने पाया कि इस लूप ने मॉडलों को उन 66% समस्याओं को हल करने में मदद की जिन्हें वे शुरुआत में हल नहीं कर पा रहे थे। यह एक छात्र को एक ऐसे ट्यूटर देने जैसा है जो वास्तव में प्रोफेसरों की एक पूरी समिति है, और फिर उस छात्र को जीनियस बना देना है।

उपमा: "मास्टर शेफ" किचन

इसे एक रसोई की तरह सोचें:

टीम: आपके पास एक पेस्ट्री शेफ, एक ग्रिल मास्टर और एक सॉस विशेषज्ञ है। वे एक बेहतरीन 5-कोर्स मील बनाने के लिए मिलकर काम करते हैं।
डिस्टिलेशन (निचोड़ना): आप उस बेहतरीन भोजन की रेसिपी लेते हैं और प्रत्येक शेफ को व्यक्तिगत रूप से सिखाते हैं। अब, पेस्ट्री शेफ को सॉस बनाना आता है, और ग्रिल मास्टर को पेस्ट्री बनाना आता है।
लूप: आप उन्हें फिर से मिलकर खाना पकाने के लिए कहते हैं। क्योंकि अब उन सभी को पूरा मेनू पता है, वे एक और भी अधिक उत्तम भोजन बनाते हैं। आप इसे तब तक दोहराते हैं जब तक कि आपके पास एक "सुपर शेफ" न हो जो बिना दूसरे दो शेफों की मदद के अकेले ही पूरा 5-कोर्स मील पूरी तरह से बना सके।

निचोड़ (The Bottom Line)

यह पेपर एक तरीका प्रस्तावित करता है जिससे AI को स्मार्ट और सस्ता बनाया जा सके। AI मॉडल्स को टीम वर्क के माध्यम से एक-दूसरे को "सिखाने" और फिर व्यक्तिगत रूप से उस टीम वर्क को "पढ़ने" के माध्यम से, वे एक सामूहिक सुपर-इंटेलिजेंस में विकसित होते हैं जो एक एकल कंप्यूटर पर चल सकता है। यह एक जीत-जीत की स्थिति है: आपको एक समिति की शक्ति मिलती है, लेकिन उसकी भारी कीमत चुकाए बिना।

यहाँ शोध पत्र "The Single-Multi Evolution Loop for Self-Improving Model Collaboration Systems" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

मॉडल सहयोग (Model Collaboration) में वर्तमान अनुसंधान में कई लार्ज लैंग्वेज मॉडल्स (LLMs) जटिल समस्याओं को हल करने के लिए मिलकर काम करते हैं (जैसे कि डिबेट, रूटिंग, या लॉजिट फ्यूजन के माध्यम से)। जबकि यह दृष्टिकोण विभिन्न मॉडल्स की विविध शक्तियों का लाभ उठाता है, यह महत्वपूर्ण दक्षता और लागत संबंधी समस्याओं से ग्रस्त है:

उच्च अनुमान लागत (High Inference Cost): कई मॉडल्स को एक साथ लोड और चलाना पड़ता है, जिससे सक्रिय पैरामीटर आकार और लेटेंसी (latency) बढ़ जाती है।
स्केलेबिलिटी (Scalability): कई बड़े मॉडल्स को लोड करना अक्सर परिनियोजन (deployment) के लिए अव्यवहारिक होता है।

मूल चुनौती यह है: हम मल्टी-मॉडल सहयोग के प्रदर्शन लाभों को बनाए रखते हुए, अनुमान लागत को एक एकल मॉडल के स्तर तक कैसे कम कर सकते हैं? इसके अलावा, क्या ये मॉडल्स इस प्रक्रिया के माध्यम से स्वयं को पुनरावृत्ति (iteratively) रूप से सुधार सकते हैं?

2. कार्यप्रणाली: सिंगल-मल्टी इवोल्यूशन लूप (Methodology: The Single-Multi Evolution Loop)

लेखक एक नया इटरेटिव फ्रेमवर्क प्रस्तावित करते हैं जिसे सिंगल-मल्टी इवोल्यूशन लूप कहा जाता है, जो "मल्टी-स्टेप" (सहयोग) और "सिंगल-स्टेप" (डिस्टिलेशन) के बीच बारी-बारी से चलता है।

A. मल्टी-स्टेप (सहयोग)

प्रक्रिया: $n$ भाषा मॉडल्स का एक पूल ( $M = \{m_1, ..., m_n\}$ ) एक विशिष्ट सहयोग रणनीति $C$ का उपयोग करके निर्देशों के एक सेट $X$ के लिए प्रतिक्रियाएँ उत्पन्न करने के लिए सहयोग करता है।
रणनीतियाँ ( $C$ ): पेपर सहयोग के चार स्तरों का अन्वेषण करता है:
1. API-स्तर (रूटिंग): एक राउटर एक विशिष्ट क्वेरी के लिए सर्वश्रेष्ठ मॉडल का चयन करता है।
2. टेक्स्ट-स्तर (डिबेट): मॉडल उत्तरों को परिष्कृत करने के लिए मल्टी-एजेंट डिबेट में संलग्न होते हैं।
3. लॉजिट-स्तर (फ्यूजन): डिकोडिंग के लिए मॉडल्स के बीच संभाव्यता वितरण (logits) को एकत्रित करना।
4. वेट-स्तर (मर्जिंग): एक एकल सहयोगी मॉडल बनाने के लिए मॉडल पैरामीटर्स (जैसे, DARE-TIES) को मर्ज करना।
आउटपुट: एक डेटासेट $D^{(t)}$ उत्पन्न होता है जिसमें इनपुट-आउटपुट जोड़े $(x, C(x|M^{(t)}))$ शामिल होते हैं, जहाँ आउटपुट सिस्टम की "सामूहिक बुद्धिमत्ता" (collective intelligence) का प्रतिनिधित्व करता है।

B. सिंगल-स्टेप (डिस्टिलेशन)

प्रक्रिया: पूल में प्रत्येक व्यक्तिगत मॉडल $m_i$ एक छात्र (student) के रूप में कार्य करता है, और सहयोगी सिस्टम $C$ एक शिक्षक (teacher) के रूप में कार्य करता है।
तंत्र: व्यक्तिगत मॉडल्स को मल्टी-स्टेप में उत्पन्न किए गए डेटासेट $D^{(t)}$ पर फाइन-ट्यून (डिस्टिल) किया जाता है।
डिस्टिलेशन रणनीतियाँ:
- सुपरवाइज्ड KD: सहयोगी आउटपुट पर फाइन-ट्यूनिंग।
  െ* मल्टी-स्टूडेंट KD: विशेषज्ञता को बनाए रखने और कौशल अंतराल को कम करने के लिए सहयोगी आउटपुट, सबसे मजबूत छात्र के आउटपुट और छात्र के अपने मूल आउटपुट का मिश्रण।
- ऑन-पॉलिसी KD: सूक्ष्म-स्तरीय शिक्षक संकेतों को कैप्चर करने के लिए लॉजिट-आधारित डिस्टिलेशन (KL डाइवर्जेंस को कम करना) का उपयोग करना।
परिणाम: मॉडल्स का एक नया उन्नत पूल $M^{(t+1)}$ जो सहयोगी पैटर्न को आत्मसात कर चुके हैं।

C. इटरेटिव लूप (The Iterative Loop)

प्रक्रिया दोहराई जाती है: $M^{(t)} \xrightarrow{\text{Collaborate}} \text{System} \xrightarrow{\text{Distill}} M^{(t+1)} \xrightarrow{\text{Collaborate}} \dots$
यह एक सामूहिक विकास पारिस्थितिकी तंत्र (collective evolution ecosystem) बनाता है जहाँ मॉडल्स अन्य मॉडल्स के वातावरण के साथ अंतःक्रिया करके स्वयं को सुधारते हैं, जिससे बेहतर व्यक्तिगत मॉडल और अधिक सहक्रियात्मक (synergistic) सहयोग प्रणाली दोनों प्राप्त होती है।

3. मुख्य योगदान (Key Contributions)

नया फ्रेमवर्क: सिंगल-मल्टी इवोल्यूशन लूप का परिचय, एक ऐसा प्रतिमान (paradigm) जहाँ मॉडल्स सहयोग और डिस्टिलेशन के बीच बारी-बारी से बदलकर विकसित होते हैं।
लागत-दक्षता: यह एक मल्टी-मॉडल सिस्टम की क्षमताओं को एक एकल मॉडल में सफलतापूर्वक डिस्टिल करता है, जिससे एकल LLM की लागत पर सहयोगी लाभ बरकरार रखते हुए अनुमान लागत कम हो जाती है।
स्वयं-सुधार (Self-Improvement): यह प्रदर्शित करता है कि लूप एक सकारात्मक फीडबैक चक्र बनाता है जहाँ सहयोग प्रणाली स्वयं बेहतर होती है क्योंकि यह मजबूत, विकसित मॉडल्स से बनी होती है।
व्यापक अनुकूलता: यह विधि विशिष्ट सहयोग रणनीतियों (रूटिंग, डिबेट, मर्जिंग) और मॉडल प्रकारों (विशेषज्ञ बनाम सामान्य-उद्देश्य) के प्रति तटस्थ (agnostic) है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 7 सहयोग रणनीतियों और 3 डिस्टिलेशन विधियों का उपयोग करके 15 डेटासेट्स (QA, रीजनिंग, फैक्टुअलिटी, सेफ्टी, आदि) पर इस फ्रेमवर्क का मूल्यांकन किया।

व्यक्तिगत मॉडल सुधार: सहयोग से डिस्टिल करने से व्यक्तिगत मॉडल्स में औसतन 8.0% का सुधार हुआ।
सिस्टम सुधार: इन विकसित मॉडल्स से बने सहयोग सिस्टम में अन-इवॉल्व्ड (unevolved) सिस्टम की तुलना में औसतन 14.9% का सुधार हुआ।
मौजूदा विधियों के साथ तुलना: लूप ने मौजूदा विकासवादी रणनीतियों (जैसे मानक मल्टी-एजेंट डिबेट, मल्टी-एजेंट फाइन-ट्यूनिंग, स्पार्टा अलाइनमेंट) को औसतन 7.7% से पछाड़ दिया।
समस्या समाधान: सिस्टम ने QA और रीजनिंग कार्यों में उन समस्याओं का औसतन 66.5% समाधान किया जिन्हें प्रारंभिक मॉडल्स/सिस्टम हल नहीं कर सके थे।
डिस्टिलेशन प्रभावकारिता: मल्टी-स्टूडेंट KD और ऑन-पॉलिसी KD ने सरल सुपरवाइज्ड डिस्टिलेशन की तुलना में बेहतर परिणाम दिए, जिसमें ऑन-पॉलिसी KD ने 5.2% तक अतिरिक्त लाभ दिखाया।
मजबूती (Robustness): यह दृष्टिकोण विभिन्न मॉडल पूल्स (विशेषज्ञ बनाम सामान्य-उद्देश्य) और मॉडल आकारों (1.5B से 7B) में प्रभावी ढंग से काम करता है।

5. महत्व और प्रभाव (Significance and Impact)

विकासवादी AI के लिए नया प्रतिमान: यह स्थिर मॉडल प्रशिक्षण से आगे बढ़कर गतिशील, पारिस्थितिकी-आधारित विकास की ओर बढ़ता है जहाँ मॉडल्स केवल स्थिर डेटासेट के बजाय "सामूहिक" से सीखते हैं।
परिनियोजन व्यवहार्यता (Deployment Viability): यह मल्टी-एजेंट सिस्टम की महत्वपूर्ण बाधा को हल करता है, जिससे "समूह के सर्वश्रेष्ठ" को एक एकल, परिनियोजन योग्य मॉडल में डिस्टिल करना संभव हो जाता है, जिससे उन्नत सहयोगात्मक तर्क कम लागत पर सुलभ हो जाता है।
सहक्रियात्मक विकास (Synergistic Growth): यह सिद्ध करता है कि 'पूर्ण' अपने हिस्सों के योग से बड़ा है, न केवल अनुमान (inference) के दौरान, बल्कि यह भी कि सहयोग की प्रक्रिया व्यक्तिगत घटकों को स्थायी रूप से अपग्रेड करती है।
सुरक्षा विचार: लेखक पूल में दुर्भावनापूर्ण मॉडल्स को शामिल करने के जोखिमों को नोट करते हैं, जो समझौता किए गए इनपुट के विरुद्ध सहयोगात्मक विकास को सुरक्षित करने के लिए भविष्य के कार्य का सुझाव देते हैं।

निष्कर्षतः, यह शोध पत्र स्व-सुधारने वाले AI सिस्टम बनाने के लिए एक स्केलेबल, कुशल और अत्यधिक प्रभावी पद्धति प्रस्तुत करता है जो कई मॉडल्स चलाने के स्थायी ओवरहेड के बिना सहयोग की शक्ति का लाभ उठाता है।