🤖 AI

Ensembling Language Models with Sequential Monte Carlo

यह शोध पत्र $f$ -एन्सेम्बल वितरणों के माध्यम से विविध भाषा मॉडलों को संयोजित करने के लिए एक एकीकृत ढांचे का परिचय देता है और इन वितरणों से नमूने लेने के लिए एक बाइट-स्तरीय अनुक्रमिक मोंटे कार्लो एल्गोरिदम प्रस्तावित करता है, जो संरचित पाठ निर्माण कार्यों पर प्रदर्शन में सुधार करने के लिए बेमेल शब्दावली और पक्षपाती अनुमानों जैसी चुनौतियों को प्रभावी ढंग से दूर करता है।

मूल लेखक: Robin Shing Moon Chan, Tianyu Liu, Samuel Kiegeland, Clemente Pasti, Jacob Hoover Vigly, Timothy J. O'Donnell, Ryan Cotterell, Tim Vieira

प्रकाशित 2026-03-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Robin Shing Moon Chan, Tianyu Liu, Samuel Kiegeland, Clemente Pasti, Jacob Hoover Vigly, Timothy J. O'Donnell, Ryan Cotterell, Tim Vieira

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "सुपर-पैनल" बनाम "औसत राय"

कल्पना कीजिए कि आप एक बहुत कठिन पहेली को सुलझाने की कोशिश कर रहे हैं। आप या तो एक बुद्धिमान मित्र से उत्तर पूछ सकते हैं, या आप विशेषज्ञों के एक पूरे पैनल से पूछ सकते हैं।

पुराना तरीका (लोकल एवरेजिंग): AI मॉडलों को संयोजित करने के वर्तमान तरीके एक वोट देने की तरह हैं। यदि विशेषज्ञ A कहता है "उत्तर 70% संभावना है कि 'Apple' है" और विशेषज्ञ B कहता है "यह 30% संभावना है कि 'Apple' है," तो सिस्टम बस उन्हें 50% प्राप्त करने के लिए औसत निकाल देता है। यह ऐसा करता है शब्द-दर-शब्द जैसे-जैसे वाक्य बनाया जा रहा होता है।
- दोष: यह एक समिति से कहानी के पहले शब्द पर वोट देने के लिए पूछने जैसा है, फिर दूसरे शब्द पर, फिर तीसरे शब्द पर। वे पहले शब्द ("एक बार") पर सहमत हो सकते हैं, लेकिन जब तक वे अंत तक पहुँचते हैं, कहानी का कोई अर्थ नहीं रह जाता क्योंकि उन्होंने कभी पूरे चित्र को नहीं देखा। वे "स्थानीय रूपally" सहमत हैं लेकिन "वैश्विक रूपally" भ्रमित हैं।
नया तरीका (यह शोध पत्र): लेखक इन विशेषज्ञों को संयोजित करने का एक स्मार्ट तरीका प्रस्तावित करते हैं। केवल शब्द-दर-शब्द वोटों का औसत निकालने के बजाय, वे एक सुपर-पैनल बनाना चाहते हैं जो एक ही बार में पूरी कहानी पर सहमत हो। वे इसे "f-ensemble" कहते हैं।

समस्या: "शब्दावली का बेमेल होना" (Vocabulary Mismatch)

कल्पना कीजिए कि आपके विशेषज्ञों का पैनल अलग-अलग भाषाएं बोलता है।

विशेषज्ञ A "Token-ese" बोलता है (शब्दों को जैसे "un-happy" को एक इकाई के रूप में समूह बनाना)।
विशेषज्ञ B "Byte-ese" बोलता है (सब कुछ व्यक्तिगत अक्षरों जैसे "u", "n", "h", "a" में तोड़ना)।

यदि आप उन्हें मिलकर वोट देने के लिए कहते हैं, तो वे विकल्पों पर भी सहमत नहीं हो पाते। पिछले शोध ने उनकी शब्दावलियों को अनुवादित करने में वर्षों बिता दिए ताकि वे वोट दे सकें।

शोध पत्र का समाधान: अनुवाद करने के बजाय, उन्होंने निर्णय लिया कि सभी को सबसे बुनियादी भाषा बोलनी चाहिए: वर्णमाला (बाइट्स/अक्षर)। वे सभी मॉडलों को व्यक्तिगत अक्षरों के रूप में सोचने के लिए मजबूर करते हैं। यह शब्दावली की समस्या को तुरंत हल कर देता है, जिससे कोई भी मॉडल किसी भी अन्य मॉडल के साथ काम कर सकता है, चाहे उन्हें कैसे भी प्रशिक्षित किया गया हो।

इंजन: "सीक्वेंशियल मोंटे कार्लो" (हाइकर/पर्वतारोही का रूपक)

आप विशेषज्ञों के समूह को एक पूरी कहानी पर सहमत होने के लिए कैसे प्राप्त करेंगे बिना हर एक संभावित कहानी की जांच किए (जिसमें अनंत समय लगेगा)?

लेखक सीक्वेंशियल मोंटे कार्लो (SMC) नामक एल्गोरिदम का उपयोग करते हैं। यह कैसे काम करता है, इसका रूपक यहाँ दिया गया है:

कल्पना कीजिए कि आप सबसे अच्छे दृश्य (परफेक्ट उत्तर) को खोजने के लिए एक पहाड़ पर 10 हाइकरों (पार्टिकल्स) के एक समूह का नेतृत्व कर रहे हैं।

शुरुआत: आप सभी 10 हाइकरों को रास्ते पर भेजते हैं।
चेकपॉइंट: हर कुछ कदमों के बाद, हाइकर मानचित्र (AI मॉडल) देखते हैं।
- यदि कोई हाइकर खाई की ओर बढ़ रहा है (एक बुरा रास्ता), तो उसे कम स्कोर मिलता है।
- यदि कोई हाइकर एक सुंदर दृश्य की ओर बढ़ रहा है (एक अच्छा रास्ता), तो उसे उच्च स्कोर मिलता है।
रीसैंपलिंग (जादुई कदम): यह मुख्य है। यदि एक हाइकर बहुत अच्छा कर रहा है, तो समूह केवल चलते रहना नहीं है; वे उस सफल हाइकर को क्लोन (Cloning) करते हैं। यदि कोई हाइकर खो गया है, तो उसे घर भेज दिया जाता है।
- परिणाम: समूह स्वाभाविक रूप से अपना ध्यान उन रास्तों पर केंद्रित करता है जो सबसे अधिक आशाजनक दिखते हैं, बजाय इसके कि वे मृत अंत (dead ends) पर समय बर्बाद करें।
लक्ष्य: जब तक वे शिखर पर पहुँचते हैं, समूह ने प्रभावी रूप से सभी विशेषज्ञों के संयुक्त ज्ञान के आधार पर सबसे अच्छे दृश्यों का "नमूना" (Sample) ले लिया होता है।

यह क्यों मायने रखता है? ("सहमति" का प्रभाव)

शोधकर्ताओं ने विशेषज्ञों की राय को संयोजित करने के विभिन्न तरीकों का परीक्षण किया। उन्हें कुछ आश्चर्यजनक मिला:

"औसत" (योग/Sum): यदि आप विशेषज्ञों का औसत निकालते हैं, तो परिणाम अक्सर औसत दर्जे का होता है। यह एक ऐसी समिति की तरह है जो सभी को खुश करने की कोशिश करती है लेकिन अंत में एक उबाऊ, सुरक्षित उत्तर देती है।
"सहमति" (गुणफल/Product): यदि आप विशेषज्ञों को सहमत होने के लिए कहते हैं (उनकी संभावनाओं को गुणा करना), तो परिणाम बहुत सटीक होता है।
- रूपक: कल्पना कीजिए कि एक सुरक्षा प्रणाली है। यदि एक गार्ड कहता है "यह सुरक्षित लग रहा है" और दूसरा कहता है "यह संदिग्ध लग रहा है," तो एक औसत प्रणाली दोनों को अंदर जाने दे सकती है। एक सहमति (Consensus) प्रणाली कहती है, "यदि कोई भी संदिग्ध है, तो हम रुक जाते हैं।" यह "भ्रम" (Hallucinations/गलत तथ्य) और विषाक्त आउटपुट को फ़िल्टर करता है, जिससे केवल वही उत्तर बचते हैं जिन पर विशेषज्ञ वास्तव में सहमत होते हैं।

परिणाम: बेहतर उत्तर, लेकिन धीमा

शोधकर्ताओं ने विशिष्ट प्रारूप (JSON) में कोड लिखने, शब्दों को वर्णानुक्रम में व्यवस्थित करने, और प्रश्नों को डेटाबेस क्वेरी (SQL) में अनुवादित करने जैसे कार्यों पर इसका परीक्षण किया।

निष्कर्ष:

सिनर्जी (Synergy): दो औसत मॉडल सही ढंग से संयोजित होने पर, एक अकेले महान मॉडल को भी मात दे सकते हैं।
बेहतर सन्निकटन = बेहतर परिणाम: आप SMC एल्गोरिदम में जितने अधिक "हाइकर्स" (पार्टिकल्स) का उपयोग करते हैं, आप सटीक उत्तर के उतने ही करीब पहुँचते हैं। शोध पत्र दिखाता है कि यदि आप अपने सैंपलिंग की गुणवत्ता में सुधार करते हैं (वास्तविक उत्तर का बेहतर अनुमान लगाते हैं), तो आपका वास्तविक कार्य प्रदर्शन बढ़ जाता है।
समझौता (Trade-off): यह विधि केवल एक मॉडल को पूछने की तुलना में धीमी है। इसमें अधिक कंप्यूटर पावर लगती है क्योंकि यह एक साथ कई सिमुलेशन चला रही है। हालांकि, उच्च-जोखिम वाले कार्यों (जैसे चिकित्सा सलाह या कानूनी कोडिंग) के लिए, अतिरिक्त सटीकता प्रतीक्षा करने के लायक है।

एक वाक्य में सारांश

यह शोध पत्र हमें सिखाता है कि कैसे कई AI मॉडलों को एक एकल, सुपर-स्मार्ट "सुपर-पैनल" में संयोजित किया जाए, जिसमें उन्हें एक ही बुनियादी भाषा (अक्षर) बोलने के लिए मजबूर किया जाता है और एक स्मार्ट "हाइकर" एल्गोरिदम का उपयोग करके उन सर्वोत्तम उत्तरों को खोजा जाता है जिन पर सभी विशेषज्ञ सहमत होते हैं, न कि केवल उनके अनुमानों का औसत निकाला जाता है।

यहाँ शोध पत्र "Ensembling Language Models with Sequential Monte Carlo" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि अभ्यासकर्ताओं के पास अनेक भाषा मॉडल (LMs) और प्रॉम्प्टिंग रणनीतियाँ उपलब्ध हैं, फिर भी प्रदर्शन इन विकल्पों के प्रति अत्यधिक संवेदनशील होता है। शास्त्रीय मशीन लर्निंग यह सुझाव देती है कि एन्सेम्बलिंग (एकाधिक स्रोतों से भविष्यवाणियों को एकत्रित करना) किसी भी एकल मॉडल की तुलना में बेहतर प्रदर्शन दे सकती है। हालाँकि, डिकोडिंग के दौरान LMs पर एन्सेम्बलिंग लागू करने में दो महत्वपूर्ण चुनौतियाँ हैं:

शब्दावली विसंगति (Vocabulary Misalignment): विभिन्न मॉडल अक्सर अलग-अलग टोकनाइज़र और शब्दावलियों का उपयोग करते हैं, जिससे प्रत्यक्ष संभाव्यता एकत्रीकरण (probability aggregation) कठिन हो जाता है।
स्थानीय बनाम वैश्विक पूर्वाग्रह (Local vs. Global Bias): मौजूदा विधियाँ आमतौर पर प्रत्येक चरण पर अगले-टोकन की संभावनाओं (next-token probabilities) को एकत्रित करती हैं (स्थानीय एन्सेम्बलिंग)। इसके परिणामस्वरूप स्ट्रिंग्स के वास्तविक वैश्विक एन्सेबल वितरण के बजाय एक स्थानीय रूप से सामान्यीकृत, पक्षपाती सन्निकटन (locally normalized, biased approximation) से नमूना लिया जाता है।
- मुख्य अंतर्दृष्टि: टोकन संभावनाओं का स्थानीय रूप से सामान्यीकृत गुणन (product) उन सामान्य निरंतरताओं (generic continuations) का पक्ष लेता है जो प्रत्येक एकल चरण पर संभाव्य हैं, न कि उन पूर्ण स्ट्रिंग्स का जो वैश्विक रूप से बाधाओं के प्रतिच्छेदन (intersection of constraints) के तहत संभाव्य हैं। यह इच्छित एन्सेबल व्यवहार (जैसे, दो प्रॉम्प्ट के प्रतिच्छेदन को खोजना) और वास्तविक उत्पन्न आउटपुट के बीच एक विसंगति पैदा करता है।

2. कार्यप्रणाली (Methodology)

लेखक इन समस्याओं को हल करने के लिए एक एकीकृत ढांचा प्रस्तावित करते हैं जिसे $f$ -ensembles कहा जाता है, जिसे बाइट-लेवल सीक्वेंशियल मोंटे कार्लो (SMC) एल्गोरिदम के साथ जोड़ा गया है।

A. $f$ -Ensemble ढांचा

सरल औसत के बजाय, यह शोध पत्र एक फलन $f: \mathbb{R}_{\ge 0}^K \to \mathbb{R}_{\ge 0}$ का उपयोग करके एक सामान्य वर्ग के एन्सेबल वितरण को परिभाषित करता है।

परिभाषा: $K$ भाषा मॉडलों (potentials) $p_1, \dots, p_K$ को देखते हुए, $f$ -एन्सेबल वितरण $\Phi$ को इस प्रकार परिभाषित किया गया है:
$\Phi(x) = \frac{1}{Z} f(p_1(x), \dots, p_K(x))$
जहाँ $Z$ सामान्यीकरण स्थिरांक (normalization constant) है।
सामान्यीकृत माध्य (Generalized Means): लेखक सामान्यीकृत माध्य के परिवार पर ध्यान केंद्रित करते हैं जो $\tau$ $τ$ द्वारा पैरामीटराइज्ड है, जो विभिन्न एकत्रीकरण रणनीतियों को एकीकृत करता है:
- $\tau \to -\infty$ : न्यूनतम (Minimum) (सहमति-खोजने वाला, समर्थन के प्रतिच्छेदन पर संभाव्यता को मजबूर करता है)।
- $\tau = 0$ : गुणन (Product) (विशेषज्ञों का गुणन - Product of Experts, सहमति पर द्रव्यमान केंद्रित करता है)।
- $\tau = 1$ : योग (Sum) (विशेषज्ञों का मिश्रण - Mixture of Experts, मानक संभाव्यता औसत)।
- $\tau \to +\infty$ : अधिकतम (Maximum) (कवरेज-खोजने वाला, समर्थन के संघ पर द्रव्यमान केंद्रित करता है)।
सैद्धांतिक आधार: ये फलन एन्सेबल और मूल विशेषज्ञों के बीच $\alpha$ -डाइवर्जेंस के भारित योगों के अद्वितीय मिनिमाइज़र के रूप में प्राप्त किए गए हैं।

B. बाइट-लेवल सीक्वेंशियल मोंटे कार्लो (SMC)

इंट्रैक्टेबल (intractable) वैश्विक वितरण $\Phi(x)$ से नमूना लेने के लिए, लेखक एक सीक्वेंशियल मोंटे कार्लो (SMC) एल्गोरिदम पेश करते हैं जो कैरेक्टर/बाइट स्तर पर कार्य करता है।

कैरेक्टर-लेवल मैपिंग: शब्दावली विसंगति की समस्या को हल करने के लिए, सभी मॉडलों को एक साझा कैरेक्टर स्पेस में मैप किया जाता है। यह किसी भी स्ट्रिंग के लिए संभाव्यता के एकत्रीकरण की अनुमति देता है, चाहे व्यक्तिगत मॉडलों का अंतर्निहित टोकनाइजेशन कुछ भी हो।
सीक्वेंशियल इम्पोर्टेंस सैंपलिंग (SIS): एल्गोरिदम स्ट्रिंग्स को क्रमिक रूप से बनाता है। प्रत्येक चरण में, यह संबद्ध महत्व भार (importance weights) के साथ "पार्टिकल्स" (आंशिक स्ट्रिंग्स) का एक सेट बनाए रखता है।
शेपिंग फंक्शन (Shaping Function): चूंकि लक्षित प्रीफिक्स संभाव्यता $\vec{\phi}$ इंट्रैक्टेबल है, इसलिए एल्गोरिदम प्रस्ताव वितरण (proposal distribution) को निर्देशित करने के लिए एक सुलभ शेपिंग फंक्शन $\vec{\psi}$ (जैसे, प्रीफिक्स संभाव्यता का गुणन) का उपयोग करता है।
रीसैंपलिंग (Resampling): पार्टिकल डिजनरेसी (जहाँ अधिकांश भार कुछ ही पार्टिकल्स पर केंद्रित हो जाता है) को रोकने के लिए, एल्गोरिदम प्रभावी नमूना आकार (effective sample size) के आधार पर एक रीसैंपलिंग चरण का उपयोग करता है, जो आशाजनक आंशिक अनुक्रमों को संसाधन पुनर्वितरित करता है।
वैश्विक निरंतरता (Global Consistency): टोकन-स्तरीय औसत के विपरीत, SMC स्ट्रिंग्स के ऊपर वैश्विक वितरण से नमूना लेता है, यह सुनिश्चित करता है कि अंतिम आउटपुट वास्तविक एन्सेबल वितरण को दर्शाता है, न कि केवल एक स्थानीय रूप से पक्षपाती सन्निकटन को।

3. मुख्य योगदान (Key Contributions)

एकीकृत $f$ -Ensemble ढांचा: मॉडल एकत्रीकरण का एक सैद्धांतिक सामान्यीकरण जो सरल संभाव्यता औसत से आगे बढ़कर सहमति-खोजने (product/min) और कवरेज-खोजने (sum/max) वाली रणनीतियों को शामिल करता है।
बाइट-लेवल SMC एल्गोरिदम: एक नवीन अनुमान एल्गोरिदम जो साझा कैरेक्टर स्पेस में कार्य करके विसंगत शब्दावलियों वाले मॉडलों के बीच सुसंगत रूप से वैश्विक एन्सेबल वितरण से नमूना लेने में सक्षम बनाता है।
ग्लोबल बनाम लोकल का अनुभवजन्य सत्यापन: यह प्रदर्शन का प्रदर्शन कि स्थानीय टोकन-स्तरीय एकत्रीकरण वैश्विक बाधाओं (जैसे, प्रॉम्प्ट प्रतिच्छेदन) को पकड़ने में विफल रहता है, जबकि वैश्विक SMC सैंपलिंग इच्छित वितरण का सफलतापूर्वक सन्निकटन करती है।
सहक्रियात्मक प्रभाव (Synergistic Effects): साक्ष्य कि एन्सेबलिंग एकल सर्वश्रेष्ठ मॉडल से बेहतर प्रदर्शन में सुधार कर सकती है, विशेष रूप से सहमति-खोजने वाली रणनीतियों ( $\tau \le 0$ ) का उपयोग करने पर।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन संरचित टेक्स्ट जनरेशन कार्यों पर अपने तरीके का मूल्यांकन किया: JSON स्कीमा अनुपालन (JSON Schema Conformance), वर्ड सॉर्टिंग (Word Sorting - Big-Bench Hard), और टेक्स्ट-टू-SQL (Text-to-SQL - SPIDER)। उन्होंने तीन परिवारों के मॉडलों का उपयोग किया: Llama 3.1, Qwen 2.5, और Phi-4।

RQ1: सिनर्जी (Synergy): एन्सेबल तब प्रदर्शन में सुधार करते हैं जब आधार मॉडल/प्रॉम्प्ट्स में पूरक ताकत (एक ही उदाहरणों पर मध्यम प्रदर्शन) होती है। क्रॉस-मॉडल एन्सेबल्स (विभिन्न आर्किटेक्चर को संयोजित करना) ने एकल-मॉडल बेसलाइनों की तुलना में महत्वपूर्ण लाभ दिखाया।
RQ2: एकत्रीकरण रणनीति (Aggregation Strategy):
- सहमति-खोजने वाली रणनीतियाँ (Product, Min) पारंपरिक संभाव्यता औसत (Sum/Mixture) की तुलना में लगातार बेहतर रहीं।
- संभाव्यता औसत सैद्धांतिक रूप से आधार मॉडलों की सटीकता के अंकगणितीय माध्य (arithmetic mean) द्वारा सीमित है। इसके विपरीत, सहमति-खोजने वाली रणनीतियाँ सही आउटपुट के प्रतिच्छेदन पर संभाव्यता द्रव्यमान केंद्रित करके सर्वश्रेष्ठ व्यक्तिगत मॉडल की तुलना में प्रदर्शन को बढ़ा सकती हैं।
RQ3: सन्निकटन की गुणवत्ता (Approximation Quality):
- सहमति-खोजने वाले एन्सेबल्स के लिए पोस्टीरियर सन्निकटन की गुणवत्ता (अनुमानित लॉग मार्जिनल लाइकलीहुड द्वारा मापी गई) और कार्य प्रदर्शन के बीच एक मजबूत सकारात्मक सहसंबंध है।
- बेहतर सन्निकटन (SMC में अधिक पार्टिकल्स के माध्यम से प्राप्त) Product और Min एन्सेबल्स के लिए मापने योग्य उच्च सटीकता की ओर ले जाते हैं।
- इसके विपरीत, कवरेज-खोजने वाली रणनीतियों (Sum, Max) ने कमजोर या नकारात्मक सहसंबंध दिखाया, क्योंकि उनका प्रदर्शन स्वाभाविक रूप से आधार मॉडलों के औसत द्वारा सीमित होता है।

5. महत्व और प्रभाव (Significance and Impact)

टोकन औसत से परे: यह शोध पत्र मानक टोकन-स्तरीय संभाव्यता औसत की चुनौती देता है, यह दिखाते हुए कि यह एक पक्षपाती सन्निकटन है जो वैश्विक बाधाओं को पकड़ने में विफल रहता है।
विषमता को संभालना (Handling Heterogeneity): बाइट/कैरेक्टर स्तर पर कार्य करके, यह विधि टोकन संरेखण (token alignment) की कठिन समस्या को दरकिनार करती है, जिससे यह किसी भी संयोजन के LMs के लिए लागू होने योग्य बन जाती है, चाहे उनका टोकनाइज़र कुछ भी हो।
नियंत्रित जनरेशन (Controlled Generation): यह ढांचा जनरेशन को "स्टीयर" (steer) करने का एक सिद्धांतपूर्ण तरीका प्रदान करता है। उदाहरण के लिए, एक 'प्रोडक्ट एन्सेबल' का उपयोग करने से बाधाओं का सख्त प्रतिच्छेदन (जैसे, "भौतिक विज्ञानी" AND "लेखक") प्राप्त होता है, जो नियंत्रित जनरेशन कार्यों के लिए महत्वपूर्ण है।
ट्रेड-ऑफ (Trade-off): यह विधि अनुमान के समय कम्प्यूटेशनल ओवरहेड (कई पार्टिकल्स और रीसैंपलिंग बनाए रखने के कारण) लाती है, लेकिन लेखक तर्क देते हैं कि यह उन उच्च-जोखिम वाले कार्यों के लिए उचित है जहाँ आउटपुट की गुणवत्ता और बाधा संतुष्टि सर्वोपरि है।

संक्षेप में, यह कार्य स्थापित करता है कि सीक्वेंशियल मोंटे कार्लो के माध्यम से नमूना लिए गए वैश्विक एन्सेबल वितरण, स्थानीय टोकन-स्तरीय एकत्रीकरण के लिए एक बेहतर विकल्प प्रदान करते हैं, जिससे अधिक मजबूत, सहक्रियात्मक और बाधा-अनुपालक टेक्स्ट जनरेशन संभव होता है।