तकनीकी सारांश: मार्जिनल शार्पनिंग के माध्यम से सेल्फ-कंसिस्टेंसी (Self-Consistency via Marginal Sharpening)

समस्या विवरण (Problem Statement)

आधुनिक भाषा मॉडल (language models) जटिल कार्यों को हल करने के लिए अंतिम उत्तर देने से पहले मध्यवर्ती तर्क पथों (reasoning traces) (जैसे कि व्युत्पत्ति, कोड स्केच, प्रमाण रूपरेखा) को उत्पन्न करने की बढ़ती प्रवृत्ति रखते हैं। हालांकि चेन-ऑफ-थॉट (Chain-of-Thought) प्रॉम्पटिंग जैसे मानक अनुमान विधियाँ इस व्यवहार को प्रेरित करती हैं, वे अक्सर एक एकल प्रक्षेपवक्र (trajectory) के नमूने लेने या पोस्ट-हॉक बहुमत मतदान (self-consistency) का उपयोग करने पर निर्भर करती हैं।

लेखक मौजूदा अनुमान-समय (inference-time) शार्पनिंग विधियों, विशेष रूप से पावर सैंपलिंग (power sampling) में एक मौलिक सीमा की पहचान करते हैं। पावर सैंपलिंग पूर्ण जनरेटेड अनुक्रमों (तर्क पथ $z$ और उत्तर $a$ के संयुक्त वितरण) पर वितरण को तीक्ष्ण (sharpen) करती है। शोध पत्र तर्क देता है कि यह तर्क के लिए गलत स्तर का एब्स्ट्रैक्शन है:

1. लेटेंट वेरिएबल एंटैंगलमेंट (Latent Variable Entanglement): एक तर्क पथ एक गुप्त गणना (latent computation) है। कई अलग-अलग तर्क पथ एक ही सही उत्तर की ओर ले जा सकते हैं।
2. प्रतिस्पर्धी बनाम सहायक (Competing vs. Supporting): अनुक्रम-स्तरीय शार्पनिंग एक ही समाधान के वैकल्पिक व्युत्पत्तियों या कार्यान्वयनों को प्रतिस्पर्धी मानती है, जिससे विशिष्ट पूर्ण ट्रांसक्रिप्ट्स पर प्रायिकता केंद्रित हो जाती है, न कि स्वयं उत्तर पर।
3. वोटिंग की भंगुरता (Brittleness of Voting): मानक सेल्फ-कंसिस्टेंसी (बहुमत मतदान) के लिए सटीक स्ट्रिंग मिलान की आवश्यकता होती है। कोड या प्रमाण जैसे संरचित डोमेन में, एक ही अंतर्निहित समाधान कई सतही रूपों (विभिन्न वेरिएबल नाम, नियंत्रण प्रवाह, या लेम्मा क्रम) में प्रकट हो सकता है, जिससे मतदान वैध विविधताओं के बीच समर्थन को खंडित कर देता है।

मुख्य समस्या यह है कि कैसे पूर्ण ट्रैजेक्टरी खोजने की लागत से बचे बिना या सटीक स्ट्रिंग समझौते की आवश्यकता के बिना, सही उत्तर की प्रायिकता को बढ़ाने के लिए कई तर्क पथों का लाभ उठाया जाए।

कार्यप्रणाली: मार्जिनल शार्पनिंग (Methodology: Marginal $\text{Sharpening}$)

लेखक मार्जिनल शार्पनिंग प्रस्तावित करते हैं, जो एक अनुमान-समय उद्देश्य (inference-time objective) है जो लक्ष्य को संयुक्त वितरण $\pi(z, a | x)$ से बदलकर शार्पन्ड उत्तर मार्जिनल $p_{\alpha}^{marg}(a | x)$ पर केंद्रित करता है।

सैद्धांतिक ढांचा (Theoretical Framework)

1. विघटन (Decomposition): मॉडल पूर्णता $y$ को एक तर्क पथ $z$ और एक अंतिम उत्तर खंड $a$ में विभाजित करती है। मॉडल एक प्राकृतिक उत्तर मार्जिनल $m(a | x) = \sum_z \pi(z, a | x)$ प्रेरित करता है।
2. लक्ष्य वितरण (Target Distribution): संयुक्त वितरण को शार्प करने के बजाय, विधि उत्तर मार्जिनल पर एक पावर वितरण को परिभाषित करती है:
   $$p_{\alpha}^{marg}(a | x) = \frac{m(a | x)^\alpha}{\sum_{a'} m(a' | x)^\alpha}$$
   जहाँ $\alpha > 1$ शार्पनिंग की शक्ति है। जैसे-जैसे $\alpha \to \infty$, यह अधिकतम मार्जिनल सपोर्ट वाले उत्तर की ओर अभिसरित होता है (आदर्श सेल्फ-कंसिस्टेंसी लक्ष्य)।
3. इंटीजर-पावर रिप्रेजेंटेशन (Integer-Power Representation): पूर्णांक शार्पनिंग शक्ति $K$ के लिए, लेखक $K$ स्वतंत्र तर्क पथों का उपयोग करके एक सटीक अपघटन प्राप्त करते हैं। लक्षित वितरण को $K$ स्वतंत्र रूप से नमूना लिए गए पथों $z_{1:K}$ पर एक अपेक्षा (expectation) के रूप में व्यक्त किया जा सकता है:
   $$p_{K}^{marg}(a | x) \propto \mathbb{E}_{z_{1:K}} \left[ \prod_{i=1}^K \pi(a | x, z_i) \right]$$
   यह सूत्रीकरण सेल्फ-कंसिस्टेंसी को उत्तर-स्तर के लक्षित वितरण से नमूना लेने से जोड़ता है।

एल्गोरिदम: पैरेलल ऑटोरेग्रेसिव डिकोडिंग (Algorithm: Parallel Autoregressive Decoding)

व्युत्पन्न वितरण से सीधे नमूना लेना कठिन है क्योंकि इसके लिए सभी संभावित भविष्य के निरंतरता (continuation) के ऊपर योग करने की आवश्यकता होती है ("कंटिन्यूएशन नॉर्मलाइज़र")। लेखक इस लक्ष्य का अनुमान लगाने के लिए एक हल्का पैरेलल ऑटोरेग्रेसिव डिकोडिंग एल्गोरिदम (एल्गोरिदम 1) प्रस्तावित करते हैं:

1. ट्रेस जनरेशन (Trace Generation): $M = K \times S$ तर्क पथ उत्पन्न करें, जिन्हें $K$ पथों के $S$ समूहों में विभाजित किया गया है।
2. टोकन-स्तर का अनुमान (Token-Level Approximation): पूर्ण अनुक्रम प्रायिकता की गणना करने के बजाय, एल्गोरिदम उत्तर को टोकन-दर-टोकन डिकोड करता है। प्रत्येक चरण $t$ पर, यह शब्दावली (vocabulary) पर एक भारित वितरण (weighted distribution) की गणना करता है:
   $$q_t^{(S)}(v | x, a_{<t}) \propto \sum_{s=1}^S w_s(a_{<t}) \exp\left( \sum_{i=1}^K \log \pi(v | x, z_i^{(s)}, a_{<t}) \right)$$
   • प्रिफिक्स वेट्स ($w_s$): ये वेट्स प्रत्येक $K$ पथों के समूह के तहत पहले से उत्पन्न किए गए उत्तर प्रिफिक्स की संभावना को ट्रैक करते हैं। इन्हें टोकन सैंपल होते समय ऑनलाइन अपडेट किया जाता है।
   • स्थानीय अनुमान (Local Approximation): एल्गोरिदम अगम्य "कंटिन्यूएशन नॉर्मलाइज़र" (भविष्य के टोकन की प्रायिकता) को अनदेखा करता है, इसे एक सामान्य कारक के रूप में मानता है जो स्थानीय नॉर्मलाइजेशन के दौरान रद्द हो जाता है।
3. सैंपलिंग (Sampling): एल्गोरिदम इस वितरण से अगला टोकन सैंपल करता है, प्रिफिक्स वेट्स को अपडेट करता है, और जब तक उत्तर समाप्त नहीं हो जाता तब तक दोहराता है।

यह दृष्टिकोण एक ऐसा उत्तर उत्पन्न करने की अनुमति देता है जो कई तर्क पथों द्वारा "समर्थित" है, जो प्रभावी रूप से पोस्ट-हॉक वोटिंग चरण के बजाय जनरेशन के दौरान सॉफ्ट सेल्फ-कंसिस्टेंसी करता है।

मुख्य योगदान (Key Contributions)

1. मार्जिनल शार्पनिंग का सूत्रीकरण: शोध पत्र एक ऐसा अनुमान-समय उद्देश्य परिभाषित करता है जो तर्क पथों को लेटेंट वेरिएबल्स के रूप में मानता है और प्रेरित उत्तर वितरण को शार्प करता है, न कि पथों और उत्तरों के संयुक्त वितरण को।
2. मल्टी-ट्रेस डिकम्पोजिशन: लेखक प्रदर्शित करते हैं कि पूर्णांक शार्पनिंग शक्ति के लिए, शार्पन्ड उत्तर मार्जिनल $K$ स्वतंत्र तर्क पथों के एक अपेक्षा में विघटित होता है, जो सैद्धांतिक रूप से सेल्फ-कंसिस्टेंसी को उत्तर-स्तर के सैंपलिंग से जोड़ता है।
3. कुशल डिकोडिंग एल्गोरिदम: वे एक पैरेलल ऑटोरेग्रेसिव एल्गोरिदम प्रस्तावित करते हैं जो इस शार्पन्ड वितरण से लगभग नमूना लेता है। यह पूरी तरह से ऑटोरेग्रेसिव है, इसके लिए किसी बाहरी कैनोनिकलाइज़र की आवश्यकता नहीं है, और यह सीक्वेंस-लेवल पावर सैंपलिंग की द्विघातीय (quadratic) टोकन जनरेशन लागत से बचता है।
4. अनुभवजन्य सत्यापन (Empirical Validation): विधि का मूल्यांकन गणितीय तर्क (MATH-500) और कोड जनरेशन (HumanEval+, LiveCodeBench) बेंचमार्क पर Qwen परिवार के मॉडल्स (1.7B, 4B, 8B) का उपयोग करके किया गया है।

परिणाम (Results)

प्रयोगों में तीन बेंचमार्क पर Qwen परिवार के मॉडल्स का उपयोग किया गया है।

• पावर सैंपलिंग बनाम प्रदर्शन: कोड जनरेशन बेंचमार्क (HumanEval+ और LiveCodeBench) पर मार्जिनल शार्पनिंग, मानक पावर सैंपलिंग की तुलना में काफी बेहतर प्रदर्शन करती है। MATH-500 पर, यह बहुमत मतदान (जो छोटे उत्तर स्पेस और सिम्बोलिक वेरिफिकेशन के कारण गणित के लिए एक मजबूत बेसलाइन है) के तुलनीय या उससे थोड़ा कम प्रदर्शन करती है।
• दक्षता (Efficiency): लंबे जनरेशन के लिए यह विधि पावर सैंपलिंग की तुलना में कई गुना तेज़ है। $L=8192$ के लिए, मार्जनल शार्पनिंग ने HumanEval+ बेंचमार्क पर पावर सैंपलिंग की तुलना में 38 गुणा तेज़ गति से उच्च सटीकता प्राप्त की। पावर सैंपलिंग के लिए री-सैंपलिंग के कारण $O(L^2)$ टोकन जनरेशन की आवश्यकता होती है, जबकि मार्जिनल शार्पनिंग के लिए $O(L)$ की आवश्यकता होती है।
• हाइपरपैरामीटर्स:
  • शार्पनिंग स्ट्रेंथ ($K$): $K$ को बढ़ाने से आमतौर पर प्रदर्शन में सुधार होता है क्योंकि यह उन उत्तरों पर प्रायिकता केंद्रित करता है जो कई पथों द्वारा समर्थित हैं, हालांकि इससे गणना बढ़ती है।
  • सैंपल काउंट ($S$): $S$ (पथ समूहों की संख्या) को बढ़ाने से टोकन-स्तर के अनुमान की गुणवत्ता में सुधार होता है, जिससे निरंतर लाभ मिलता है, विशेष रूप से कम जनरेशन बजट पर।
  • बजट आवंटन: एक निश्चित कुल कंप्यूट बजट ($K \times S = \text{const}$) के तहत, शार्पनिंग स्ट्रेंथ और सैंपल काउंट के बीच विभिन्न आवंटन तुलनीय परिणाम देते हैं, जो यह सुझाव देते हैं कि आक्रामक शार्पनिंग और बेहतर अनुमान गुणवत्ता एक-दूसरे की भरपाई करती है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि सेल्फ-कंसिस्टेंसी को एक पोस्ट-हॉक वोटिंग ह्यूरिस्टिक के बजाय एक उत्तर-स्तर के अनुमान सिद्धांत के रूप में समझा जाना चाहिए।

• फोकस में बदलाव: उत्तर मार्जिनल को लक्षित करके, विधि विविध तर्क पथों (जैसे विभिन्न कोड कार्यान्वयन या प्रमाण रणनीतियों) से समर्थन को सही ढंग से एकत्रित करती है, जिन्हें सीक्वेंस-लेवल विधियाँ अलग-अलग, प्रतिस्पर्धी आउटपुट मानती हैं।
• स्केलेबिलिटी: प्रस्तावित एल्गोरिदम बड़े, संरचित आउटपुट स्पेस (जैसे कोड) वाले डोमेन में सेल्फ-कंसिस्टेंसी के लाभों को सक्षम बनाता है, जहाँ सटीक स्ट्रिंग मिलान विफल हो जाता है, और यह पूर्ण ट्रैजेक्टरी सर्च या री-सैंपलिंग की अत्यधिक कम्प्यूटेशनल लागत के बिना संभव है।
• व्यावहारिकता: यह सेल्फ-कंसिस्टेंसी का एक "सॉफ्ट" संस्करण है जिसे मानक ऑटोरेग्रेसिव मॉडल्स और पैरेलल डिकोडिंग के साथ लागू किया जा सकता है, जो इसे तर्क कार्यों के लिए टेम्परेचर सैंपलिंग और पावर सैंपलिंग का एक व्यावहारिक विकल्प बनाता है।

लेखक निष्कर्ष निकालते हैं कि टेस्ट-टाइम कंप्यूट को सबसे अधिक संभावित पूर्ण ट्रांसक्रिप्ट चुनने के बजाय, लेटेंट रीजनिंग द्वारा प्रेरित उत्तर विश्वास (answer belief) को परिष्कृत करने पर खर्च करना अधिक प्रभावी है।