💻 computer science

SJD-VP: Speculative Jacobi Decoding with Verification Prediction for Autoregressive Image Generation

यह शोध पत्र SJD-VP का प्रस्ताव करता है, जो एक प्लग-एंड-प्ले विधि है जो इस अवलोकन का लाभ उठाकर ऑटोरेग्रेसिव इमेज जनरेशन को तेज़ करता है कि जिन टोकन की संभावनाओं में इटरेशन के दौरान वृद्धि होती है, उनके स्वीकार किए जाने की संभावना अधिक होती है, जिससे स्पेक्युलेटिव डिकोडिंग की दक्षता और इमेज की गुणवत्ता में सुधार होता है।

मूल लेखक: Bingqi Shan, Baoquan Zhang, Xiaochen Qi, Xutao Li, Yunming Ye, Liqiang Nie

प्रकाशित 2026-03-31

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bingqi Shan, Baoquan Zhang, Xiaochen Qi, Xutao Li, Yunming Ye, Liqiang Nie

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक लंबी कहानी लिखने की कोशिश कर रहे हैं, एक बार में एक शब्द करके। AI इमेज जनरेशन की दुनिया में, "कहानी" एक छवि (image) है, और "शब्द" पिक्सेल के छोटे टुकड़े (जिन्हें टोकन कहा जाता है) हैं।

सामान्य तौर पर, AI मॉडल बहुत सावधान और धीमे लेखक की तरह होते हैं। वे एक शब्द लिखते हैं, जाँचते हैं कि क्या वह सही है, फिर अगला शब्द लिखते हैं। यह सटीक तो है लेकिन बहुत धीमा है।

इस गति को बढ़ाने के लिए, शोधकर्ताओं ने एक तकनीक का आविष्कार किया जिसे स्पेक्युलेटिव जैकोबी डिकोडिंग (SJD) कहा जाता है। इसे एक "ड्राफ्टिंग टीम" (Drafting Team) के रूप में सोचें। एक-एक शब्द लिखने के बजाय, AI एक साथ पूरे पैराग्राफ का अनुमान लगाता है, और फिर अंत में उन सभी की जाँच करता है। यदि अनुमान सही हैं, तो यह बहुत समय बचाता है। यदि वे गलत हैं, तो उसे उन्हें फेंकना पड़ता है और फिर से शुरू करना पड़ता है।

समस्या:
वर्तमान "ड्राफ्टिंग टीम" थोड़ी अनाड़ी है। वे उन शब्दों का अनुमान लगाते हैं जो अभी के हिसाब से सही लग रहे हैं, लेकिन वे इस बात पर ध्यान नहीं देते कि "एडिटर" (सत्यापन चरण/verification step) वास्तव में क्या स्वीकार करेगा।

उपमा: एक छात्र की कल्पना करें जो परीक्षा के उत्तरों का अनुमान लगा रहा है। वे ऐसे उत्तर चुनते हैं जो ठीक-ठाक लगते हैं, लेकिन उन्हें यह एहसास नहीं होता कि शिक्षक (वेरिफायर) का एक बहुत ही विशिष्ट और सख्त नियम है: "मैं केवल उन उत्तरों को स्वीकार करता हूँ जो सोचने के साथ-साथ अधिक मजबूत और आत्मविश्वासी होते जाते हैं।" क्योंकि छात्र इस नियम को अनदेखा करता है, शिक्षक उसके अधिकांश उत्तरों को खारिज कर देता है, और छात्र को अपना काम फिर से करना पड़ता है। इससे गति-वृद्धि (speed-up) विफल हो जाती है।

समाधान: SJD-VP ("स्मार्ट प्रेडिक्टर")
लेखकों ने एक गुप्त पैटर्न देखा। उन्होंने उन उत्तरों को देखा जिन्हें शिक्षक ने स्वीकार किया था और महसूस किया: "जो उत्तर स्वीकार किए जाते हैं, उनमें लगभग हमेशा एक प्रवृत्ति (trend) होती है कि वे अंतिम जाँच से पहले, चरण-दर-चरण अधिक आत्मविश्वासी (उच्च संभावना) होते जाते हैं।"

उन्होंने एक नया सिस्टम बनाया, SJD-VP, जो ड्राफ्टिंग टीम के लिए एक क्रिस्टल बॉल (भविष्य बताने वाला यंत्र) की तरह कार्य करता है।

यह कैसे काम करता है, एक सरल रूपक का उपयोग करते हुए:

1. "कॉन्फिडेंस ट्रैकर" (वेरिफिकेशन प्रायर)

सिर्फ अगला शब्द अनुमान लगाने के बजाय, AI अब हर उस संभावित शब्द के "कॉन्फिडेंस मीटर" पर नज़र रखता है जिसे वह चुन सकता है।

पुराना तरीका: "मुझे लगता है कि 'बिल्ली' एक अच्छा शब्द है।"
नया तरीका (SJD-VP): "मुझे लगता है कि 'बिल्ली' एक अच्छा शब्द है, और देखो! पिछली कुछ सेकंड में जब भी हमने 'बिल्ली' के बारे में सोचा, हमारा आत्मविश्वास इसमें बढ़ता गया। यह सीढ़ी चढ़ रहा है! इसका मतलब है कि एडिटर इसे पसंद करेगा।"

2. "बेयसियन फ्यूजन" (स्मार्ट मिश्रण)

AI दो सूचनाओं को जोड़ता है:

मॉडल अभी क्या सोचता है कि क्या सही है।
"कॉन्फिडेंस ट्रैकर" (बढ़ते आत्मविश्वास का पैटर्न)।

यह इसे एक शेफ की तरह मिलाता है जो ताजी सामग्री को एक गुप्त मसाले के साथ मिलाता है। परिणाम एक "सुपर-गेस" (Super-Guess) है जिसके स्वीकृत होने की संभावना बहुत अधिक होती है।

3. परिणाम

चूंकि ड्राफ्टिंग टीम अब उन शब्दों का अनुमान लगा रही है जो एडिटर के गुप्त नियम (बढ़ता हुआ आत्मविश्वास) में फिट बैठते हैं, इसलिए एडिटर उनमें से बहुत अधिक को स्वीकार करता है।

पहले: टीम 10 शब्द अनुमान लगाती है, एडिटर 3 को स्वीकार करता है। (बहुत सारा समय बर्बाद होता है)।
SJD-VP के साथ: टीम 10 शब्द अनुमान लगाती है, एडिटर 7 या 8 को स्वीकार करता है। (बहुत तेज़!)।

यह एक बड़ी बात क्यों है?

यह प्लग-एंड-प्ले है: आपको पूरा AI इंजन फिर से बनाने की आवश्यकता नहीं है। आप बस "ड्राफ्टिंग टीम" को इस नए "स्मार्ट प्रेडिक्टर" से बदल सकते हैं। यह बिना किसी अतिरिक्त प्रशिक्षण के LlamaGen या Emu3 जैसे मौजूदा AI मॉडल के साथ काम करता है।
बेहतर गुणवत्ता: क्योंकि AI को उन शब्दों की ओर निर्देशित किया जाता है जो "बढ़ते आत्मविश्वास" वाले हैं, इसलिए यह अनजाने में अधिक सटीक शब्दों को चुनता है, न कि केवल तेज़ शब्दों को। इससे चित्र अधिक स्पष्ट और सटीक दिखते हैं।
गति: यह पेपर दिखाता है कि यह तरीका पिछले तरीकों की तुलना में इमेज जनरेशन को 3 गुना तेज़ बनाता है, जबकि चित्रों को और भी बेहतर बनाता है।

संक्षेप में:
पुराना तरीका एक ऐसे धावक की तरह था जो अंधे होकर दौड़ रहा था, इस उम्मीद में कि वह फिनिश लाइन तक पहुँच जाएगा। नया तरीका (SJD-VP) एक ऐसे धावक की तरह है जिसके पास एक GPS है जो जानता है कि फिनिश लाइन कहाँ है और उसे बिना लड़खड़ाए वहां तक ले जाता है। यह AI को तेज़, स्मार्ट और अधिक सटीक बनाता है।

यहाँ शोध पत्र "SJD-VP: Speculative Jacobi Decoding with Verification Prediction for Autoregressive Image Generation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

ऑटोरेग्रेसिव इमेज जनरेशन मॉडल (जैसे, Lumina-mGPT, LlamaGen) उच्च गुणवत्ता वाली छवियां उत्पन्न करते हैं, लेकिन अपनी अंतर्निहित क्रमिक (sequential) टोकन-दर-टोकन सैंपलिंग प्रक्रिया के कारण धीमी इन्फरेंस (inference) से ग्रस्त होते हैं। स्पेक्युलेटिव जैकोबी डिकोडिंग (SJD) एक आशाजनक त्वरण तकनीक (acceleration technique) के रूप में उभरा है जो कई टोकन समानांतर में उत्पन्न करता है और उन्हें पुनरावृत्त परिशोधन (iterative refinement) के माध्यम से सत्यापित करता है।

हालाँकि, मौजूदा SJD दृष्टिकोण एक महत्वपूर्ण बाधा का सामना करते हैं: कम स्पेक्युलेटिव स्वीकृति दर (low speculative acceptance rates)।

टोकन चयन अस्पष्टता (Token Selection Ambiguity): इमेज टोकन अक्सर सिमेंटिक अतिरेक (semantic redundancy) प्रदर्शित करते हैं, जिसका अर्थ है कि कई टोकन समान अर्थ व्यक्त कर सकते हैं।
संरचनात्मक अलगाव (Structural Decoupling): वर्तमान विधियाँ ड्राफ्टिंग स्टेप (उम्मीदवार टोकन का नमूना लेना) और वेरिफिकेशन स्टेप (बेस मॉडल के विरुद्ध टोकनों को मान्य करना) को स्वतंत्र प्रक्रियाओं के रूप में मानती हैं। ड्राफ्टिंग स्टेप वेरिफिकेशन हिस्ट्री की अनदेखी करता है, जिससे अक्सर ऐसे टोकन उत्पन्न होते हैं जो नियतात्मक (deterministic) वेरिफिकेशन मानदंडों को पास करने की संभावना कम रखते हैं।
वर्तमान सुधारों की सीमाएँ: हालिया कार्य (जैसे, LANTERN, GSD) सिमेंटिक रूप से समान टोकन को स्वीकार करने के लिए वेरिफिकेशन मानदंडों को शिथिल (relax) करके स्वीकृति में सुधार करने का प्रयास करते हैं। हालांकि यह प्रभावी है, लेकिन संरचनात्मक अलगाव बना रहता है, जो आगे के त्वरण की क्षमता को सीमित करता है।

इस शोध पत्र द्वारा संबोधित मुख्य प्रश्न यह है: क्या नियतात्मक वेरिफिकेशन मानदंड का उपयोग यह अनुमान लगाने के लिए किया जा सकता है कि कौन से टोकन स्वीकार किए जाएंगे, जिससे ड्राफ्टिंग प्रक्रिया को उच्च-गुणवत्ता वाले उम्मीदवारों को उत्पन्न करने के लिए निर्देशित किया जा सके?

2. कार्यप्रणाली: SJD-VP (Methodology: SJD-VP)

लेखक Speculative Jacobi Decoding with Verification Prediction (SJD-VP) का प्रस्ताव करते हैं, जो एक बेयसियन फ्यूजन (Bayesian fusion) दृष्टिकोण का उपयोग करके ड्राफ्टिंग और वेरिफिकेशन स्टेप्स को संरेखित करता है। यह एक प्लग-एंड-प्ले फ्रेमवर्क है।

मुख्य अंतर्दृष्टि: निरंतर संभाव्यता वृद्धि (Key Insight: Consecutive Probability Growth)

वेरिफिकेशन-स्वीकृत टोकनों के गहन विश्लेषण के माध्यम से, लेखकों ने एक विशिष्ट पैटर्न देखा:

अवलोकन: लगभग 91.4% टोकन, जो अंततः वेरिफिकेशन पास करते हैं, वे वेरिफिकेशन स्टेप से पहले जैकोबी इटरेशन के दौरान निरंतर संभाव्यता वृद्धि (consecutive probability growth) प्रदर्शित करते हैं।
सहसंबंध (Correlation): जो टोकन इस वृद्धि पैटर्न को दिखाते हैं, उनके सही होने की संभावना बहुत अधिक होती है (n=3 स्टेप्स के लिए भविष्यवाणी सटीकता >96%), जबकि गलत टोकन आमतौर पर उतार-चढ़ाव या घटती हुई संभाव्यता दिखाते हैं।
निष्कर्ष: यह वृद्धि पैटर्न एक विश्वसनीय वेरिफिकेशन प्रायर (Verification Prior) के रूप में कार्य करता है जो स्वीकृति और शुद्धता की भविष्यवाणी कर सकता है।

SJD-VP फ्रेमवर्क

यह विधि मौजूदा SJD वेरिएंट के केवल टोकन ड्राफ्टिंग स्टेप को संशोधित करती है। यह दो चरणों में कार्य करता है:

वेरिफिकेशन प्रायर एस्टीमेशन (Verification Prior Estimation):
- सिस्टम पिछले जैकोबी इटरेशन से टोकन संभाव्यता का एक हिस्ट्री बफ़र बनाए रखता है।
- यह उतार-चढ़ाव को सुचारू बनाने के लिए (लेकिन हालिया रुझानों के प्रति संवेदनशील रहते हुए) एक्सपोनेंशियलली वेटेड एग्रीगेशन (EWA) का उपयोग करके एक ऐतिहासिक संदर्भ संभाव्यता ( $\bar{p}_t$ ) की गणना करता है।
- यह वर्तमान संभाव्यता और ऐतिहासिक संदर्भ के बीच लॉग-गेन (log-gain) के आधार पर एक प्रेडिक्शन स्कोर ( $S_t$ ) की गणना करता है।
- एक कन्सेक्यूटिव ग्रोथ मास्क ( $M_t$ ) को उन टोकनों को फ़िल्टर करने के लिए लागू किया जाता है जो $N$ स्टेप्स में संभाव्यता में सख्त निरंतर वृद्धि नहीं दिखाते हैं।
- परिणाम एक वेरिफिकेशन प्रायर है जो उन टोकनों को हाइलाइट करता है जिनके स्वीकृत होने की संभावना अधिक है।
बेयसियन वेरिफिकेशन फ्यूजन (Bayesian Verification Fusion):
- यह विधि वेरिफिकेशन प्रायर को एक बेयसियन प्रायर के रूप में और वर्तमान ड्राफ्टिंग संभाव्यता ( $p_t$ ) को एक कंडीशनल लाइकलीहुड के रूप में मानती है।
- यह अंतिम सैंपलिंग डिस्ट्रीब्यूशन के लिए पोस्टीरियर संभाव्यता ( $p'_t$ ) प्राप्त करने के लिए इन्हें फ्यूज करती है।
- फॉर्मूला: Top- $k$ उम्मीदवारों के लिए, लॉग-संभाव्यता को अपडेट किया जाता है:
  $\log p'_t(x) = \log p_t(x) + M_t(x) \cdot S_t(x)$
- इसके बाद इन पोस्टीरियर डिस्ट्रीब्यूशन से टोकन सैंपल किए जाते हैं, जिससे यह सुनिश्चित होता है कि ड्राफ्ट टोकन उन टोकनों की ओर झुके हुए हैं जिनकी वेरिफिकेशन पास करने की संभावना अधिक है।

सैद्धांतिक गारंटी (Theoretical Guarantee)

शोध पत्र एक सैद्धांतिक प्रमाण प्रदान करता है जो दिखाता है कि SJD-VP ड्राफ्ट डिस्ट्रीब्यूशन और वेरिफिकेशन डिस्ट्रीब्यूशन के बीच टोटल वेरिएशन डिस्टेंस (DTV) को कम करता है। समायोजन की दिशा (सही टोकनों के लिए संभाव्यता बढ़ाना) को सही ढंग से अनुमानित करके, यह विधि गणितीय रूप से DTV में कमी की गारंटी देती है, जिससे स्वीकृति दर बढ़ जाती है।

3. मुख्य योगदान (Key Contributions)

एक प्रमुख सीमा की पहचान: लेखकों ने स्पष्ट किया कि मौजूदा SJD विधियों में निम्न स्वीकृति दर का प्राथमिक कारण ड्राफ्टिंग और वेरिफिकेशन के बीच संरचनात्मक अलगाव है।
नवीन अवलोकन: उन्होंने खुलासा किया कि "निरंतर संभाव्यता वृद्धि" (consecutive probability growth) वेरिफिकेशन सफलता और टोकन शुद्धता दोनों का एक मजबूत, मॉडल-अज्ञेय (model-agnostic) संकेतक है।
SJD-VP फ्रेमवर्क: वे एक सरल, प्लग-एंड-प्ले सैंपलिंग मैकेनिज्म का प्रस्ताव करते हैं जो बेयसियन फ्यूजन के माध्यम से वेरिफिकेशन प्रेडिक्शन को ड्राफ्टिंग स्टेप में एकीकृत करता है। यह उन विधियों का पूरक है जो वेरिफिकेशन मानदंडों को शिथिल करती हैं।
व्यापक सत्यापन: व्यापक प्रयोग प्रदर्शित करते हैं कि SJD-VP लगातार इमेज जनरेशन की गुणवत्ता को बनाए रखते हुए या उसमें सुधार करते हुए डिकोडिंग को तेज करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन Lumina-mGPT, LlamaGen, और Emu3 जैसे मॉडलों का उपयोग करके Parti-prompts और MS-COCO 2017 बेंचमार्क पर किया गया।

त्वरण (Acceleration):
- Parti-prompts पर, SJD-VP ने बेस मॉडल की तुलना में 2.94x त्वरण प्राप्त किया (मानक SJD के 2.20x के मुकाबले)।
- जब इसे LANTERN (एक अत्याधुनिक वेरिएंट) के साथ एकीकृत किया गया, तो LANTERN-VP ने 3.06x त्वरण प्राप्त किया।
- MS-COCO पर, SJD-VP ने 3.21x त्वरण प्राप्त किया।
दक्षता (Efficiency - NFE):
- SJD-VP ने फंक्शन इवैल्यूएशन की संख्या (NFE) को काफी कम कर दिया। उदाहरण के लिए, Parti-prompts पर, इसने NFE को 1035 (SD) से घटाकर 720.65 कर दिया।
गुणवत्ता (Quality):
- FID (Fréchet Inception Distance): SJD-VP ने बेसलाइन की तुलना में FID स्कोर को बनाए रखा या थोड़ा सुधारा।
- CLIP-Score: सिमेंटिक एलाइनमेंट स्कोर में मामूली सुधार हुआ (जैसे, Parti-prompts पर 32.09 से 32.15), जो बेहतर टेक्स्ट-इमेज एलाइनमेंट का संकेत देता है।
एब्लेशन स्टडीज (Ablation Studies):
- बेयसियन फ्यूजन: यह आवश्यक सिद्ध हुआ; केवल प्रायर ( $S_t$ ) का उपयोग करना बेसलाइन से बेहतर था लेकिन फ्यूज्ड पोस्टीरियर ( $p'_t$ ) से खराब था।
- ग्रोथ स्टेप्स ( $N$ ): इष्टतम प्रदर्शन $N=3$ पर पाया गया; सख्त प्रतिबंध ( $N=4$ ) बहुत अधिक प्रतिबंधात्मक होने के कारण दक्षता को कम कर देते हैं।
- विंडो साइज: बड़े जैकोबी विंडोज़ ( $W=64$ ) को SJD-VP के साथ जोड़ने पर असाधारण रूप से अच्छा प्रदर्शन मिला, जिससे सर्वोत्तम लेटेंसी रिडक्शन प्राप्त हुआ।

5. महत्व (Significance)

दक्षता-गुणवत्ता ट्रेड-ऑफ (Efficiency-Quality Trade-off): SJD-VP उस पारंपरिक ट्रेड-ऑफ को तोड़ता है जहाँ त्वरण अक्सर इमेज क्वालिटी की कीमत पर आता है। यह इमेज जनरेशन की शुद्धता (fidelity) में सुधार करते हुए इन्फरेंस को तेज करता है।
सामान्यीकरण (Generalizability): यह विधि मॉडल-अज्ञेय (model-agnostic) और प्लग-एंड-प्ले है, जिसके लिए केवल ड्राफ्टिंग स्टेप में संशोधन की आवश्यकता होती है। इसे बिना बेस मॉडल को रिट्रेन किए किसी भी मौजूदा SJD वेरिएंट (जैसे, LANTERN, GSD) में आसानी से एकीकृत किया जा सकता है।
पैराडाइम शिफ्ट (Paradigm Shift): यह डिकोडिंग प्रतिमान को "ड्राफ्ट फिर वेरीफाई" (स्वतंत्र) से बदलकर "वेरिफिकेशन प्रेडिक्शन के साथ ड्राफ्ट" (संरेखित) में बदल देता है, जो सरल समानांतरकरण या मानदंड शिथिलता से परे ऑटोरेग्रेसिव जनरेशन को तेज करने के लिए एक नया दिशा प्रदान करता है।

संक्षेप में, SJD-VP टोकन संभाव्यता के गतिशील इतिहास का लाभ उठाकर वेरिफिकेशन परिणामों की भविष्यवाणी करता है, जिससे जनरेशन प्रक्रिया को सही टोकनों की ओर प्रभावी ढंग से निर्देशित किया जाता है और ऑटोरेग्रेसिव इमेज जनरेशन की गति को काफी बढ़ा दिया जाता है।