💻 computer science

Annealed Relaxation of Speculative Decoding for Faster Autoregressive Image Generation

यह शोधपत्र COOL-SD को प्रस्तुत करता है, जो एक सैद्धांतिक रूप से आधारित, एनेल्ड रिलैक्सेशन (annealed relaxation) है जो पुनर्संपथन वितरणों (resampling distributions) को अनुकूलित करके और बेहतर गति-गुणवत्ता ट्रेड-ऑफ प्राप्त करने के लिए विक्षोभ विश्लेषण (perturbation analysis) का लाभ उठाकर ऑटोरेग्रेसिव इमेज जनरेशन को त्वरित करता है।

मूल लेखक: Xingyao Li, Fengzhuo Zhang, Cunxiao Du, Hui Ji

प्रकाशित 2026-01-15

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xingyao Li, Fengzhuo Zhang, Cunxiao Du, Hui Ji

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "एनील्ड रिलैक्सेशन ऑफ स्पेक्युलेटिव डिकोडिंग फॉर फ़ास्टर ऑटोरेग्रेसिव इमेज जनरेशन" (Annealed Relaxation of Speculative Decoding for Faster Autoregressive Image Generation) पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ स्पष्टीकरण दिया गया है।

बड़ी तस्वीर: "धीमे चित्रकार" की समस्या

कल्पना कीजिए कि आपके पास एक विश्व प्रसिद्ध कलाकार (टारगेट मॉडल) है जो अविश्वसनीय रूप से यथार्थवादी चित्र बना सकता है, लेकिन वह बहुत धीमा है। वह एक बार में एक छोटा सा ब्रशस्ट्रोक (ब्रश का स्ट्रोक) लगाता है, और अगला स्ट्रोक लगाने से पहले, उसे पिछले स्ट्रोक की सावधानीपूर्वक जाँच करनी पड़ती है। यदि आप हजारों ब्रशस्ट्रोक वाला एक उच्च-रिज़ॉल्यूशन वाला चित्र चाहते हैं, तो इस प्रक्रिया में बहुत समय लगता है।

इस प्रक्रिया को तेज़ करने के लिए, आप एक तेज़, नौसिखिया स्केच करने वाले (ड्राफ्ट मॉडल) को काम पर रखते हैं। स्केच करने वाला व्यक्ति जल्दी से अनुमान लगाता है कि अगले कुछ ब्रशस्ट्रोक कैसे दिखने चाहिए। मुख्य कलाकार फिर इन अनुमानों की तेज़ी से जाँच करता है। यदि अनुमान एकदम सही हैं, तो वह उन सभी को एक साथ स्वीकार कर लेता है, जिससे समय बच जाता है। यदि कोई अनुमान गलत है, तो वह उसे अस्वीकार कर देता है और स्वयं सही स्ट्रोक बनाता है।

इसे स्पेक्युलेटिव डिकोडिंग (Speculative Decoding) कहा जाता है। यह टेक्स्ट (पाठ) के लिए बहुत अच्छा काम करता है, लेकिन छवियों (इमेज) के लिए, यह अक्सर एक दीवार से टकरा जाता है। क्यों? क्योंकि छवियाँ "धुंधली" होती हैं। एक बादल या पेड़ को चित्रित करने के कई तरीके हो सकते हैं जो लगभग एक जैसे दिखते हैं। स्केचर अक्सर एक "अच्छा" बादल होने का अनुमान लगाता है, लेकिन मुख्य कलाकार एक थोड़े अलग बादल को पसंद करता है। पुराने सिस्टम में, यदि अनुमान सटीक मेल नहीं खाता है, तो उसे खारिज कर दिया जाता है। ऐसा बहुत अक्सर होता है जिससे गति बढ़ाने का लाभ समाप्त हो जाता है।

पेपर का समाधान: COOL-SD

लेखकों ने COOL-SD (कूल स्पेक्युलेटिव डिकोडिंग) नामक एक नई विधि प्रस्तावित की है। उन्होंने महसूस किया कि "सटीक मिलान" के लिए बहुत सख्त होना चीज़ों को धीमा कर देता है। इसके बजाय, उन्होंने एक ऐसी प्रणाली पेश की जो अधिक लचीली है लेकिन गणितीय रूप से सुदृढ़ है।

यहाँ दो मुख्य "ट्रिक्स" दी गई हैं जिनका उन्होंने उपयोग किया है, जिन्हें सरल रूप में समझाया गया है:

1. "काफी अच्छा है" वाला नियम (रिलैक्स्ड एक्सेप्टेंस)

पुराने सिस्टम में, यदि स्केचर ने एक नीला बादल अनुमानित किया और कलाकार चाहता था कि वह थोड़ा अलग नीला हो, तो अनुमान को फेंक दिया जाता था।
COOL-SD कहता है: "रुको, यह बादल लगभग सही है। चलो इसे स्वीकार करते हैं।"

वे स्केचर के अनुमानों को तब भी स्वीकार करने की अनुमति देते हैं जब वे 100% सटीक मेल न हों। यह एक शिक्षक द्वारा परीक्षा जाँचने जैसा है: हर उत्तर के पूर्ण होने की मांग करने के बजाय, वे "काफी करीब" उत्तरों के लिए आंशिक अंक देते हैं। यह कलाकार को अधिक अनुमान स्वीकार करने और तेज़ी से पेंट करने की अनुमति देता है।

2. "कूलिंग डाउन" शेड्यूल (एनीलिंग)

यहाँ पेचीदा हिस्सा है: यदि आप "काफी अच्छे" उत्तरों को बहुत आसानी से स्वीकार करते हैं, तो अंतिम चित्र अजीब या धुंधला दिखना शुरू हो सकता है (इसे "ड्रिफ्ट" कहा जाता है)। आपको गति और गुणवत्ता के बीच संतुलन बनाने के तरीके की आवश्यकता है।

लेखकों ने एक पैटर्न खोजा जिसे वे एनीलिंग (Annealing) कहते हैं। इसे गर्म धातु को मजबूत बनाने के लिए ठंडा करने जैसा समझें।

पेंटिंग की शुरुआत में: स्केचर अभी बस वार्म-अप ले रहा है। नियम ढीले हैं। हम लगभग किसी भी "काफी करीब" के अनुमान को स्वीकार करते हैं ताकि काम शुरू हो सके।
जैसे-जैसे पेंटिंग आगे बढ़ती है: हम सख्त होते जाते हैं। जैसे-जैसे हम अंतिम विवरणों के करीब पहुँचते हैं, हम अनुमानों से अधिक सटीकता की मांग करते हैं।

उन्होंने गणितीय रूप से सिद्ध किया कि ढीलेपन से शुरुआत करना और फिर सख्त होना (एक "डिकेइंग" शेड्यूल) छवि की गुणवत्ता को बनाए रखने का सबसे अच्छा तरीका है जबकि यह अभी भी तेज़ है।

3. "जादुई सुधार" (ऑप्टिमल रीसैंपलिंग)

कभी-कभी, "काफी अच्छा" नियम के साथ भी, स्केचर ऐसा अनुमान लगाता है जो बहुत ज्यादा गलत होता है। पुराने सिस्टम में, कलाकार बस सही स्ट्रोक बनाता था।
COOL-SD कुछ स्मार्ट करता है: जब एक अनुमान खारिज कर दिया जाता है, तो कलाकार केवल "सही" स्ट्रोक को बेतरतीब ढंग से नहीं चुनता है। वे एक विशेष गणितीय सूत्र का उपयोग करके एक नया स्ट्रोक चुनते हैं जो स्केचर की गलती और कलाकार के दृष्टिकोण के बीच पूर्ण संतुलन बनाता है। यह सुनिश्चित करता है कि अंतिम छवि विकृत न हो, भले ही हमने पहले कुछ "अपूर्ण" अनुमान स्वीकार किए हों।

परिणाम: तेज़, लेकिन खराब नहीं

पेपर का परीक्षण दो शक्तिशाली इमेज जेनरेटर्स (LlamaGen और Lumina-mGPT) पर किया गया।

गति: उन्होंने इमेज जनरेशन को मानक विधि की तुलना में 2.7 से 3.1 गुना तेज़ बना दिया।
गुणवत्ता: छवियाँ लगभग वैसी ही दिखीं जैसी धीमी, पूर्ण विधि से बनती हैं।
तुलना: उन्होंने पिछले सर्वश्रेष्ठ "रिलैक्स्ड" तरीकों (जैसे LANTERN++) को काफी अंतर से पीछे छोड़ दिया, जो गति और छवि गुणवत्ता के बीच बेहतर संतुलन प्रदान करते हैं।

सारांश

कल्पना कीजिए कि आप कार चला रहे हैं।

पुरानी विधि: आप बहुत सावधानी से गाड़ी चलाते हैं, हर रेड लाइट पर रुकते हैं, भले ही वहां कोई न हो। यह सुरक्षित है, लेकिन धीमा है।
पिछले "रिलैक्स्ड" तरीके: आप तेज़ गाड़ी चलाते हैं, लेकिन कभी-कभी रेड लाइट तोड़ देते हैं और दुर्घटनाग्रस्त हो जाते हैं, या आप इतनी तेज़ गाड़ी चलाते हैं कि कार खराब हो जाती है।
COOL-SD: आपके पास एक स्मार्ट नेविगेशन सिस्टम है। यह आपको तेज़ चलने की अनुमति देता है जब सड़क साफ़ हो (यात्रा की शुरुआत में) लेकिन आपको ट्रिकी इंटरसेक्शन (जटिल चौराहे) के पास पहुँचने पर धीमा होने और सटीक होने के लिए कहता है (बाद में यात्रा में)। इसमें एक "क्रैश रिकवरी" सिस्टम भी है जो तुरंत आपकी छोटी-मोटी गलतियों को ठीक कर देता है ताकि आप वास्तव में कभी दुर्घटनाग्रस्त न हों।

परिणाम? आप अपनी मंजिल (तैयार चित्र) तक बहुत तेज़ी से पहुँचते हैं, बिना सवारी की सुरक्षा या गुणवत्ता से समझौता किए।

तकनीकी सारांश: तेज़ ऑटोरिग्रेसिव इमेज जनरेशन के लिए स्पेक्युलेटिव डिकोडिंग का एनिलड रिलैक्सेशन (Annealed Relaxation)

समस्या विवरण

ऑटोरिग्रेसिव (AR) मॉडल इमेज जनरेशन के लिए एक शक्तिशाली प्रतिमान (paradigm) के रूप में उभरे हैं, जो अक्सर डिफ्यूजन-आधारित विधियों के बराबर या उनसे बेहतर प्रदर्शन करते हैं। हालाँकि, उनकी क्रमिक प्रकृति—एक समय में एक टोकन की भविष्यवाणी करना—महत्वतः अनुमान लगाने में विलंबता (latency) का कारण बनती है, विशेष रूप से उच्च-रिज़ॉल्यूशन वाली छवियों के लिए जिनमें हज़ारों टोकन की आवश्यकता होती है। जबकि स्पेक्युलेटिव डिकोडिंग (SD) ने बड़े भाषा मॉडल (LLM) के अनुमान को तेज़ करने के लिए एक तेज़ ड्राफ्ट मॉडल का उपयोग करके धीमे टार्गेट मॉडल द्वारा टोकन के सत्यापन (verification) को सफलतापूर्वक सुगम बनाया है, इमेज जनरेशन में इसका अनुप्रयोग सीमित रहा है।

पिछली रिसर्च इस सीमा का कारण टोकन चयन अस्पष्टता (token selection ambiguity) को बताती है: इमेज जनरेशन में, कई संभावित टोकन अक्सर लगभग समान संभावना प्राप्त करते हैं, जिससे ड्राफ्ट मॉडल के लिए टार्गेट मॉडल के शीर्ष-रैंक वाले टोकनों की सटीक भविष्यवाणी करना कठिन हो जाता है। यह बेमेल स्थिति सत्यापन चरण के दौरान कम टोकन स्वीकृति दर (acceptance rate) की ओर ले जाती है। मौजूदा प्रयास, जैसे कि LANTERN और LANTERN++, "रिलैक्स्ड" सत्यापन योजनाओं को पेश करते हैं जो टार्गेट डिस्ट्रीब्यूशन से सीमित विचलन (divergence) की अनुमति देते हैं। हालाँकि, ये विधियाँ अनुभवजन्य (empirically driven) डिजाइनों पर निर्भर करती हैं जिनमें टार्गेट डिस्ट्रीब्यूशन से उनके विचलन के संबंध में सैद्धांतिक आधार का अभाव है, जिसके परिणामस्वरूप मामूली प्रदर्शन लाभ होता है।

कार्यप्रणाली: COOL-SD

यह शोध पत्र COOL-SD (Annealed Relaxation of Speculative Decoding) प्रस्तावित करता है, जो AR इमेज जनरेशन में स्पीड-क्वालिटी ट्रेड-ऑफ को सुधारने के लिए दो प्रमुख सैद्धांतिक अंतर्दृष्टि पर आधारित एक फ्रेमवर्क है।

1. रिलैक्स्ड SD का सैद्धांतिक आधार

लेखक मानक SD फ्रेमवर्क को एक कठोर, सटीक-मैच स्वीकृति परीक्षण के स्थान पर एक नियंत्रणीय स्वीकृति प्रायिकता $f_i$ को रखकर इसे सामान्यीकृत करते हैं। यह रिलैक्सेशन लंबे अपेक्षित स्वीकृत प्रीफिक्स (accepted prefixes) की अनुमति देता है लेकिन वितरण संबंधी विचलन (distributional drift/bias) भी लाता है।

इष्टतम रीसैंपलिंग (Optimal Resampling): लेखक रिलैक्स्ड SD और टार्गेट डिस्ट्रीब्यूशन के बीच टोटल वेरिएशन (TV) डिस्टेंस पर एक लगभग टाइट अपर बाउंड (almost-tight upper bound) निकालते हैं। इस बाउंड को मिनिमाइज़ करके, वे टोकन-वार इष्टतम रीसैंपलिंग डिस्ट्रीब्यूशन ( $G^*_i$ ) प्राप्त करते हैं। ये डिस्ट्रीब्यूशन रिलैक्स्ड स्वीकृति से उत्पन्न होने वाले बायस (bias) को ठीक करने के लिए डिज़ाइन किए गए हैं, जिससे आउटपुट टार्गेट मॉडल के करीब रहता है।
एनिलिंग प्रॉपर्टी (Annealing Property): परटर्बेशन विश्लेषण के माध्यम से, लेखक बताते हैं कि एक निश्चित अपेक्षित स्वीकृत टोकन संख्या के लिए, TV बाउंड तब मिनिमाइज़ होता है जब स्वीकृति प्रायिकताएं टोकन पोजीशन के साथ निरंतर घटती (monotonically decrease) हैं। यह सुझाव देता है कि अनुक्रम के प्रारंभ में स्वीकृति मानदंड को अधिक आक्रामक रूप से रिलैक्स करना और बाद में इसे कड़ा करना, यूनिफॉर्म रिलैक्सेशन की तुलना में सैद्धांतिक रूप से बेहतर है।

2. COOL-SD एल्गोरिदम

इन अंतर्दृष्टियों के आधार पर, COOL-SD निम्नलिखित को एकीकृत करता है:

एक्सपोनेंशियलली डिकेइंग स्वीकृति शेड्यूल (Exponentially Decaying Acceptance Schedule): एक फिक्स्ड रिलैक्सेशन पैरामीटर के बजाय, COOL-SD एक स्वीकृति प्रायिकता $f_i$ का उपयोग करता है जो डिकोडिंग पोजीशन $i$ बढ़ने के साथ तेजी से घटती है ( $\omega_i = \delta \cdot \exp(-\nu \cdot i - \mu)$ )। यह "एनिलिंग" रणनीति यूनिफॉर्म रिलैक्सेशन की तुलना में डिस्ट्रीब्यूशनल शिफ्ट को कम करती है।
सिद्धांत-आधारित रीसैंपलिंग: एल्गोरिदम अस्वीकृत टोकन को ठीक करने के लिए व्युत्पन्न इष्टतम रीसैंपलिंग डिस्ट्रीब्यूशन $G^*_i$ (Eqn. 5) का उपयोग करता है, न कि पूर्व कार्यों में उपयोग किए गए ह्यूरिस्टिक एडजस्टमेंट पर निर्भर करता है।

मुख्य योगदान

रिलैक्स्ड SD का सैद्धांतिक विश्लेषण: यह पेपर रिलैक्स्ड स्पेक्युलेटिव डिकोडिंग के लिए एक कठोर सैद्धांतिक आधार स्थापित करता है। यह अपेक्षित स्वीकृत टोकनों और रिलैक्स्ड आउटपुट एवं टार्गेट डिस्ट्रीब्यूशन के बीच TV डिस्टेंस के लगभग टाइट अपर बाउंड को व्युत्पन्न करता है।
इष्टतम रीसैंपलिंग का व्युत्पत्ति: यह टोकन-वार इष्टतम रीसैलेशन डिस्ट्रीब्यूशन के लिए क्लोज्ड-फॉर्म समाधान प्रदान करता है जो व्युत्पन्न TV बाउंड को मिनिमाइज़ करता है, जो ह्यूरिस्टिक रीसैंपलिंग रणनीतियों के लिए एक सिद्धांत-आधारित विकल्प प्रदान करता है।
एनिलिंग अंतर्दृष्टि: लेखक सिद्ध करते हैं कि एक मोनोटोनिकली डिकेइंग स्वीकृति शेड्यूल डिस्ट्रीब्यूशनल बायस बाउंड को कम करता है, जो एनिलड स्वीकृति मानदंड के डिज़ाइन को प्रेरित करता है।
COOL-SD फ्रेमवर्क: वे COOL-SD प्रस्तावित करते हैं, जो व्युत्पन्न इष्टतम रीसैंपलिंग डिस्ट्रीब्यूशन को एक्सपोनेंशियल रूप से घटने वाले स्वीकृति शेड्यूल के साथ जोड़ता है।
अनुभवजन्य सत्यापन: व्यापक प्रयोग प्रदर्शित करते हैं कि COOL-SD AR इमेज जनरेशन कार्यों पर मौजूदा SD वेरिएंट्स (Eagle-1, LANTERN++) के मुकाबले स्पीड-क्वालिटी पारेटो फ्रंटियर (Pareto frontier) में लगातार सुधार करता है।

प्रयोगात्मक परिणाम

लेखकों ने दो टार्गेट मॉडल्स: LlamaGen-XL (775M) और Lumina-mGPT (7B) पर MS-COCO 2017 वैलिडेशन सेट का उपयोग करके COOL-SD का मूल्यांकन किया।

स्पीड-क्वालिटी ट्रेड-ऑफ: COOL-SD केवल मामूली गुणवत्ता गिरावट के साथ लॉसलेस बेसलाइन्स (Eagle-1) और पूर्व रिलैक्स्ड मेथड्स (LANTERN++) की तुलना में काफी तेज़ अनुमान प्राप्त करता है।
- Lumina-mGPT पर, COOL-SD ने औसत स्वीकृत लंबाई को 2.76 (Eagle-1) से बढ़ाकर 3.11 कर दिया, जिससे लेटेंसी ~~71.6s से घटकर ~63.2s (~~2.69x स्पीड-अप) हो गई, जबकि तुलनीय FID और CLIP स्कोर बनाए रखे।
- LlamaGen-XL पर, COOL-SD ने 3.34 की स्वीकृत लंबाई के साथ 2.72x स्पीड-अप (3.72s लेटेंसी) प्राप्त किया, जो बेसलाइन की तुलना में FID और CLIP स्कोर में नगण्य गिरावट दिखाता है।
LANTERN++ के साथ तुलना: COOL-SD ने समान लेटेंसी पर लगातार उच्च-गुणवत्ता वाली छवियां बनाईं या समान गुणवत्ता स्तर पर अधिक त्वरण (acceleration) प्राप्त किया। गुणात्मक परिणामों ने दिखाया कि उच्च स्पीड-अप पर LANTERN++ दृश्य आर्टिफैक्ट्स और पैची बैकग्राउंड से ग्रस्त था, जबकि COOL-SD ने 3.10x स्पीड-अप तक फिडेलिटी (fidelity) को सुरक्षित रखा।
एब्लेशन स्टडीज (Ablation Studies):
- एनिलिंग बनाम यूनिफॉर्म: एक्सपोनेंशियल डिके के स्थान पर यूनिफॉर्म रिलैक्सेशन पैरामीटर (UNIFORMRSD) का उपयोग करने से निम्नतर FID-एक्सेप्टेड लेंथ ट्रेड-ऑफ प्राप्त हुआ, जो एनिलिंग शेड्यूल के लाभ की पुष्टि करता है।
- रीसैंपलिंग डिस्ट्रीब्यूशन: व्युत्पन्न इष्टतम रीसैंपलिंग डिस्ट्रीब्यूशन $G^*_i$ को LANTERN++ पर लागू करने से इसके प्रदर्शन में काफी सुधार हुआ, जो LANTERN++ में उपयोग किए गए ह्यूरिस्टिक के बजाय सिद्धांत-आधारित रीसैंपलिंग रणनीति के महत्व को प्रमाणित करता है।

महत्व और दावे

पेपर का दावा है कि COOL-SD ऑटोरिग्रेसिव इमेज जनरेशन को तेज़ करने के लिए एक सिद्धांत-आधारित और गणितीय रूप से समर्थित दृष्टिकोण प्रदान करता है। पिछले ह्यूरिस्टिक तरीकों के विपरीत, COOL-SD डिस्ट्रीब्यूशनल फिडेलिटी के गणितीय विश्लेषण द्वारा समर्थित है। लेखक का कहना है कि उनका तरीका:

इष्टतम रीसैंपलिंग के माध्यम से डिस्ट्रीब्यूशनल बायस पर एक टाइट बाउंड प्रदान करता है।
एनिलिंग स्वीकृति शेड्यूल का लाभ उठाकर एक बेहतर स्पीड-क्वालिटी ट्रेड-ऑफ प्राप्त करता है।
एक मॉड्यूलर फाउंडेशन प्रदान करता है, क्योंकि व्युत्पन्न रीसैंपलिंग डिस्ट्रीब्यूशन को अन्य रिलैक्स्ड SD वेरिएंट्स में निर्बाध रूप से एकीकृत किया जा सकता है (जैसा कि LANTERN++ पर लागू होने पर सुधारों के माध्यम से प्रदर्शित किया गया है)।

यह कार्य COOL-SD को इमेज जनरेशन में निहित टोकन अस्पष्टता समस्या को प्रभावी ढंग से हल करके, AR इमेज मॉडल्स को वास्तविक समय और इंटरैक्टिव अनुप्रयोगों के लिए अधिक व्यावहारिक बनाने की दिशा में एक महत्वपूर्ण कदम के रूप में स्थापित करता है।