← नवीनतम पेपर
💬 NLP

SimSD: Simple Speculative Decoding in Diffusion Language Models

यह शोध पत्र SimSD को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त स्पेक्युलेटिव डिकोडिंग एल्गोरिदम है जो डिफ्यूजन लैंग्वेज मॉडल्स को एक नवीन मास्किंग रणनीति का उपयोग करके 7.46x तक तेज़ इन्फरेंस थ्रूपुट प्राप्त करने में सक्षम बनाता है, जो आमतौर पर द्विदिशीय अटेंशन (bidirectional attention) के साथ असंगत टोकन-स्तरीय सत्यापन क्षमताओं को बहाल करता है।

मूल लेखक: Junxia Cui, Haotian Ye, Runchu Tian, Hongcan Guo, Jinya Jiang, Haoru Li, Chaojie Ren, Yiming Huang, Kaijie Zhu, Zhongkai Yu, Kun Zhou, Jingbo Shang

प्रकाशित 2026-06-02
📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Junxia Cui, Haotian Ye, Runchu Tian, Hongcan Guo, Jinya Jiang, Haoru Li, Chaojie Ren, Yiming Huang, Kaijie Zhu, Zhongkai Yu, Kun Zhou, Jingbo Shang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कहानी लिखने की कोशिश कर रहे हैं, लेकिन आपके पास इसे करने के दो अलग-अलग तरीके हैं।

पुराना तरीका (ऑटोरिग्रेसिव मॉडल्स - Autoregressive Models):
एक पारंपरिक AI लेखक को एक बहुत ही सावधान, क्रमिक लिपिक (scribe) के रूप में सोचें। वे एक शब्द लिखते हैं, रुकते हैं, सोचते हैं, फिर अगला शब्द लिखते हैं, रुकते हैं, और इसी तरह आगे बढ़ते हैं। यह एक ईंट की दीवार बनाने जैसा है। आप 10वीं ईंट तब तक नहीं रख सकते जब तक कि 9वीं ईंट पूरी तरह से सही जगह पर न बैठ जाए। यह धीमा है, लेकिन बहुत तार्किक है।

नया तरीका (डिफ्यूजन मॉडल्स - Diffusion Models):
अब, एक अलग तरह के लेखक की कल्पना करें जो बिखरे हुए रेखाचित्रों (शोर/noise) से भरे एक खाली पन्ने से शुरुआत करता है और धीरे-धीरे उसे साफ करता है, जिससे शब्द उभर कर आते हैं। यह लेखक एक बार में पूरे पन्ने को देख सकता है और एक साथ कई शब्दों को ठीक कर सकता है। यह एक मूर्तिकार की तरह है जो मूर्ति को प्रकट करने के लिए पत्थर के ब्लॉक को तराशता है; वह बाएं हाथ और दाएं पैर पर एक साथ काम कर सकता है। यह बहुत तेज़ है, लेकिन इसमें एक पेच है: क्योंकि वे एक बार में पूरी तस्वीर देखते हैं, इसलिए वे कभी-कभी घटनाओं के क्रम (order) को लेकर भ्रमित हो जाते हैं। वे शायद एक ऐसे शब्द को सत्यापित करने की कोशिश करते हैं जो भविष्य के किसी ऐसे शब्द पर निर्भर है जो अभी तक तय नहीं हुआ है।

समस्या:
हाल ही में, शोधकर्ताओं ने पाया कि "धीमे लिपिक" (पुराने तरीके) को और भी तेज़ बनाया जा सकता है। वे एक "ड्राफ्ट्समैन" (एक छोटा, तेज़ AI) का उपयोग करते हैं जो अगले कुछ शब्दों का अनुमान लगाता है, और फिर एक "बॉस" (एक बड़ा, स्मार्ट AI) उन सभी अनुमानों की जांच करता है कि वे सही हैं या नहीं। इसे स्पेक्ट्रेटिव डिकोडिंग (Speculative Decoding) कहा जाता है। यह एक छात्र द्वारा परीक्षा में उत्तरों का अनुमान लगाने और फिर शिक्षक द्वारा पूरे पन्ने को एक बार में जांचने जैसा है।

हालाँकि, यह "अनुमान-और-जांच" वाला तरीका "मूर्तिकार" (डिफ्यूजन मॉडल्स) के लिए काम नहीं आया। क्यों? क्योंकि मूर्तिकार पूरे पन्ने को एक साथ देखता है। यदि शिक्षक छात्र के अनुमानों की जांच करने की कोशिश करता है, तो मूर्तिकार भ्रमित हो जाता है क्योंकि पन्ने को साफ करते समय संदर्भ (आस-पास के शब्द) लगातार बदलता रहता है। "कालिक क्रम" (temporal order - क्या पहले हुआ) खो जाता है।

समाधान: SimSD
यह पेपर एक चतुर तकनीक पेश करता है जिसे SimSD (सिंपल स्पेक्ट्रेटिव डिकोडिंग) कहा जाता है। यह कैसे काम करता है, इसके लिए एक सरल उपमा यहाँ दी गई है:

कल्पना कीजिए कि आप "मूर्तिकार" (डिफ्यूजन AI) हैं, और आप एक छात्र (छोटे AI) के अनुमानों की जांच करने की कोशिश कर रहे हैं।

  1. सेटअप: केवल खाली पन्ने को देखने के बजाय, आप एक विशेष "प्रशिक्षण शीट" (training sheet) बनाते हैं। शीट के बाईं ओर, आप छात्र के अनुमान (रेफरेंस टोकन) लिखते हैं। दाईं ओर, आप खाली स्थान (मास्क) छोड़ देते हैं जहाँ आपको यह जांचना है कि वे अनुमान सही हैं या नहीं।
  2. जादुई नियम (द मास्क): आप मूर्तिकार को एक विशेष नियम पुस्तिका (अटेंशन मास्क) देते हैं। यह नियम पुस्तिका कहती है: "आप निर्णय लेने में मदद के लिए बाईं ओर के छात्र के अनुमानों को देख सकते हैं, लेकिन आपको दाईं ओर के खाली स्थानों (जो अभी भरे नहीं गए हैं) में झांकने से सख्ती से रोका जाता है।"
  3. परिणाम: भले ही मूर्तिकार आमतौर पर सब कुछ एक साथ देखता है, यह नियम पुस्तिका उन्हें समय रेखा (timeline) का सम्मान करने के लिए मजबूर करती है। अब, वे एक ही नज़र में छात्र के शब्द #1 के अनुमान को देख सकते हैं, देख सकते हैं कि वह पिछले शब्दों के आधार पर सही है या नहीं, और फिर शब्द #2 की ओर बढ़ सकते हैं।

यह एक बड़ी बात क्यों है?

  • गति: इससे पहले, मूर्तिकार को एक शब्द की जांच करनी पड़ती थी, फिर पन्ने को साफ करना पड़ता था, फिर अगले शब्द की जांच करनी पड़ती थी। अब, वे शब्दों के एक पूरे समूह (batch) को एक ही "नज़र" (फॉरवर्ड पास) में जांच सकते हैं।
  • प्रशिक्षण की आवश्यकता नहीं: लेखकों को AI को कुछ भी नया सिखाने की आवश्यकता नहीं थी। उन्होंने बस "नियम पुस्तिका" (अटेंशन मास्क) और पन्ने पर शब्दों की व्यवस्था को बदल दिया। यह एक "प्लग-एंड-प्ले" समाधान है।
  • गुणवत्ता: पेपर का परीक्षण गणित की समस्याओं, कोडिंग और सामान्य ज्ञान (trivia) पर किया गया। परिणाम दिखाते हैं कि AI बिना अधिक गलतियाँ किए 7.46 गुना तक तेज़ हो गया। वास्तव में, कुछ मामलों में गुणवत्ता वास्तव में थोड़ी बेहतर हो गई।

सारांश में:
यह पेपर एक तेज़ लेकिन "भ्रमित" AI (डिफ्यूजन) को लेता है और उसे नियमों का एक सरल सेट देता है जो उसे समय के क्रम का सम्मान करने के लिए मजबूर करता है। यह इसे एक ऐसी रणनीति का उपयोग करने की अनुमति देता है जो पहले केवल धीमे, क्रमिक AI के लिए ही संभव थी। परिणाम यह है कि AI एक स्प्रिंटर (धावक) की तरह तेज़ लिखता है लेकिन एक विद्वान की तरह सावधानी से सोचता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →