💬 NLP

BitLM: Unlocking Multi-Token Language Generation with Bitwise Continuous Diffusion

BitLM एक नवीन भाषा मॉडल आर्किटेक्चर पेश करता है जो टोकन को बाइनरी कोड के रूप में प्रदर्शित करके और ब्लॉकों के भीतर समानांतर रूप से कई टोकन को डीनॉइज़ करने के लिए एक हल्के डिफ्यूजन हेड का उपयोग करके पारंपरिक एक-एक-टोकन-पर-समय की बाधा को दूर करता है, जिससे ऑटोरेग्रेसिव मॉडलिंग की आवश्यक कॉज़ल संरचना को संरक्षित करते हुए तेज़ इन्फरेंस और अधिक कुशल प्री-ट्रेनिंग प्राप्त होती है।

मूल लेखक: Shaobin Zhuang, Yuang Ai, Jiaming Han, Xiaohui Li, Huaibo Huang, Xiangyu Yue, Xuefeng Hu, Kun Xu, Yali Wang, Hao Chen

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shaobin Zhuang, Yuang Ai, Jiaming Han, Xiaohui Li, Huaibo Huang, Xiangyu Yue, Xuefeng Hu, Kun Xu, Yali Wang, Hao Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कहानी लिखने की कोशिश कर रहे हैं, लेकिन आपको एक बार में केवल एक ही अक्षर लिखने के लिए मजबूर किया जाता है। हर बार जब आप एक अक्षर पूरा करते हैं, तो आपको रुकना पड़ता है, सोचना पड़ता है, और पूछना पड़ता है, "अगला अक्षर क्या है?" यह अधिकांश वर्तमान एआई भाषा मॉडल (AI language models) के काम करने का तरीका है। वे अविश्वसनीय रूप से स्मार्ट हैं, लेकिन वे "एक-समय-में-एक-कदम" की लय में फंसे हुए हैं, जो उन्हें धीमा बनाता है और शब्दों के उन समूहों के बारे में सोचने की उनकी क्षमता को सीमित करता है जो स्वाभाविक रूप से एक साथ आते हैं (जैसे "कप ऑफ कॉफी" या "वनс अपोन अ टाइम")।

यह पेपर BitLM को पेश करता है, जो एआई के लिखने के तरीके के बारे में सोचने का एक नया तरीका है। एआई को एक-एक अक्षर (या शब्द) चुनने के लिए मजबूर करने के बजाय, BitLM इसे ब्लॉक्स (blocks) में शब्दों को एक साथ लिखने की अनुमति देता है, लेकिन यह इसे बाइनरी कोड (binary codes) और शोर हटाने (noise removal) के एक चतुर तरीके का उपयोग करके करता है।

यहाँ सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. पुराना तरीका: "शब्दावली लॉटरी" (The Vocabulary Lottery)

वर्तमान में, एआई मॉडल एक व्यक्ति की तरह कार्य करते हैं जो स्क्रैबल टाइल्स (शब्दों के बोर्ड) की एक विशाल दीवार के सामने खड़ा है (शब्दावली)। अगला शब्द लिखने के लिए, मॉडल को उन टाइल्स को देखना होगा, प्रत्येक एक के लिए संभावनाओं की गणना करनी होगी, और ठीक एक को चुनना होगा।

समस्या: यह धीमा है। यह एक घर बनाने की तरह है जहाँ आप एक समय में एक ईंट रखते हैं, सीमेंट सूखने का इंतज़ार करते हैं, और फिर पूछते हैं, "अगली ईंट कौन सी है?"
सीमा: यह हर शब्द को एक अलग विकल्प के रूप में मानता है, इस बात को अनदेखा करते हुए कि शब्द अक्सर प्राकृतिक जोड़ों या समूहों में आते हैं।

2. BitLM का तरीका: "शोर-साफ करने वाला मूर्तिकार" (The Noise-Cleaning Sculptor)

BitLM इस "लॉटरी" दृष्टिकोण को पूरी तरह से समाप्त करके खेल बदल देता है। शब्दों की सूची में से चुनने के बजाय, BitLM बाइनरी कोड (0 और 1 की स्ट्रिंग्स, या इस मामले में, -1 और +1) में सोचता है।

सोचिए कि एआई का काम "एक शब्द चुनना" नहीं है, बल्कि कोहरे से एक मूर्ति को तराशना है।

बाइनरी कोड: कल्पना करें कि शब्दकोश के हर शब्द की एक अनूठी, छोटी आईडी है जो 18 स्विचों (बाइनरी कोड) से बनी है।
प्रक्रिया:
1. सेटअप: एआई अब तक की कहानी (संदर्भ) को देखता है।
2. कोहरा: अगला शब्द चुनने के बजाय, एआई शुद्ध स्टैटिक शोर (जैसे टीवी स्क्रीन पर दिखने वाला सफेद शोर/static) के एक ब्लॉक के साथ शुरुआत करता है।
3. तराशना: एआई एक "डिफ्यूजन हेड" (एक विशेष उपकरण) का उपयोग करके उस शोर को धीरे-धीरे साफ करता है। वह पूछता है, "अब तक की कहानी को देखते हुए, अगले कुछ शब्दों का पैटर्न कैसा दिखता है?"
4. प्रकटीकरण: जैसे-जैसे शोर हटाया जाता है, बाइनरी स्विच अपनी जगह पर फिट हो जाते हैं, जिससे एक स्पष्ट पैटर्न प्रकट होता है। उस पैटर्न को फिर वास्तविक शब्दों में अनुवादित किया जाता है।

3. सुपरपावर: ब्लॉक्स में लिखना

BitLM की जादू यह है कि यह केवल एक बार में एक शब्द को साफ नहीं करता है। यह एक साथ शब्दों के एक पूरे ब्लॉक (जैसे, 4 शब्द) को साफ करता है।

उपमा: कल्पना कीजिए कि आप एक भित्ति चित्र (mural) पेंट कर रहे हैं।
- पुराना एआई: आप एक छोटा सा बिंदु पेंट करते हैं, पीछे हटते हैं, सोचते हैं, अगला बिंदु पेंट करते हैं, पीछे हटते हैं।
- BitLM: आप दीवार के 4-फुट के हिस्से को देखते हैं। आपके दिमाग में उस पूरे हिस्से का एक रफ स्केच है। फिर आप एक ही बार में पूरे 4-फुट के हिस्से पर स्प्रे पेंट करते हैं, विवरणों को तब तक परिष्कृत करते हैं जब तक कि छवि स्पष्ट न हो जाए।
यह क्यों काम करता है: क्योंकि एआई पूरे ब्लॉक को देख रहा है, वह यह तय कर सकता है कि "कप" और "कॉफी" को एक साथ पूरी तरह से आना चाहिए, बजाय इसके कि वह अलग-अलग "कप" का अनुमान लगाए, फिर "ऑफ" का, और फिर "कॉफी" का।

4. नियमों को बनाए रखना: "कॉज़ल" (Causal) सुरक्षा कवच

आप सोच सकते हैं: "यदि यह एक साथ 4 शब्द लिखता है, तो क्या यह धोखाधड़ी करता है? क्या यह भविष्य में झाँकता है?"
पेपर कहता है नहीं। BitLM एक "ब्लॉक-कॉज़ल" नियम का उपयोग करता है।

उपमा: एक रिले रेस (दौड़) की कल्पना करें। पहला धावक (ब्लॉक 1) समाप्त करता है और दूसरे धावक (ब्लॉक 2) को बैटन सौंपता है। दूसरा धावक अपने पूरे हिस्से के लिए दौड़ सकता है और निर्णय ले सकता है, लेकिन वह तीसरे धावक (ब्लॉक 3) के क्या कर रहा है, यह नहीं देख सकता। वह केवल यह जानता है कि पहले धावक ने क्या किया था।
यह सुनिश्चित करता है कि एआई अभी भी कहानी के तार्किक प्रवाह (बाएँ-से-दाएँ) का पालन करता है, लेकिन यह एकल चरणों के बजाय चंक्स (chunks) को प्रोसेस करके बहुत तेज़ी से काम करता है।

5. पेपर ने वास्तव में क्या पाया

लेखकों ने इस नई पद्धति (BitLM) का परीक्षण विभिन्न आकार के मॉडलों (छोटे से बड़े तक) के साथ किया।

यह स्केल करता है: जैसे-जैसे उन्होंने मॉडलों को बड़ा बनाया, वे इस कार्य में बेहतर होते गए, ठीक वैसे ही जैसे मानक एआई मॉडल करते हैं।
यह काम करता है: उन्होंने सारांश बनाने के कार्य (लंखे समाचार लेखों को संक्षिप्त सारांश में बदलना) पर इसका परीक्षण किया। परिणाम उत्साहजनक थे: मॉडल ने ऐसे सारांश लिखना सीखा जो समझ में आने वाले थे, जिससे यह सिद्ध हुआ कि यह "बाइनरी शोर-सफाई" (binary noise-cleaning) विधि टेक्स्ट जेनरेट करने का एक व्यवहार्य तरीका है।
कमी: यह अभी भी पूर्ण नहीं है। सारांश बहुत अच्छे पारंपरिक मॉडलों जितने अच्छे नहीं थे, लेकिन पेपर का तर्क है कि यह केवल शुरुआत है। यह अवधारणा को सिद्ध करता है कि यह काम करती है और हमें बेहतरीन एआई बनाने के लिए पुराने "एक-समय-में-एक-शब्द" वाली लॉटरी प्रणाली की आवश्यकता नहीं है।

सारांश

BitLM एक नया आर्किटेक्चर है जो एआई को एक-एक करके शब्द चुनने से रोकता है। इसके बजाय, यह टेक्स्ट जनरेशन को स्टैटिक शोर के एक ब्लॉक को साफ करने की तरह मानता है ताकि शब्दों के एक समूह को एक साथ प्रकट किया जा सके। यह कहानी के तार्किक प्रवाह को बरकरार रखता है लेकिन एआई को समानांतर (parallel) में काम करने की अनुमति देता है, जिससे यह शब्दों के समूहों में उनके फिट होने के तरीके को समझने में बहुत तेज़ और अधिक कुशल हो सकता है।

BitLM का तकनीकी सारांश: बिटवाइज़ कंटीन्यूअस डिफ्यूजन के साथ मल्टी-टोकन लैंग्वेज जनरेशन को अनलॉक करना

समस्या विवरण (Problem Statement)

वर्तमान लार्ज लैंग्वेज मॉडल्स (LLMs) "नेक्स्ट-टोकन" प्रतिमान (paradigm) के तहत कार्य करते हैं, जो शब्दावली-स्तर के सॉफ्टमैक्स (softmax) के माध्यम से एक बार में एक टोकन उत्पन्न करते हैं। जबकि यह ऑटोरेग्रेसिव (AR) दृष्टिकोण महत्वपूर्ण सफलता लेकर आया है, यह इन्फरेंस (inference) के समय एक मौलिक अनुक्रमिक बाधा (sequential bottleneck) उत्पन्न करता है। प्राकृतिक भाषा स्वाभाविक रूप से मल्टी-टोकन इकाइयों (वाक्यांशों, n-grams) में संरचित होती है, फिर भी मानक इंटरफ़ेस परमाणु, श्रेणीगत निर्णयों को एक-एक करके लेने के लिए मजबूर करता है।

इस बाधा को कम करने के प्रयास, जैसे कि स्पेक्युलेटिव डिकोडिंग या ब्लॉकवाइज पैरेलल डिकोडिंग, अक्सर शब्दावली-सॉफ्टमैक्स इंटरफ़ेस को बरकरार रखते हैं, जिससे समानांतरता (parallelism) को एक बाहरी अनुकूलन के रूप में माना जाता है न कि एक मूल गुण के रूप में। इसके विपरीत, नॉन-ऑटोरेग्रेसिव या शुद्ध डिफ्यूजन मॉडल अक्सर उस कारण संबंधी संरचना (causal structure) का त्याग कर देते हैं जो प्रभावी भाषा मॉडलिंग के लिए आवश्यक है। शोध पत्र यह तर्क देता है कि शब्दावली सॉफ्टमैक्स एक ऐतिहासिक इंटरफ़ेस विकल्प है न कि एक मौलिक आवश्यकता, और आउटपुट स्पेस की ज्यामिति (geometry) को बदलकर बिना कारण निर्भरताओं (causal dependencies) से समझौता किए अधिक कुशल प्री-ट्रेनिंग और तेज़ इन्फरेंस को सक्षम किया जा सकता है।

कार्यप्रणाली: BitLM (Methodology: BitLM)

BitLM एक नवीन आर्किटेक्चर प्रस्तावित करता है जो मानक शब्दावली सॉफ्टमैक्स को एक निश्चित लंबाई के बाइनरी स्पेस में कंडीशनल डिनोइजिंग (conditional denoising) से बदल देता है। यह मॉडल एक ब्लॉक के भीतर कई टोकन को समानांतर में साकार करने के लिए एक कॉज़ल LLM बैकबोन को एक हल्के डिफ्यूजन हेड के साथ जोड़ता है।

1. बाइनरी टोकन इंटरफ़ेस (Binary Token Interface)

टोकन ID को सीधे प्रेडिक्ट करने के बजाय, BitLM प्रत्येक टोकन $y_i$ को $V$ आकार की शब्दावली से $B = \lceil \log_2 V \rceil$ लंबाई के एक निश्चित-लंबाई वाले बाइनरी कोड में मैप करता है।

मैपिंग (Mapping): टोकन ID को बाइनरी वेक्टर्स $\{-1, 1\}^B$ (Analog Bits के समान) में परिवर्तित किया जाता है, जहाँ $0 \to -1$ और $1 \to 1$ होता है।
एम्बेडिंग (Embedding): इन बाइनरी कोड्स को स्टैंडर्ड टोकन एम्बेडिंग्स के स्थान पर, एक पोजीशन-वाइज MLP के माध्यम से आयाम $B$ से बैकबोन के हिडन डायमेंशन $d$ तक लिफ्ट किया जाता है।

2. ब्लॉक-कॉज़ल फैक्टराइजेशन (Block-Causal Factorization)

मॉडल $m$ आकार के ब्लॉक्स में टेक्स्ट जेनरेट करता है। यह एक ब्लॉक-कॉज़ल अटेंशन मास्क का उपयोग करता है:

एक ही ब्लॉक के भीतर के टोकन एक-दूसरे पर अटेंड (attend) कर सकते हैं (संयुक्त प्राप्ति/joint realization की अनुमति देने के लिए)।
ब्लॉक $n$ के टोकन केवल ब्लॉकों $1 $से$ n-1$ तक अटेंड कर सकते हैं (ब्लॉकों के बीच कारण संबंधी निर्भरता बनाए रखने के लिए)।
यह मॉडल मानक AR मॉडल्स की कॉज़ल इंडक्टिव बायस को बनाए रखते हुए समानांतरता की डिग्री ( $m$ ) को बदलने की अनुमति देता है।

3. कंडीशनल डिफ्यूजन हेड (Conditional Diffusion Head)

प्रत्येक लक्षित ब्लॉक $n$ के लिए, मॉडल पिछले ब्लॉक ( $n-1$ ) के हिडन स्टेट्स की स्थिति में जनरेशन को एक डिनोइजिंग समस्या के रूप में मानता है:

नॉइज़ प्रोसेस (Noise Process): एक क्लीन बाइनरी ब्लॉक $A_0$ को लीनियर इंटरपोलेशन के माध्यम से गॉसियन नॉइज़ के साथ दूषित करके एक नॉइज़ी स्टेट $A_t$ बनाया जाता है (जहाँ $t \in [0, 1]$ )।
डिनोइजिंग (Denoising): एक हल्का डिफ्यूजन हेड, नॉइज़ी इनपुट $A_t$ , टाइमस्टेप $t$ , और कॉन्टेक्स्टुअल कंडीशन $C_{n-1}$ (बैकबोन से हिडन स्टेट्स) को देखते हुए क्लीन ब्लॉक $\hat{A}_0}$ की भविष्यवाणी करता है।
ट्रेनिंग ऑब्जेक्टिव (Training Objective): मॉडल प्रेडिक्टेड क्लीन ब्लॉक और ग्राउंड ट्रुथ क्लीन ब्लॉक के बीच $L_2$ लॉस को मिनिमाइज करने के लिए प्रशिक्षित किया जाता है ( $x_0$ -prediction)।
इन्फरेंस (Inference): जनरेशन गॉसियन नॉइज़ के साथ एक ब्लॉक को इनिशियलाइज़ करके और $K$ स्टेप्स के माध्यम से पुनरावृत्त रूप से डिनोइजिंग करके आगे बढ़ता है। अंत में, एक हार्ड साइन प्रोजेक्शन ( $\text{sign}(\cdot)$ ) निरंतर आउटपुट को डिस्क्रीट बाइनरी हाइपरक्यूब में मैप करता है, जिसे फिर टोकन ID में डिकोड किया जाता है।

4. आर्किटेक्चर विवरण (Architecture Details)

बैकबोन (Backbone): Qwen-3 (कॉज़ल ट्रांसफार्मर) के आर्किटेक्चर का अनुसरण करता है।
डिफ्यूजन हेड (Diffusion Head): BitDance (लाइटवेट, कंडीशनिंग के लिए Adaptive Layer Normalization का उपयोग करता है) का अनुसरण करता है।
ट्रेनिंग (Training): FineWeb (350B टोकन) पर प्री-ट्रेन किया गया और XSum पर फाइन-ट्यून किया गया।

मुख्य योगदान (Key Contributions)

बाइनरी-कोड फॉर्मूलेशन (Binary-Code Formulation): एक ऐसा भाषा मॉडलिंग फ्रेमवर्क पेश करता है जो शब्दावली-स्तर के प्रेडिक्शन को बाइनरी स्पेस में डिनोइजिंग से बदल देता है, जिससे टोकन जनरेशन को कैटेगोरिकल सिलेक्शन के बजाय इटरेटिव कमिटमेंट के रूप में पुनर्परिभाषित किया जाता है।
नेटिव ब्लॉक-कॉज़ल पैरेललिज्म (Native Block-Causal Parallelism): एक ऐसा आर्किटेक्चर प्रस्तावित करता है जो ब्लॉकों के बीच कारण संबंधी निर्भरताओं को बनाए रखते हुए ब्लॉक्स के भीतर मल्टी-टोकन जॉइंट रियलाइजेशन को स्वाभाविक रूप से सक्षम बनाता है। स्पेक्युलेटिव डिकोडिंग के विपरीत, यह समानांतरता एक नेटिव परिणाम है, न कि एक पोस्ट-हॉक डिकोडिंग ट्रिक।
ज्यामितीय परिप्रेक्ष्य (Geometric Perspective): यह दृष्टिकोण प्रस्तुत करता है कि सिम्बोलिक आउटपुट स्पेस की ज्यामिति (simplex बनाम binary hypercube) डिकोडिंग रिजीम को मौलिक रूप से बदल देती है, जिससे पता चलता है कि बड़ा-शब्दावली वाला सॉफ्टमैक्स भाषा मॉडलिंग के लिए एकमात्र व्यवहार्य एंडपॉइंट नहीं है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 0.6B से 8B पैरामीटर्स तक के मॉडल साइज के साथ BitLM का मूल्यांकन किया।

स्केलेबिलिटी (Scalability): FineWeb पर प्री-ट्रेनिंग लॉस मॉडल साइज बढ़ने के साथ लगातार घटता है, जो दर्शाता है कि बाइनरी डिफ्यूजन इंटरफ़ेस प्रभावी ढंग से स्केल करता है।
इन्फरेंस सेटिंग्स (Inference Settings): XSum समराइजेशन टास्क पर इष्टतम प्रदर्शन 15 डिनोइजिंग स्टेप्स और 9.0 के क्लासिफायर-फ्री गाइडेंस स्केल के साथ प्राप्त किया गया।
XSum प्रदर्शन:
- फाइन-ट्यूनिंग के बाद, 8B BitLM (डिफ्यूजन हेड के साथ) ने 26.05 / 6.44 / 20.12 का ROUGE-1/2/L स्कोर हासिल किया।
- यह प्रदर्शन Lead-3 बेसलाइन और प्री-ट्रेन्ड BitLM से बेहतर है, जो दर्शाता है कि मॉडल गैर-मामूली (non-trivial) समराइजेशन मैपिंग सीखता है।
- हालांकि, परिणाम मजबूत पॉइंटर-जेनरेटर बेसलाइन्स (जैसे PTGEN+COV) से नीचे हैं। लेखक इन परिणामों को "उम्मीदजनक लेकिन प्रारंभिक" बताते हुए नोट करते हैं कि बाइनरी फॉर्मूलेशन अभी तक अत्यधिक सटीक लेक्सिकल रियलाइजेशन की आवश्यकता वाले कार्यों के लिए पूरी तरह से अनुकूलित नहीं है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि BitLM यह प्रदर्शित करता है कि "वन-टोकन-एट-अ-टाइम" प्रतिमान एक इंटरफ़ेस विकल्प है न कि एक मौलिक आवश्यकता। कॉज़ल रीजनिंग (जो LLM बैकबोन द्वारा संभाली जाती है) को सिम्बोलिक रियलाइजेशन (जो डिफ्यूजन हेड द्वारा संभाला जाता है) से अलग करके, BitLM एक नया डिज़ाइन आयाम प्रदान करता है: सिम्बोलिक आउटपुट स्पेस की ज्यामिति।

लेखक यह दावा नहीं करते हैं कि BitLM वर्तमान में सभी मेट्रिक्स में स्टेट-ऑफ-द-आर्ट सॉफ्टमैक्स-आधारित मॉडल्स से बेहतर प्रदर्शन करता है। इसके बजाय, वे तर्क देते हैं कि:

आउटपुट ज्योमेट्री को बदलने से बिना कॉज़ल स्ट्रक्चर से समझौता किए नेटिव पैरेलल जनरेशन संभव होता है।
बाइनरी डिफ्यूजन इंटरफ़ेस डाउनस्ट्रीम टेक्स्ट जनरेशन के लिए एक व्यवहार्य विकल्प है, जैसा कि सफल प्री-ट्रेनिंग और फाइन-ट्यूनिंग से सिद्ध होता है।
यह दृष्टिकोण भविष्य के अनुसंधान के लिए मार्ग प्रशस्त करता है, जिसमें सीखे गए बाइनरी कोड्स, एडेप्टिव ब्लॉक साइज़ और हाइब्रिड आर्किटेक्चर शामिल हैं जो पैरेलल जनरेशन की दक्षता को उच्च-गुणवत्ता वाली भाषा मॉडलिंग के साथ जोड़ते हैं।

यह कार्य अगली पीढ़ी के आर्किटेक्चर की ओर एक कदम के रूप में प्रस्तुत किया गया है, जो सुझाव देता है कि "लार्ज-वोकैबुलरी सॉफ्टमैक्स" एक ऐतिहासिक अवशेष है जिसे दक्षता और अभिव्यक्ति को अनलॉक करने के लिए बदला जा सकता है।