💬 NLP

Triplet-Block Diffusion RWKV

यह शोध पत्र $B^3D-RWKV$ को प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो ट्रिप्लेट-ब्लॉक लेआउट के माध्यम से कॉज़ल RWKV मॉडल की $O(L)$ इन्फरेंस दक्षता को समानांतर द्विदिश (bidirectional) डिस्क्रीट डिफ्यूजन के साथ एकीकृत करता है, जिससे मौजूदा मॉडलों के तुलनीय सटीकता प्राप्त करने के साथ-साथ डिकोडिंग थ्रूपुट में 1.6 गुना की तेजी प्राप्त होती है।

मूल लेखक: Ke Lin, Yiyang Luo, Zhaolong Su, Yunya Song, Anyi Rao

प्रकाशित 2026-05-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ke Lin, Yiyang Luo, Zhaolong Su, Yunya Song, Anyi Rao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Triplet-Block Diffusion RWKV" (B3D-RWKV) पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रचनात्मक उपमाओं (analogies) में तोड़ा गया है।

बड़ी समस्या: "एकतरफा रास्ता" बनाम "ग्रुप प्रोजेक्ट"

कहानी लिखने के दो अलग-अलग तरीके कल्पना करें:

सख्त कॉज़ल मॉडल (The "One-Way Street" - एकतरफा रास्ता):
एक पारंपरिक AI के बारे में सोचें जो केवल उन शब्दों को देख सकता है जिन्हें उसने पहले ही टाइप कर दिया है। वे शब्द-दर-शब्द, बाएँ से दाएँ लिखते हैं। वे नहीं देख सकते कि आगे क्या आने वाला है।
- अच्छाई: वे लंबे दस्तावेज़ों को पढ़ने में बहुत तेज़ होते हैं क्योंकि उन्हें हर बार नया शब्द जोड़ने के लिए सब कुछ फिर से पढ़ने की ज़रूरत नहीं होती।
- बुराई: वे टेक्स्ट जनरेट करने में धीमे होते हैं क्योंकि वे एक साथ दो शब्द नहीं लिख सकते। उन्हें शब्द #2 शुरू करने से पहले शब्द #1 को पूरा करना ही होगा।
डिफ्यूजन मॉडल (The "Group Project" - ग्रुप प्रोजेक्ट):
एक अलग AI के बारे में सोचें जो एक खाली पन्ने से शुरू करता है जो "गिबरिश" या "मास्क" (जैसे [MASK]) से भरा होता है। शब्द-दर-शब्द लिखने के बजाय, यह पूरे पन्ने को एक साथ देखता है, अंदाज़ा लगाता है कि गायब शब्द क्या होने चाहिए, कुछ शब्दों को ठीक करता है, और तब तक दोहराता रहता है जब तक कहानी समझ में न आ जाए।
- अच्छाई: यह एक साथ कई शब्दों को ठीक कर सकता है (पैरेलल प्रोसेसिंग), जिससे यह संभावित रूप से बहुत तेज़ हो जाता है।
- बुराई: इसे ऐसा करने के लिए, इसे एक ही समय में पूरे संदर्भ (जो पहले आया और जो बाद में आएगा) को देखने की आवश्यकता होती है। इसके लिए आमतौर पर एक बहुत ही महंगे, धीमे कंप्यूटर आर्किटेक्चर की आवश्यकता होती है।

संघर्ष: आप इन दोनों को आसानी से मिला नहीं सकते। "एकतरफा रास्ता" वाला लेखक आगे नहीं देख सकता, लेकिन "ग्रुप प्रोजेक्ट" को एक साथ सब कुछ देखने की ज़रूरत होती है।

समाधान: "ट्रिपलेट-ब्लॉक" ट्रिक

लेखकों, की लिन (Ke Lin) और सहयोगियों ने Triplet-Block Layout नामक एक चतुर प्रशिक्षण तकनीक विकसित की। उन्होंने यह पता लगाया कि कैसे "एकतरफा रास्ता" वाले लेखक को बिना उसके दिमाग को बदले, एक "ग्रुप प्रोजेक्ट" टीम की तरह काम करना सिखाया जाए।

यह ट्रिक कैसे काम करती है, इसे रिहर्सल (अभ्यास) की उपमा से समझें:

कल्प imagine करें कि आप एक अभिनेता (AI) हैं जो केवल बाएं से दाएं स्क्रिप्ट पढ़ सकते हैं। आपको एक दृश्य सीखना है जहाँ आपको गायब लाइनों का अनुमान लगाना है, लेकिन सही अनुमान लगाने के लिए आपको उन लाइनों को जानने की ज़रूरत है जो आपके वर्तमान स्थान के बाद आती हैं।

लेखकों ने हर दृश्य के लिए एक तीन-भाग वाला अभ्यास (rehearsal) तैयार किया है:

भाग 1 (द मास्कड कॉपी): आप दृश्य को पढ़ते हैं, लेकिन आधी लाइनें काली टेप से ढकी हुई हैं ([MASK)। आप इसे बाएं से दाएं पढ़ते हैं।
भाग 2 (द लॉसबल मास्कड कॉपी): आप बिल्कुल उसी दृश्य को फिर से पढ़ते हैं, उसी काली टेप के साथ। यहीं पर आपका परीक्षण किया जाता है। आपको गायब लाइनों का अनुमान लगाना है।
- जादू: क्योंकि आपने भाग 1 अभी पढ़ा है, आपके मस्तिष्क (AI की आंतरिक मेमोरी) ने भाग 1 से सभी दृश्यमान लाइनों को पहले ही आत्मसात कर लिया है। भले ही आप भाग 2 को सख्ती से बाएं से दाएं पढ़ रहे हैं, आपका मस्तिष्क दृश्य के दाहिनी ओर के संदर्भ को पहले से ही "जानता" है क्योंकि वह भाग 1 में मौजूद था।
- परिणाम: आप "स्यूडो-बायडायरेक्शनल" (छद्म-द्विदिश) ज्ञान के साथ गायब लाइनों का अनुमान लगाते हैं (आप अतीत और भविष्य दोनों को जानते हैं) जबकि अभी भी बाएं से दाएं पढ़ रहे होते हैं।
भाग 3 (द क्लीन कॉपी): आप एक आखिरी बार पूरा, सटीक दृश्य पढ़ते हैं। यह आपके मस्तिष्क को रीसेट करता है ताकि आप अगले दृश्य के लिए तैयार हो सकें।

इस ट्रिपलेट पैटर्न (Masked -> Masked/Test -> Clean) को दोहराकर, AI उन शब्दों की भविष्यवाणी करना सीख जाता है जो "भविष्य" (जो वास्तव में प्रशिक्षण अनुक्रम में पिछला ब्लॉक था) का उपयोग करके गायब हैं, जबकि यह अपनी मूल "एकतरफा रास्ते" की गति को बनाए रखता है।

परिणाम: तेज़ और सटीक

टीम ने इस पद्धति का उपयोग करके B3D-RWKV-7.2B नामक एक मॉडल बनाया। उन्होंने यह पाया:

गति: क्योंकि उन्होंने "एकतरफा रास्ता" आर्किटेक्चर (RWKV) को बरकरार रखा, इसलिए मॉडल डिकोडिंग में अविश्वसनीय रूप से तेज़ है। उनका दावा है कि यह मानक संस्करण की तुलना में 1.6 गुना तेज़ है।
समझ (Smarts): यह सामान्य कार्यों (जैसे सवालों के जवाब देना या कहानियाँ लिखना) पर अन्य शीर्ष-स्तरीय मॉडलों के समान प्रदर्शन करता है।
समझौता (Trade-off): पेपर नोट करता है कि बहुत जटिल गणितीय समस्याओं के लिए जिनमें सटीक, चरण-दर-चरण तर्क की आवश्यकता होती है, "अनुमान लगाने" की प्रकृति के कारण कभी-कभी छोटी गलतियाँ हो सकती हैं। हालांकि, अधिकांश कार्यों के लिए, यह अपना स्तर बनाए रखता है।

संक्षेप में

यह पेपर एक विरोधाभास को हल करता है: एक तेज़, बाएं-से-दाएं लिखने वाले को एक स्मार्ट, सर्वव्यापी संपादक की तरह कैसे बनाया जाए?

उन्होंने इसे लेखक को लगातार तीन बार दृश्य का अभ्यास कराने के माध्यम से किया। पहला अभ्यास संदर्भ के साथ लेखक की मेमोरी भर देता है, दूसरा उन्हें अपनी मेमोरी का उपयोग करके गायब हिस्सों का अनुमान लगाने का अभ्यास करने देता है, और तीसरा अगले दृश्य के लिए स्लेट साफ कर देता है। यह उन्हें एक रैखिक लेखक की गति बनाए रखते हुए डिफ्यूजन मॉडल की समानांतर शक्ति प्राप्त करने की अनुमति देता है।

वे क्या दावा नहीं करते:

वे यह दावा नहीं करते कि यह चिकित्सा निदान या क्लिनिकल उपयोगों के लिए काम करता है।
वे यह दावा नहीं करते कि यह सभी AI समस्याओं के लिए एक जादुई समाधान है; वे स्वीकार करते हैं कि यह जटिल गणितीय संरचनाओं के साथ थोड़ा संघर्ष करता है।
वे स्पष्ट रूप से कहते हैं कि उन्होंने मॉडल की सुरक्षा विशेषताओं को नहीं बदला है, इसलिए यह मूल मॉडल के किसी भी पूर्वाग्रह (biases) को विरासत में लेता है।

तकनीकी सारांश: ट्रिपलेट-ब्लॉक डिफ्यूजन RWKV (B3D-RWKV)

समस्या विवरण

कॉज़ल ट्रांसफॉर्मर लैंग्वेज मॉडल्स दो प्राथमिक संरचनात्मक सीमाओं का सामना करते हैं: सख्त अनुक्रमिक डिकोडिंग (strictly sequential decoding), जो समानांतरकरण (parallelization) को रोकता है, और प्रति-चरण द्विघातीय अटेंशन लागत (quadratic per-step attention costs), जो लंबे संदर्भ वाले इन्फरेंस को कम्प्यूटेशनल रूप से महंगा बना देती है। जबकि लीनियर-टाइम कॉज़ल मॉडल्स (जैसे, RWKV) और डिस्क्रीट डिफ्यूजन मॉडल्स प्रत्येक स्वतंत्र रूप से इन कमजोरियों को संबोधित करते हैं, उनका एकीकरण स्वाभाविक रूप से असंगत रहा है। डिफ्यूजन मॉडल्स को टोकन ब्लॉक्स को समानांतर में डिनोइज़ करने के लिए द्विदिश (bidirectional) अटेंशन की आवश्यकता होती है, जबकि कॉज़ल मॉडल्स सख्ती से एकदिशीय (unidirectional) होते हैं। मौजूदा प्रयास अक्सर उन्हें जोड़ने के लिए ऐसी वास्तुशिल्प संशोधनों की मांग करते हैं जो या तो मूल लीनियर-टाइम बैकबोन की दक्षता से समझौता करते हैं या उन्हें शून्य से प्रशिक्षित करने की आवश्यकता होती है।

कार्यप्रणाली

लेखक B3D-RWKV का प्रस्ताव करते हैं, जो एक डिफ्यूजन-शैली का RWKV वेरिएंट है जो मूल कॉज़ल बैकबोन को बदले बिना $O(L)$ इन्फरेंस दक्षता को समानांतर, द्विदिश डिस्क्रीट डिफ्यूजन के साथ एकीकृत करता है। मुख्य नवाचार ट्रिपलेट-ब्लॉक लेआउट (Triplet-Block Layout) है, जो एक प्रशिक्षण और इन्फरेंस रणनीति है जिसे सख्ती से कॉज़ल आर्किटेक्चर के भीतर द्विदिश एक्सेस को सिम्युलेट करने के लिए डिज़ाइन किया गया है।

1. ट्रिपलेट-ब्लॉक लेआउट (प्रशिक्षण)

एक कॉज़ल मॉडल पर डिफ्यूजन सक्षम करने के लिए, आकार $B$ के प्रत्येक लॉजिकल जनरेशन ब्लॉक को प्रशिक्षण नमूने के भीतर तीन निरंतर भौतिक ब्लॉक्स में विस्तारित किया जाता है:

$b_1$ (मास्क्ड कॉपी): लॉजिकल ब्लॉक का एक मास्क्ड संस्करण।
$b_2$ (लॉसएबल मास्क्ड कॉपी): एक समान मास्क्ड कॉपी जहाँ डिनोइज़िंग लॉस की गणना की जाती है।
$b_3$ (क्लीन ग्राउंड-ट्रुथ कॉपी): एक अनमास्क्ड संस्करण जो अगले ब्लॉक के लिए रिकरेंट स्टेट को रिफ्रेश करता है।

स्यूडो-द्विदिश एक्सेस (Pseudo-Bidirectional Access):
चूंकि कॉज़ल बैकबोन टोकन को सख्ती से बाएं-से-दाएं प्रोसेस करता है, इसलिए $b_2$ में किसी भी मास्क्ड पोजीशन पर पहुँचने वाला हिडन स्टेट पहले से ही $b_1$ के संपूर्ण हिस्से को प्रोसेस कर चुका होता है। चूंकि $b_1$ और $b_2$ एक ही मास्क पैटर्न साझा करते हैं, इसलिए $b_1$ में अनमास्क्ड टोकन प्रभावी रूप से हिडन स्टेट में "अवशोषित" हो जाते हैं, इससे पहले कि मॉडल $b_2$ में मास्क्ड टोकन की भविष्यवाणी करने का प्रयास करे। यह मॉडल को अपने स्वयं के अनमास्क्ड कॉन्टेक्स्ट तक स्यूडो-द्विदिश एक्सेस प्रदान करता है, जो RNN/SSM बैकबोन की एकदिशीय प्रकृति को बनाए रखते हुए डिफ्यूजन की द्विदिश आवश्यकताओं को पूरा करता है।

प्रशिक्षण उद्देश्य:
मॉडल को मास्क-प्रेडिक्शन ऑब्जेक्टिव का उपयोग करके प्रशिक्षित किया जाता है। लॉस में शामिल हैं:

क्रॉस-एन्ट्रॉपी लॉस ( $L_{CE}$ ): उन सुपरवाइज्ड पोजीशंस पर कंप्यूट किया जाता है जहाँ टोकन मास्क्ड हैं।
कॉन्फिडेंस-अवेयर पैरेलल लॉस ( $L_{CAP}$ ): LLaDA-2.0 के अनुसरण में, यह टर्म उन पोजीशंस पर प्रोबेबिलिटी डिस्ट्रीब्यूशन को शार्प करती है जो पहले से सही ढंग से प्रेडिक्ट किए जा चुके हैं, जिससे इन्फरेंस सैम्पलर को प्रति स्टेप अधिक टोकन कमिट करने के लिए प्रोत्साहित किया जाता है।

2. इन्फरेंस: ब्लॉक-वाइज इटरेटिव डिनोइज़िंग

इन्फरेंस के दौरान, मॉडल एक समय में एक लॉजिकल ब्लॉक जेनरेट करता है। इस प्रक्रिया में शामिल हैं:

सभी टोकन्स को मास्क्ड रखकर एक ब्लॉक को इनिशियलाइज़ करना।
इटरेटिव डिनोइज़िंग स्टेप्स चलाना जहाँ मॉडल मास्क्ड पोजीशंस के लिए टॉप-1 प्रोबेबिलिटी प्रेडिक्ट करता है।
उन टोकन्स को कमिट (Commit) करना जिनका टॉप-1 प्रोबेबिलिटी थ्रेशोल्ड $\tau$ से अधिक है।
एक फॉलबैक मैकेनिज्म यह सुनिश्चित करने के लिए प्रगति सुनिश्चित करता है कि यदि $k_{min}$ से कम टोकन्स थ्रेशोल्ड पार करते हैं, तो सबसे अधिक कॉन्फिडेंट $k_{min}$ टोकन्स को कमिट किया जाए।
एक बार सभी पोजीशंस कमिट हो जाने के बाद, क्लीन ब्लॉक को प्रीफिक्स के साथ जोड़ा जाता है, और अगला लॉजिकल ब्लॉक शुरू होता है।

मुख्य योगदान

B3D-RWKV-7.2B: मास्क-प्रेडिक्शन ऑब्जेक्टिव के साथ प्रशिक्षित पहला डिफ्यूजन-स्टाइल, लीनियर-टाइम RNN लैंग्वेज मॉडल है जो 7B स्केल पर है। यह मूल पैरामीटर्स को बदले बिना RWKV-7 बैकबोन में समानांतर टोकन सिलेक्शन को एकीकृत करता है।
ट्रिपलेट-ब्लॉक फ्रेमवर्क: एक यूनिवर्सल ट्रेनिंग रेसिपी जो सख्त कॉज़ल बैकबोन्स (जो सख्त कॉजालिटी और फॉरवर्ड-प्रोपगेटिंग स्टेट प्रॉपर्टीज को संतुष्ट करते हैं) को ब्लॉक-डिफ्यूजन मॉडल्स में बदल देती है। यह दृष्टिकोण बैकबोन को द्विदिश ब्लॉक में बदलने की आर्किटेक्चरल जटिलता से बचता है।
दक्षता और प्रदर्शन: यह विधि मानक कॉज़ल डिकोडिंग की तुलना में थ्रूपुट में महत्वपूर्ण सुधार प्राप्त करती है और साथ ही प्रतिस्पर्धी रीजनिंग क्षमताओं को बनाए रखती है।

प्रयोगात्मक परिणाम

मॉडल का मूल्यांकन 8-टास्क सूट पर किया गया जिसमें सामान्य ज्ञान (MMLU, ARC, PIQA, RACE) और रीजनिंग/मैथ टास्क (GSM8K, MATH, GPQA) शामिल हैं।

सटीकता (Accuracy): B3D-RWKV-7.2B, RWKV-7 बेसलाइन और समान स्केल के अन्य डिफ्यूजन मॉडल्स (जैसे, LLaDA-8B, Dream-7B) के समान सटीकता प्राप्त करता है। यह विशेष रूप से ARC-Challenge और RACE जैसे रीजनिंग टास्क पर बेसलाइन्स से बेहतर प्रदर्शन करता है, जिसका श्रेय स्यूडो-द्विदिश धारणा (pseudo-bidirectional perception) को जाता है जो रीजनिंग को बेहतर बनाती है।
थ्रूपुट (Throughput): मॉडल 1K से 512K टोकन की कॉन्टेक्स्ट लेंथ के बीच RWKV-7 बेसलाइन की तुलना में डिकोडिंग थ्रूपुट में 1.6× औसत स्पीडअप प्रदर्शित करता है। एडजस्टेड सैम्पलिंग पैरामीटर्स के साथ, थोड़े से क्वालिटी ट्रेड-ऑफ के साथ 2.02× स्पीडअप प्राप्त किया जा सकता है।
मैथ रीजनिंग: पेपर नोट करता है कि जटिल गणितीय कार्यों (जैसे, MATH) पर कॉज़ल बेसलाइन की तुलना में प्रदर्शन में मामूली गिरावट आई है। लेखक इसका श्रेय पैरेलल डिकोडिंग की प्रकृति को देते हैं, जो अत्यधिक संरचित, स्टेप-बाय-स्टेप वेरिफिकेशन की आवश्यकता वाले सिम्बोलिक मैथ समस्याओं के लिए संघर्ष करती है जहाँ आंशिक क्रेडिट नहीं दिया जाता है।

महत्व और दावे

पेपर का दावा है कि यह बिना आर्किटेक्चरल बदलाव के प्री-ट्रेंड कॉज़ल लैंग्वेज मॉडल्स को डिफ्यूजन लैंग्वेज मॉडल्स में बदलने का एक कुशल मार्ग प्रदान करता है। ट्रिपलेट-ब्लॉक लेआउट का लाभ उठाकर, B3D-RWKV सफलतापूर्वक लीनियर-टाइम मॉडल्स की $O(L)$ इन्फरेंस दक्षता को डिफ्यूजन की समानांतर डिकोडिंग क्षमताओं के साथ जोड़ता है।

लेखक कॉज़ल और डिफ्यूजन प्रतिमानों (paradigms) के बीच असंगति के लिए एक संरचनात्मक समाधान के रूप में इस कार्य को प्रस्तुत करते हैं। वे सीमाओं को स्वीकार करते हैं, जिसमें वर्तमान में एकल बैकबोन (RWKV-7) पर वैलिडेशन, प्रशिक्षण के दौरान 3× फिजिकल सीक्वेंस लेंथ कॉस्ट, और अपेक्षाकृत छोटा SFT डेटासेट का उपयोग शामिल है, जो विशिष्ट कार्यों पर सटीकता में गिरावट का कारण हो सकता है। हालांकि, मुख्य योगदान डेटा लेआउट के माध्यम से उच्च-थ्रूपुट, समानांतर डिफ्यूजन जनरेशन को सख्ती से कॉज़ल, लीनियर-टाइम बैकबोन्स पर प्राप्त करना संभव बनाना है।