💬 NLP

Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models

यह शोध पत्र हिडन डिकोडिंग (Hidden Decoding) को प्रस्तुत करता है, जो एक नवीन स्केलिंग विधि है जो स्ट्रीम फैक्टराइजेशन के माध्यम से अनुक्रम-लंबाई (sequence-length) आयाम के साथ टोकन गणना का विस्तार करके लार्ज लैंग्वेज मॉडल्स को उन्नत करती है, जिससे फिक्स्ड ट्रांसफार्मर बैकबोन को संशोधित किए बिना या अत्यधिक प्रशिक्षण लागतों के बिना फ्रंटियर स्केल्स पर महत्वपूर्ण प्रदर्शन लाभ सक्षम होता है।

मूल लेखक: Aiwei Liu, Cheng Shi, Chuhan Wu, Ci Lei, Di Lu, Donald He, Fan Zhang, Fanhao Kong, Feifei Zhang, Guan Wang, Haicheng Wang, Haoyu Liu, Houjin Yu, Jiachen Ding, Jiayi Feng, Jie Zhou, Jijun Chi, Jindi Sh

प्रकाशित 2026-07-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Aiwei Liu, Cheng Shi, Chuhan Wu, Ci Lei, Di Lu, Donald He, Fan Zhang, Fanhao Kong, Feifei Zhang, Guan Wang, Haicheng Wang, Haoyu Liu, Houjin Yu, Jiachen Ding, Jiayi Feng, Jie Zhou, Jijun Chi, Jindi Shi, Jing Lei, Junjie Zhang, Laiyi Li, Le Tian, Linhao Zhang, Miao Fan, Sijun Zhang, Wei Jia, Weiwei Shi, Wenhan Li, Wentao Zhao, Wenteng Liang, Xiao Zhou, Xiaojin Zhou, Xihuai Wang, Xinyu Gao, Xuanliang Wang, Xuyang Ao, Yang Yu, Yangxiu You, Yinuo Zhao, Yufei Kuang, Yufei Wang, Yuan Liu, Yuan Liu, Yuwen Chen, Zhencong Tian, Zhongyin Zhao, Zilin Yu, Zitao Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट दिमाग (एक लार्ज लैंग्वेज मॉडल) है जो पहले से ही काफी अद्भुत है। आमतौर पर, इसे और भी स्मार्ट बनाने के लिए, वैज्ञानिक इसके दिमाग को बड़ा करने की कोशिश करते हैं—अधिक परतें (layers), अधिक न्यूरॉन्स, और सब कुछ जोड़कर। लेकिन यह एक गगनचुंबी इमारत के ऊपर दूसरी गगनचुंबी इमारत बनाने जैसा है: इसमें बहुत पैसा खर्च होता है, इसमें बहुत समय लगता है, और कभी-कभी निर्माण दल (ट्रेनिंग कंप्यूटर्स) इसका आकार संभालने में सक्षम नहीं होते।

वीचैट (WeChat) एआई टीम ने एक अलग सवाल पूछा: क्या होगा अगर हम दिमाग का आकार बिल्कुल वही रखें, लेकिन उसे प्रत्येक शब्द के बारे में सोचने के लिए अधिक समय दें?

"लूपिंग" (Looping) के साथ समस्या

कुछ शोधकर्ताओं ने इसे रोबोट के सोचने के तरीके को "लूप" बनाकर हल करने की कोशिश की। कल्पना कीजिए कि एक छात्र एक वाक्य पढ़ता है, फिर उसे फिर से पढ़ता है, फिर से पढ़ता है, एक ही ब्रेन सेल्स का बार-बार उपयोग करके एक बेहतर उत्तर प्राप्त करता है। इसे "लूप्ड" या "रिकरेंट" (recurrent) मॉडल कहा जाता है।

लेकिन यहाँ एक पेंच है: जब आप सबसे बड़े रोबोट्स (वे जिनमें सैकड़ों अरब पैरामीटर्स होते हैं) को प्रशिक्षित करने की कोशिश करते हैं, तो यह लूपिंग वाला विचार असेंबली लाइन को तोड़ देता है। जो कंप्यूटर इन मॉडल्स को प्रशिक्षित करते हैं, वे एक पाइपलाइन में काम करते हैं, जहाँ दिमाग का प्रत्येक हिस्सा अपना काम एक बार करता है और फिर अगली बारी सौंप देता है। यदि आप रोबोट को एक ही वाक्य को बार-बार पढ़ने के लिए रोक देते हैं, तो पूरी लाइन रुक जाती है, और महंगे कंप्यूटर खाली बैठे रहते हैं। यह एक फैक्ट्री कन्वेयर बेल्ट की तरह है जो एक कर्मचारी को एक ही पेंच को दोबारा करने देने के लिए बार-बार रुक जाती है; इससे फैक्ट्री का काम ठप हो जाता है।

समाधान: "हिडन डिकोडिंग" (Hidden Decoding - गुप्त असेंबली लाइन)

वीचैट टीम ने हिडन डिकोडिंग नामक एक चतुर तकनीक विकसित की। रोबोट को एक ही शब्द को बार-बार लूप में पढ़ने के बजाय, वे रोबोट को उस शब्द को एक साथ कई बार पढ़ने के लिए कहते हैं, लेकिन गुप्त समानांतर लेन (parallel lanes) में।

इसे एक रेस कार टीम की तरह समझें। एक कार को सबसे अच्छा लैप टाइम पाने के लिए ट्रैक के चक्कर लगाने के बजाय, वे एक साथ चार समान कारें (streams) ट्रैक पर भेजते हैं।

सेटअप: जब रोबमा को एक शब्द (जैसे "apple") दिखता है, तो वह केवल उसे एक कोड में नहीं बदलता। वह उसे चार अलग-अलग कोड में बदल देता है, जिनमें से प्रत्येक अपनी गुप्त लेन में जाता है।
गुप्त कार्य: ये चार लेन दिमाग की परतों से होकर गुजरती हैं। पहली तीन लेन "छिपी हुई" (hidden) होती हैं। वे सारा भारी काम, सोच-विचार और तर्क करती हैं, लेकिन उन्हें अभी उत्तर बोलने की अनुमति नहीं है। वे बैक रूम में काम करने वाली विचार-मंथन टीम (brainstorming team) की तरह हैं।
अंतिम निर्णय: केवल चौथी लेन (अंतिम स्ट्रीम) को अगला शब्द बोलने की अनुमति होती है। दिमाग को केवल इस अंतिम उत्तर के लिए ही ग्रेड दिया जाता है।
स्मृति (Memory): महत्वपूर्ण बात यह है कि दिमाग याद रखता है कि पहली तीन लेन ने क्या सोचा था। वे अपने नोट्स (जिन्हें "की-वैल्यू कैश" कहा जाता है) रखते हैं ताकि अगला शब्द पिछले शब्द के विचार-मंथन वाले नोट्स को पढ़ सके।

इस तरह, रोबोट को हर शब्द के लिए चार गुना अधिक सोचने की शक्ति मिलती है, लेकिन इसे एक बड़ा दिमाग बनाने या असेंबली लाइन को रोकने की आवश्यकता नहीं होती। यह बस एक बार में डेटा के एक लंबे अनुक्रम (sequence) को प्रोसेस करता है।

किफायती बनाना: "स्ट्रीम-फैक्टराइज्ड" (Stream-Factorized) ट्रिक

आप सोच सकते हैं, "रुको, अगर मेरी चार लेन आपस में बात कर रही हैं, तो क्या गणित बहुत जटिल नहीं हो जाएगा?" यदि प्रत्येक लेन हर चरण में एक-दूसरे से बात करने की कोशिश करती, तो लागत बहुत बढ़ जाती (यह 16 गुना तक बढ़ जाती!)।

इसे ठीक करने के लिए, टीम ने स्ट्रीम-फैक्टराइज्ड अटेंशन (Stream-Factorized Attention) नामक एक विधि का उपयोग किया।

ज्यादातर समय: लेन अपने स्वयं के बुलबुलों (bubbles) में रहती हैं। लेन 1, लेन 1 से बात करती है, लेन 2, लेन 2 से। वे एक-दूसरे को परेशान नहीं करतीं।
कभी-कभी: केवल कुछ विशिष्ट परतें ही लेन को नोट्स बदलने और अपने विचारों को मिलाने की अनुमति देती हैं।

यह लागत को कम रखता है। ऐसा नहीं होता कि लागत 16 गुना बढ़ जाए, बल्कि यह केवल लगभग 4.4 से 5.1 गुना तक बढ़ती है (जो कि 4x लेन की वृद्धि के करीब है)। यह इसे संभव बनाता है कि बिना बजट बिगाड़े इन सुपर-लार्ज मॉडल्स को प्रशिक्षित किया जा सके।

क्या यह काम आया?

टीम ने दो विशाल मॉडल्स पर इसका परीक्षण किया: एक 80 बिलियन पैरामीटर्स वाला और एक विशाल 617 बिलियन वाला मॉडल। उन्होंने दिमाग का आकार नहीं बदला; उन्होंने बस "4-लेन" मोड चालू कर दिया।

परिणाम: मॉडल्स अधिक स्मार्ट हो गए। कठिन गणित और विज्ञान परीक्षणों पर, 617-बिलियन मॉडल ने "GPQA डायमंड" टेस्ट पर अपने स्कोर को 89.1 से बढ़ाकर 91.2 कर दिया। भौतिकी के "PHYBench" टेस्ट पर, यह 75.3 से बढ़कर 76.3 हो गया।
ट्रेंड (Trend): उन्होंने 2 लेन, 4 लेन और 8 लेन के साथ भी परीक्षण किया। जैसे-जैसे उन्होंने अधिक लेन जोड़ीं, स्कोर बढ़ता गया। यह सुझाव देता है कि अधिक "सोचने वाली लेन" जोड़ना, नया बड़ा दिमाग बनाए बिना मॉडल्स को स्मार्ट बनाने का एक वास्तविक तरीका है।

उन्होंने क्या खारिज किया

टीम ने सावधानीपूर्वक जांच की कि क्या यह केवल एक इत्तेफाक था। उन्होंने अतिरिक्त लेन का उपयोग करने के अन्य तरीकों को भी आजमाया:

हर लेन को अनुमान लगाने के लिए मजबूर करना: यदि उन्होंने पहली तीन लेन को भी उत्तर का अनुमान लगाने के लिए मजबूर किया (केवल अंतिम लेन के बजाय), तो मॉडल वास्तव में खराब हो गया।
उत्तरों को मिलाना: यदि उन्होंने केवल चारों लेन के विचारों का औसत निकाला, तो यह अंतिम लेन द्वारा निर्णय लेने जितना प्रभावी नहीं रहा।
नोट्स साझा करना: यदि उन्होंने लेन को अपने स्वयं के नोट्स रखने के बजाय एक ही मेमोरी नोट्स साझा करने के लिए कहा, तो मॉडल थोड़ा कम सटीक हो गया।

यह साबित करता है कि असली सफलता (secret sauce) पहली लेन को शांत, निजी सोच करने देने और उनके नोट्स को अलग रखने में है, ताकि अंतिम लेन उस गहरे, संचित ज्ञान का उपयोग करके सबसे अच्छा अनुमान लगा सके।

निचोड़ (The Bottom Line)

हिडन डिकोडिंग दिखाती है कि स्मार्ट होने के लिए आपको हमेशा एक बड़े दिमाग की आवश्यकता नहीं होती। कभी-कभी, आपको बस दिमाग को समानांतर (parallel) रूप से सोचने के लिए अधिक समय देने की आवश्यकता होती है। एक शब्द को विचारों की एक गुप्त असेंबली लाइन में बदलकर, वीचैट टीम ने मौजूदा मॉडल्स की बुद्धिमत्ता को बढ़ाने का एक तरीका खोजा है, बिना एक नया, बड़ा दिमाग बनाए। यह हमारे पास मौजूद मॉडल्स से अधिक बुद्धिमत्ता निकालने का एक व्यावहारिक और इंजीनियरिंग-अनुकूल तरीका है।

तकनीकी सारांश: हिडन डिकोडिंग एट स्केल (Hidden Decoding at Scale)

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को स्केल करने के लिए पारंपरिक रूप से ट्रांसफॉर्मर बैकबोन को बड़ा करने पर निर्भर किया जाता रहा है, जिसके लिए महंगी प्रीट्रेनिंग की आवश्यकता होती है और इससे सर्विंग लागत बढ़ जाती है। पहले से ही मजबूत फाउंडेशन मॉडल्स के लिए, बैकबोन का विस्तार करना अक्सर अव्यावहारिक होता है। हालांकि हालिया कार्य सुझाव देते हैं कि (निश्चित पैरामीटर्स के साथ भी) प्रति टोकन अधिक गणना आवंटित करने से रीजनिंग और सटीकता में सुधार हो सकता है, लेकिन मौजूदा दृष्टिकोणों के सामने महत्वपूर्ण स्केलेबिलिटी बाधाएं हैं:

डेप्थ-रिकरेंट (लूपेड) ट्रांसफॉर्मर्स (Depth-Recurrent/Looped Transformers): ये गणना बढ़ाने के लिए एक ही ट्रांसफॉर्मर ब्लॉक्स को प्रति टोकन कई बार पुन: उपयोग करते हैं। हालांकि, इन्हें फ्रंटियर मॉडल्स (जैसे 100B+ पैरामीटर्स) तक स्केल करना कठिन है क्योंकि लूपेड कंप्यूटेशन की पुनरावृत्ति वाली प्रकृति उस पाइपलाइन पैरेललिज्म धारणाओं को तोड़ देती है जिसका उपयोग सबसे बड़े मॉडल्स को प्रशिक्षित करने के लिए किया जाता है, जिससे GPU आइडल टाइम (खाली समय) बढ़ जाता है।
सीक्वेंस-लेंथ एक्सपेंशन (Sequence-Length Expansion): केवल लंबे इनपुट फीड करना मानक ट्रेनिंग पाइपलाइनों के अनुकूल है, लेकिन इसके लिए एक ऐसे तरीके की आवश्यकता है जो केवल कॉन्टेक्स्ट विंडो बढ़ाकर नहीं, बल्कि उसी टोकन के लिए गणना को विस्तारित कर सके।

यह शोध पत्र मौजूदा ट्रांसफॉर्मर बैकबोन की गहराई या चौड़ाई को बदले बिना, प्रति-टोकन गणना बढ़ाकर उसे बेहतर बनाने की चुनौती का समाधान करता है, जबकि पाइपलाइन पैरेललिज्म और बड़े पैमाने के प्रशिक्षण बुनियादी ढांचे के साथ अनुकूलता बनाए रखता है।

कार्यप्रणाली: हिडन डिकोडिंग (Methodology: Hidden Decoding)

लेखक हिडन डिकोडिंग (Hidden Decoding) का प्रस्ताव करते हैं, जो कंटिन्यूड प्रीट्रेनिंग (CPT) के दौरान लागू की जाने वाली एक सीक्वेंस-लेंथ स्केलिंग विधि है। इसका मुख्य तंत्र प्रत्येक इनपुट टोकन को एक सिंगल फॉरवर्ड पास के भीतर प्रोसेस किए जाने वाले $n$ समानांतर स्ट्रीम्स में विस्तारित करता है।

1. मल्टी-स्ट्रीम टोकन एक्सपेंशन (Multi-Stream Token Expansion)

एम्बेडिंग एक्सपेंशन (Embedding Expansion): एक एकल वोकैबुलरी एम्बेडिंग टेबल के बजाय, मॉडल $n$ स्वतंत्र एम्बेडिंग टेबल्स ( $E_1, \dots, E_n$ ) का उपयोग करता है। एक इनपुट टोकन $x_i$ को $n$ रिप्रेजेंटेशन्स के एक सीक्वेंस में विस्तारित किया जाता है: $(E_1(x_i), E_2(x_i), \dots, E_n(x_i))$ ।
सीक्वेंस कंस्ट्रक्शन (Sequence Construction): इन रिप्रेजेंटेशन्स को एक विस्तारित सीक्वेंस बनाने के लिए इंटरलीव किया जाता है जिसकी लंबाई $nL $होती है (जहाँ$ L$ मूल सीक्वेंस की लंबाई है)।
ट्रेनिंग ऑब्जेक्टिव (Training Objective): केवल अंतिम स्ट्रीम ( $E_n$ ) को सुपरवाइज किया जाता है। मॉडल अंतिम स्ट्रीम पोजीशन के हिडन स्टेट के आधार पर अगले टोकन $x_{i+1}$ की भविष्यवाणी करता है। पहले $n-1$ स्ट्रीम्स "लेटेंट कंप्यूटेशन स्टेट्स" (latent computation states) के रूप में कार्य करते हैं जिनका कोई सीधा लॉस नहीं होता, जिससे वे अंतिम भविष्यवाणी से पहले आंतरिक रूप से रिप्रेजेंटेशन को रिफाइन कर सकते हैं।

2. स्ट्रीम-फैक्टरलाइज्ड अटेंशन (Stream-Factorized Attention)

विस्तारित सीक्वेंस लंबाई के साथ अटेंशन कॉस्ट को क्वाड्रेटिक ( $O(n^2 L^2)$ ) होने से रोकने के लिए, लेखक स्ट्रीम-फैक्टरलाइज्ड अटेंशन पेश करते हैं:

इंट्रा-स्ट्रीम लेयर्स (Intra-Stream Layers): अधिकांश लेयर्स अटेंशन को उसी स्ट्रीम के भीतर के पोजीशंस तक सीमित रखती हैं। यह जटिलता को लगभग $O(nL^2)$ तक कम कर देता है।
क्रॉस-स्ट्रीम लेयर्स (Cross-Stream Layers): लेयर्स का एक छोटा समूह (जैसे, फुल अटेंशन या बेस मॉडल से स्लाइडिंग-विंडो लेयर्स) स्ट्रीम्स के बीच मिक्सिंग की अनुमति देता है।
दक्षता (Efficiency): यह डिज़ाइन अटेंशन कॉस्ट को $n$ के संबंध में क्वाड्रेटिक के बजाय लगभग लीनियर (रैखिक) रखता है, जिससे यह विधि 100B+ पैरामीटर्स वाले मॉडल्स के लिए ट्रेन करने योग्य बनती है।

3. प्रोग्रेसिव एक्सपेंशन और इनिशियलाइजेशन (Progressive Expansion and Initialization)

बड़े एक्सपेंशन फैक्टर्स के प्रशिक्षण को प्रबंधित करने के लिए, लेखक प्रोग्रेसिव एक्सपेंशन (जैसे, $n=1 \to 2 \to 4 \to 8$ ) का उपयोग करते हैं। वे साइक्लिक रेप्लिकेशन इनिशियलाइजेशन (Cyclic Replication Initialization) का उपयोग करते हैं, जहाँ नए एम्बेडिंग टेबल्स को मौजूदा टेबल्स को कॉपी करके इनिशियलाइज किया जाता है (उदाहरण के लिए, $E_{n+k} \leftarrow E_k$ )। यह मॉडल को शुरू में छोटे कॉन्फ़िगरेशन के व्यवहार को दोहराने और फिर सुचारू रूप से अनुकूलित होने की अनुमति देता है।

4. आर्किटेक्चरल ऑप्टिमाइजेशन (WeLM विशिष्ट)

WeLM बैकबोन के लिए, लेखक एक KV-मिरर (KV-Mirror) डिज़ाइन का लाभ उठाते हैं। चूंकि मध्यवर्ती स्ट्रीम्स में कोई लॉस नहीं होता और वे केवल कीज़ (Keys) और वैल्यूज़ (Values) के माध्यम से कॉन्टेक्स्ट में योगदान देते हैं, इसलिए मिरर किए गए लेयर्स (जो पिछले लेयर्स से KV कंप्यूट करते हैं) मध्यवर्ती स्ट्रीम्स को पूरी तरह से स्किप कर सकते हैं। यह उनके 80B मॉडल सेटअप में प्रशिक्षण समय को लगभग 20% तक कम कर देता है।

मुख्य योगदान (Key Contributions)

फ्रंटियर-स्केल फिक्स्ड-बैकबोन स्केलिंग: यह पेपर 100B+ MoE स्केल पर सीक्वेंस-लेंथ स्केलिंग के पहले सफल अनुप्रयोग को प्रदर्शित करता है। उन्होंने WeLM-HD4-80B और WeLM-HD4-617B ( $n=4$ के साथ) को प्रशिक्षित किया, जिसने ट्रांसफॉर्मर बैकबोन को बड़ा किए बिना अपने नॉन-HD समकक्षों की तुलना में प्रदर्शन में सुधार किया।
कुशल सीक्वेंस-लेंथ एक्सपेंशन: स्ट्रीम-फैक्टरलाइज्ड अटेंशन का परिचय $n$ के संबंध में लगभग लीनियर कॉस्ट (जैसे, 4x एक्सपेंशन के लिए ~4.4x–5.1x प्रति बैच, जो कि डेंस अटेंशन के 16x लागत से बहुत कम है) के साथ विस्तारित सीक्वेंस के साथ प्रशिक्षण को सक्षम बनाता है।
एक्सपेंशन-फैक्टर स्केलिंग: प्रयोगों से पता चलता है कि एक्सपेंशन फैक्टर $n$ (1 से 2 से 8 तक) को बढ़ाने से लैंग्वेज मॉडलिंग लॉस और डाउनस्ट्रीम सटीकता में लगातार सुधार होता है, जो फिक्स्ड बैकबोन्स के लिए $n$ को एक व्यावहारिक स्केलिंग नॉब (scaling knob) के रूप में प्रमाणित करता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने फ्रंटियर-स्केल MoE मॉडल्स और डेंस बेसलाइन्स पर हिडन डिकोडिंग का मूल्यांकन किया:

फ्रंटियर-स्केल प्रदर्शन (WeLM-HD4-80B & 617B):
- WeLM-HD4-80B ने सभी नौ साझा हार्ड बेंचमार्क्स पर WeLM-80B को पछाड़ दिया, जिसमें SciCode (+4.2), PHYBench (+4.0), और FrontierMath (+3.2) में महत्वपूर्ण बढ़त मिली।
- WeLM-HD4-617B ने GPQA Diamond (+2.1), HLE (+1.8), और FrontierMath (+2.0) सहित सभी नौ बेंचमार्क्स में WeLM-617B से बेहतर प्रदर्शन किया।
- इन मॉडल्स को एक नियंत्रित तुलना सुनिश्चित करने के लिए अर्ली SFT-ओनली पोस्ट-ट्रेनिंग रेसिपी का उपयोग करके प्रशिक्षित किया गया था, ताकि हिडन डिकोडिंग के प्रभाव को अलग किया जा सके।
एक्सपेंशन फैक्टर ( $n$ ) के साथ स्केलिंग:
- डेंस Qwen3-8B-Base पर, $n$ को 1 से 8 तक बढ़ाने से औसत सटीकता में निरंतर सुधार (जैसे, MMLU 78.2 से बढ़कर 81.6 हो गया) देखा गया।
- 80B MoE पर, $n$ को 1 से 8 तक बढ़ाने से MMLU 85.0 से बढ़कर 87.5 हो गया और Pile-test BPB 0.386 से घटकर 0.378 हो गया।
एब्लेशन स्टडीज (Ablation Studies):
- सुपरविजन डिज़ाइन: केवल अंतिम स्ट्रीम को सुपरवाइज करने से सभी स्ट्रीम्स पर लॉस लगाने या स्ट्रीम आउटपुट्स को जोड़ने की तुलना में बेहतर परिणाम मिले।
- KV रिटेंशन: प्रत्येक स्ट्रीम के लिए अलग KV कैश बनाए रखने से (उन्हें साझा करने के बजाय) सटीकता में सुधार हुआ, जो पुष्टि करता है कि मध्यवर्ती स्ट्रीम्स एक विशिष्ट, उपयोगी कॉन्टेक्स्ट प्रदान करते हैं।
- अटेंशन कंपोजिशन: केवल कुछ फुल क्रॉस-स्ट्रीम लेयर्स (जैसे, 27 में से 4) वाले मॉडल्स ने सभी लेयर्स में फुल क्रॉस-स्ट्रीम मिक्सिंग वाले मॉडल्स के लगभग समान प्रदर्शन किया, जो स्ट्रीम-फैक्टरलाइज्ड अटेंशन की दक्षता को प्रमाणित करता है।
इन्फरेंस थ्रूपुट (Inference Throughput):
- हिडन डिकोडिंग लेटेंसी-सेंसिटिव, छोटे-बैच परिदृश्यों में उच्च थ्रूपुट बनाए रखती है (बैच साइज 1 पर बेसलाइन थ्रूपुट का 83–88% बरकरार रखती है)।
- लॉन्ग-कॉन्टेक्स्ट, हाई-बैच परिदृश्यों में थ्रूपुट कम हो जाता है (बैच साइज 32 और 32k इनपुट के साथ ~27% तक गिर जाता है), जो प्रति-टोकन बढ़ी हुई गणना को दर्शाता है।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि हिडन डिकोडिंग फ्रंटियर LLMs को स्केल करने के लिए एक व्यावहारिक, इंजीनियरिंग-यथार्थवादी मार्ग प्रदान करता है जब आगे का बैकबोन विस्तार बहुत महंगा हो।

अनुकूलता (Compatibility): लूपेड ट्रांसफॉर्मर्स के विपरीत, हिडन डिकोडिंग पाइपलाइन पैरेललिज्म और मानक बड़े-मॉडल प्रशिक्षण स्टैक के साथ स्वाभाविक रूप से फिट बैठती है क्योंकि अतिरिक्त गणना अतिरिक्त गहराई के बजाय एक लंबे सीक्वेंस के रूप में प्रकट होती है।
प्रभावशीलता (Effectiveness): यह 100B+ MoE रिजीम में सीक्वेंस-लेंथ एक्सपेंशन को सफलतापूर्वक स्केल करने वाला पहला प्रदर्शित तरीका है, जो रीजनिंग और नॉलेज बेंचमार्क्स में मापने योग्य सुधार प्रदान करता है।
स्केलेबिलिटी (Scalability): यह विधि सिद्ध करती है कि एक्सपेंशन फैक्टर $n$ एक व्यवहार्य स्केलिंग एक्सिस है, जो नए मॉडल आर्किटेक्चर या बैकबोन के व्यापक पुन: प्रशिक्षण की आवश्यकता के बिना $n$ के साथ बढ़ते प्रदर्शन लाभ प्रदान करता है।

लेखक इस कार्य को एक "स्केलिंग वॉल" के समाधान के रूप में देखते हैं जिसका सामना मजबूत फाउंडेशन मॉडल्स को करना पड़ रहा है, जो कुशल लेटेंट कंप्यूटेशन के माध्यम से मौजूदा पैरामीटर्स से अधिक क्षमता निकालने का एक तरीका प्रदान करता है।