💬 NLP

When Hidden States Drift: Can KV Caches Rescue Long-Range Speculative Decoding?

यह शोध पत्र KVShot प्रस्तुत करता है, जो एक नैदानिक ढांचा (diagnostic framework) है जो यह प्रदर्शित करता है कि कैसे ड्राफ्ट मॉडलों को लक्षित KV कैश (target KV caches) को पुन: उपयोग करने में सक्षम करने से स्पेक्युलेटिव डिकोडिंग (speculative decoding) में दीर्घकालिक सटीकता ह्रास (long-range accuracy decay) को कम किया जा सकता है, और साथ ही वर्तमान प्रशिक्षण पाइपलाइनों में उन संरचनात्मक बाधाओं की पहचान करता है जो ब्लॉक-वाइज प्रशिक्षण प्रतिमानों (block-wise training paradigms) की ओर बदलाव को आवश्यक बनाते हैं।

मूल लेखक: Tianyu Liu, Yuhao Shen, Xinyi Hu, Baolin Zhang, Hengxin Zhang, Jun Dai, Jun Zhang, Shuang Ge, Lei Chen, Yue Li, MingCheng Wan

प्रकाशित 2026-04-30

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tianyu Liu, Yuhao Shen, Xinyi Hu, Baolin Zhang, Hengxin Zhang, Jun Dai, Jun Zhang, Shuang Ge, Lei Chen, Yue Li, MingCheng Wan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कहानी में अगले वाक्य की भविष्यवाणी करने की कोशिश कर रहे हैं। आपके पास एक सुपर-इंटेलिजेंट ऑथर (टारगेट मॉडल) है जो कहानी को पूरी तरह से लिखता है, लेकिन वह बहुत धीमा है क्योंकि वह एक बार में एक शब्द लिखता है। काम को तेज़ करने के लिए, आपने एक स्पीडी असिस्टेंट (ड्राफ्ट मॉडल) को काम पर रखा है जो ऑथर द्वारा जांचने से पहले अगले कुछ शब्दों का अनुमान लगा सके। यदि असिस्टेंट सही अनुमान लगाता है, तो ऑथर बस उसकी पुष्टि कर देता है, जिससे समय बचता है। यदि असिस्टेंट गलत अनुमान लगाता है, तो ऑथर को फिर से शुरुआत करनी पड़ती है।

समस्या: "धुंधली फोटो" का प्रभाव

वर्तमान में, सबसे अच्छे असिस्टेंट को ऑथर के "विचारों" (जिसे हिडन स्टेट्स कहा जाता है) से संकेत मिलते हैं।

उपमा: कल्पना कीजिए कि ऑथर अगले शब्द को लिखने के लिए सुरागों की एक लंबी सूची देख रहा है। निर्णय लेने के लिए, वह पूरी सूची को सिकोड़कर और संक्षिप्त करके एक एकल, धुंधली फोटो में बदल देता है। यह फोटो अगले ही शब्द के निर्णय के लिए एकदम सही है।
समस्या: यदि असिस्टेंट आगे के पाँचवें या छठे शब्द का अनुमान लगाने की कोशिश करता है, तो वह उसी धुंधली फोटो को देख रहा होता है। लेकिन फोटो को पहले शब्द को हल करने के लिए सिकोड़ा गया था। वे विवरण जिन्हें पहले शब्द के लिए अनदेखा किया गया था (क्योंकि वे अभी प्रासंगिक नहीं थे), पांचवें शब्द के लिए महत्वपूर्ण हो सकते हैं। जैसे-जैसे असिस्टेंट आगे का अनुमान लगाने की कोशिश करता है, चीजें उतनी ही धुंधली और कम सटीक होती जाती हैं। इसे "लॉन्ग-रेंज डिके" कहा जाता है।

प्रस्तावित समाधान: "फुल फाइलिंग कैबिनेट"

लेखक एक अलग दृष्टिकोण का सुझाव देते हैं: असिस्टेंट को ऑथर की "सिकुड़ी हुई फोटो" (हिडन स्टेट) देने के बजाय, उन्हें सुरागों का पूरा फाइलिंग कैबिनेट (KV कैश) दें।

उपमा: फाइलिंग कैबिनेट में हर एक सुराग पूरी तरह से सुरक्षित है, बिना किसी संक्षिप्तीकरण या धुंधलेपन के।
नया काम: अब, असिस्टेंट को यह अनुमान लगाने की ज़रूरत नहीं है कि सुराग क्या थे। उनके पास सभी सुराग वहीं मौजूद हैं। उनका एकमात्र काम यह पता लगाना है कि भविष्य के शब्द के लिए किन सुरागों को देखना है। यह एक लाइब्रेरी मिलने जैसा है और आपसे पूछा गया है कि आने वाले अध्याय के लिए सही किताब कैसे ढूँढनी है। आपके पास सारी जानकारी है; आपको बस यह जानने की ज़रूरत है कि उसे कैसे खोजा जाए।

प्रयोग: "KVShot"

शोधकर्ताओं ने असिस्टेंट की मदद करने के तीन तरीकों की तुलना करने के लिए KVShot नामक एक परीक्षण स्थल बनाया:

पुराना तरीका (हिडन-ओनली): असिस्टेंट को धुंधली फोटो दें। (यह वर्तमान सिस्टम करते हैं)।
नया तरीका (KV-ओनली): असिस्टेंट को पूरा फाइलिंग कैबिनेट दें, लेकिन कोई फोटो नहीं।
हाइब्रिड तरीका: असिस्टेंट को धुंधली फोटो और फाइलिंग कैबिनेट दोनों दें, जिससे वे कैबिनेट का उपयोग करके फोटो की गलतियों को सुधार सकें।

उन्हें क्या पता चला

फाइलिंग कैबिनेट मदद करता है (अंततः): जब असिस्टेंट कई शब्द आगे का अनुमान लगाने की कोशिश करता है (स्टेप 3, 4, 5+), तो "फुल फाइलिंग कैबिनेट" वाला दृष्टिकोण धुंधली फोटो की तुलना में बहुत बेहतर होता है। यह जानकारी को उतनी तेज़ी से नहीं खोता है।
लेकिन इसे सीखना कठिन है: "फाइलिंग कैबिनेट" दृष्टिकोण की एक शर्त है। असिस्टेंट एक बहुत छोटा, सरल मॉडल है। वह कैबिनेट को प्रभावी ढंग से खोजने का तरीका सीखने में संघर्ष करता है। यह एक बच्चे को एक विशाल लाइब्रेरी देने और उससे एक ऐसी कहानी के लिए विशिष्ट पुस्तक खोजने के लिए कहने जैसा है जो उसने अभी तक लिखी भी नहीं है; वे अभिभूत हो जाते हैं।
- जब उन्होंने असिस्टेंट को थोड़ा स्मार्ट बनाया (अधिक गहरा/डीपर), तो वह कैबिनेट का उपयोग करने में बेहतर हुआ, लेकिन फिर भी वह पहले ही शब्द के लिए "धुंधली फोटो" पद्धति को मात नहीं दे सका।
हाइब्रिड जीतता है (थोड़ा सा): सबसे अच्छा परिणाम हाइब्रिड दृष्टिकोण से आया। असिस्टेंट ने तत्काल अगले शब्द के लिए धुंधली फोटो का उपयोग किया (जहाँ वह बेहतरीन है) और बाद के शब्दों के लिए खुद को सुधारने के लिए फाइलिंग कैबिनेट का उपयोग किया।
स्पीड ट्रैप: भले ही लैब में हाइब्रिड असिस्टेंट ने अधिक शब्दों का सही अनुमान लगाया, लेकिन वास्तविक दुनिया में कुल गति में अधिक सुधार नहीं हुआ।
- क्यों? "फाइलिंग कैबिनेट" पद्धति के लिए असिस्टेंट को सुरागों को खोजने के लिए अतिरिक्त गणित करने की आवश्यकता होती है। इस अतिरिक्त काम ने असिस्टेंट को इतना धीमा कर दिया कि इससे सही शब्दों के अनुमान से बचाए गए समय की भरपाई हो गई।

मूल कारण: ट्रेनिंग मिसमैच

पेपर निष्कर्ष निकालता है कि समस्या "फाइलिंग कैबिनेट" की नहीं है; बल्कि यह है कि असिस्टेंट को कैसे प्रशिक्षित किया जाता है।

वर्तमान में, असिस्टेंट को एक-एक करके, एक-एक शब्द का अनुमान लगाने के लिए प्रशिक्षित किया जाता है (एक धीमी, क्रमिक प्रक्रिया की तरह)।
लेकिन कैबिनेट का प्रभावी ढंग से उपयोग करने के लिए, असिस्टेंट को कई शब्दों को एक साथ देखने की आवश्यकता होती है ताकि वह खोजना सीख सके।
क्योंकि प्रशिक्षण विधि बहुत धीमी और क्रमिक है, असिस्टेंट कभी भी सुरागों की पूरी शक्ति का उपयोग करना नहीं सीख पाता है। यह किसी को 5 मील प्रति घंटे की गति से केवल पार्किंग लॉट में गाड़ी चलाकर रेस कार चलाना सिखाने जैसा है।

निचोड़

यह पेपर साबित करता है कि "पूर्ण सुरागों" (KV कैश) को रखना "संक्षिप्त विचारों" (हिडन स्टेट्स) का उपयोग करने की तुलना में लंबे अनुमानों के लिए जानकारी को सुरक्षित रखने का एक बेहतर तरीका है। हालांकि, हमारे वर्तमान प्रशिक्षण तरीके इन असिस्टेंट को कुशलतापूर्वक इन सुरागों का उपयोग करना सिखाने के लिए बहुत अनाड़ी हैं। इसे वास्तविक दुनिया में काम करने के लिए, हमें अपने मॉडलों को प्रशिक्षित करने के तरीके को बदलना होगा, जो "एक बार में एक शब्द" से हटकर "शब्दों के समूहों (चंक्स) के माध्यम से" की ओर बढ़े।

यहाँ शोध पत्र "When Hidden States Drift: Can KV Caches Rescue Long-Range Speculative Decoding?" का विस्तृत तकनीकी सारांश दिया गया है:

1. समस्या विवरण (Problem Statement)

लॉन्ग-रेंज डिके इन स्पेक्युलेटिव डिकोडिंग (Long-Range Decay in Speculative Decoding):
स्पेक्युलेटिव डिकोडिंग एक लाइटवेट "ड्राफ्टर" (drafter) मॉडल का उपयोग करके कई टोकन प्रस्तावित करके लार्ज लैंग्वेज मॉडल (LLM) इन्फरेंस को तेज़ करती है, जिसे बाद में एक बड़े "टारगेट" (target) मॉडल द्वारा सत्यापित किया जाता है। वर्तमान अत्याधुनिक ड्राफ्टर्स (जैसे, EAGLE-3, MTP) हिडन-स्टेट रियूज (hidden-state reuse) पर निर्भर करते हैं, जहाँ वे टारगेट मॉडल के आंतरिक हिडन स्टेट्स को ड्राफ्टर में फीड करते हैं।

समस्या: ये सिस्टम लॉन्ग-रेंज डिके (long-range decay) से ग्रस्त होते हैं: जैसे-जैसे स्पेक्युलेटिव स्टेप $k$ बढ़ता है, ड्राफ्ट की सटीकता लगातार गिरती जाती है।
मौजूदा स्पष्टीकरण: समुदाय इसे ट्रेन-इन्फरेंस मिसमैच (train-inference mismatch) का परिणाम मानता है (ड्राफ्टर इन्फरेंस के दौरान अपने स्वयं के ड्रिफ्टिंग हिडन स्टेट्स पर निर्भर होता है, जबकि ट्रेनिंग के दौरान ऐसा नहीं होता)। हालांकि टेस्ट-टाइम ट्रेनिंग (TTT) इसे कम करती है, लेकिन डिके बना रहता है।
अंतराल (The Gap): यह शोध पत्र तर्क देता है कि ट्रेन-इन्फरेंस मिसमैच एकमात्र कारण नहीं है। मौलिक मुद्दा कॉन्टेक्स्ट इंफॉर्मेशन प्रिजर्वेशन (context information preservation) का है। हिडन स्टेट्स एक "बायस्ड कॉन्टेक्स्ट कम्प्रेशन" (biased context compression) के रूप में कार्य करते हैं जो तत्काल अगले टोकन के लिए अनुकूलित होते हैं, और भविष्य के स्पेक्युलेटिव स्टेप्स के लिए प्रासंगिक जानकारी को हटा देते हैं।

2. मुख्य परिकल्पना और सैद्धांतिक विश्लेषण (Core Hypothesis & Theoretical Analysis)

लेखक KV-रियूज हाइपोथीसिस (KV-Reuse Hypothesis) प्रस्तावित करते हैं: केवल हिडन स्टेट्स के बजाय टारगेट मॉडल के KV कैश (Key-Value pairs) का पुन: उपयोग करने से लॉन्ग-रेंज ड्राफ्टिंग के लिए समृद्ध संदर्भ (richer context) संरक्षित किया जा सकता है।

हिडन-स्टेट रियूज (बायस्ड कम्प्रेशन):
- टारगेट हिडन स्टेट्स अटेंशन एग्रीगेशन का परिणाम हैं: $h_t = \sum \alpha_i v_i$ ।
- वेट्स $\alpha_i$ वर्तमान टोकन $x_{t+1}$ की भविष्यवाणी करने के लिए अनुकूलित हैं।
- $x_{t+1}$ के लिए कमजोर रूप से प्रासंगिक टोकन लगभग शून्य वेट प्राप्त करते हैं और $h_t$ में प्रभावी रूप से हटा दिए जाते हैं।
- परिणाम: बाद के स्पेक्युलेटिव स्टेप्स ( $x_{t+k}$ ) के लिए, ड्राफ्टर को उस जानकारी को पुनः प्राप्त करना पड़ता है जिसे टारगेट के अटेंशन मैकेनिज्म द्वारा दबा दिया गया था, जो एक कठिन "इन्फॉर्मेशन रिकवरी" समस्या है।
KV-रियूज (एक्सप्लिसिट कॉन्टेक्स्ट):
- KV कैश एग्रीगेशन से पहले $(k_i, v_i)$ जोड़ों के पूर्ण सेट को बनाए रखता है।
- ड्राफ्टर अपने अनुमानित भविष्य के क्वेरीज (queries) का उपयोग करके पूरे प्रीफिक्स KV कैश के विरुद्ध री-अटेंशन (re-attention) कर सकता है।
- परिणाम: ड्राफ्टर की प्रोसेसिंग से पहले कोई भी जानकारी हटाई नहीं जाती है। कठिनाई "खोई हुई जानकारी को पुनः प्राप्त करने" से बदलकर "भविकी क्वेरीज का सटीक अनुमान लगाने" (एक फंक्शन एप्रोक्सिमेशन समस्या) में बदल जाती है।

3. कार्यप्रणाली: KVShot फ्रेमवर्क (Methodology: The KVShot Framework)

इस परिकल्पना का परीक्षण करने के लिए, लेखक एक ही ऑटोरेग्रेसिव टेस्ट-टाइम ट्रेनिंग (TTT) पाइपलाइन (जो EAGLE-3 द्वारा उपयोग की जाती है) के तहत तीन रियूज प्रतिमानों (paradigms) की तुलना करने वाला एक डायग्नोस्टिक फ्रेमवर्क, KVShot, पेश करते हैं:

हिडन-ओनली रियूज (Hidden-Only Reuse): मानक EAGLE-3/MTP दृष्टिकोण (टारगेट हिडन स्टेट्स को जोड़ना)।
KV-ओनली रियूज (KV-Only Reuse): ड्राफ्टर क्रॉस-अटेंशन के माध्यम से टारगेट KV कैश प्राप्त करता है, जो हिडन स्टेट्स को पूरी तरह से बदल देता है।
हाइब्रिड रियूज (Hybrid Reuse): एक गेटेड फ्यूजन मैकेनिज्म जहाँ हिडन स्टेट मुख्य एंकर प्रदान करता है, और KV कैश लॉन्ग-रेंज स्टेप्स के लिए "गेटेड डेल्टा करेक्शन" (gated delta correction) प्रदान करता है।

प्रायोगिक सेटअप (Experimental Setup):

टारगेट मॉडल: Qwen3-8B।
डेटासेट्स: ShareGPT और UltraChat (70k से 280k सैंपल्स तक स्केल किया गया)।
मेट्रिक्स: स्टेप-वाइज एक्सेप्टेंस रेट्स ( $\alpha_k$ ), मीन एक्सेप्टेड टोकन्स (MAT), और एंड-टू-एंड (E2E) स्पीडअप प्रॉक्सी।

4. मुख्य परिणाम (Key Results)

A. भविष्यवाणियों का सत्यापन (स्टेप-वाइज विश्लेषण)

प्रयोगों ने तीन सैद्धांतिक भविष्यवाणियों की पुष्टि की:

लॉन्ग-रेंज एडवांटेज: जैसे-जैसे $k$ बढ़ता है, KV-ओनली रियूज, हिडन-ओनली रियूज की तुलना में अधिक बेहतर तरीके से काम करता है। स्टेप $k=6$ पर, एक 4-लेयर KV-ओनली ड्राफ्टर ने EAGLE-3 बेसलाइन ( $\alpha_6 = 0.495$ बनाम $0.469$) को पीछे छोड़ दिया।
क्वेरी एस्टीमेशन बॉटलनेक: KV-ओनली प्रदर्शन ड्राफ्टर की गहराई पर अत्यधिक निर्भर है। एक 1-लेयर ड्राफर खराब प्रदर्शन करता है (MAT 1.84) क्योंकि वह जटिल टारगेट क्वेरीज का अनुमान नहीं लगा सकता। गहराई बढ़ाकर 2 लेयर्स करने से भारी उछाल आया (MAT 2.23), लेकिन 4 लेयर्स के बाद मिलने वाला लाभ कम हो गया, जो समग्र दक्षता में अभी भी 1-लेयर EAGCLE-3 बेसलाइन (MAT 2.37) से पीछे था।
शॉर्ट-रेंज डिसएडवांटेज: $k=0$ या $1$ पर, हिडन-स्टेट रियूज, KV-ओनली की तुलना में बेहतर प्रदर्शन करता है क्योंकि हिडन स्टेट्स, KV री-अटेंशन में उपयोग किए जाने वाले रॉ एम्बेडिंग्स की तुलना में अधिक समृद्ध सिमेंटिक कंटेंट ले जाते हैं।

B. हाइब्रिड प्रदर्शन (Hybrid Performance)

हाइब्रिड ड्राफ्टर (दोनों संकेतों को मिलाने वाला) ने सर्वश्रेष्ठ स्टेप-वाइज परिणाम प्राप्त किए:

MAT: 2.54 (EAGLE-3 बेसलाइन के 2.37 के मुकाबले)।
रिटेंशन: लॉन्ग-रेंज रिटेंशन रेश्यो को 73.5% से बढ़ाकर 77.3% कर दिया।
मैकेनिज्म: गेटेड डेल्टा नियम ने सफलतापूर्वक KV पथ को लॉन्ग-होरिज़न पर हिडसन-स्टेट पथ को ठीक करने की अनुमति दी, बिना शॉर्ट-रेंज सटीकता को बाधित किए।

C. एंड-टू-एंड रियलिटी चेक (The End-to-End Reality Check)

स्टेप-वाइज सुधारों के बावजूद, एंड-टू-एंड (E2E) स्पीडअप मामूली था:

HF-मापा गया MAT: केवल 5.01 (EAGLE-3) से बढ़कर 5.04 (Hybrid) हुआ।
लेटेंसी: अतिरिक्त क्रॉस-अटेंशन पाथ ने 5-10% अतिरिक्त ड्राफ्टिंग लेटेंसी पेश की।
निष्कर्ष: वर्तमान ऑटोरेग्रेसिव TTT पाइपलाइन, अतिरिक्त कंप्यूटेशनल लागत को पार करने के लिए KV सिग्नल का कुशलतापूर्वक उपयोग करने में सक्षम नहीं है।

5. पहचाने गए संरचनात्मक बॉटलनेक्स (Structural Bottlenecks Identified)

पेपर में तीन विशिष्ट कारण बताए गए हैं कि क्यों वर्तमान पाइपलाइन स्टेप-वाइज लाभों को E2E स्पीडअप में बदलने में विफल रहती है:

क्वेरी एस्टीमेशन की कठिनाई (Query Estimation Difficulty): भविष्य के टारगेट क्वेरीज का अनुमान लगाने के लिए टारगेट मॉडल के मल्टी-लेयर नॉनलीन ट्रांसफॉर्मेशन को दोहराना आवश्यक है। उथले (shallow) ड्राफ्टर्स (1-2 लेयर्स) इन क्वेरीज का सटीक अनुमान लगाने की क्षमता नहीं रखते हैं।
स्पार्स ग्रेडिएंट सिग्नल (Sparse Gradient Signals): ऑटोरेग्रेसिव TTT में, ड्राफ्ट-साइड KV प्रोजेक्शन ( $W_K, W_V$ ) केवल कुछ ड्राफ्ट-जेनरेटेड टोकन्स (जैसे, प्रति स्टेप 7 टोकन) द्वारा अपडेट किए जाते हैं, जबकि प्रीफिक्स KV को कॉपी किया जाता है। इसके परिणामस्वरूप KV पाथवे के लिए अत्यंत स्पार्स और असंतुलित ग्रेडिएंट्स मिलते हैं।
गेट-प्रेरित ग्रेडिएंट स्टार्वेशन (Gate-Induced Gradient Starvation): हाइब्रिड मॉडल में, गेट जो KV करेक्शन को नियंत्रित करता है, ट्रेनिंग के शुरुआती चरण में लगभग शून्य की ओर ढल जाता है (क्योंकि रैंडम-इनिशियलाइज्ड KV ब्रांच शोर के रूप में शुरू होती है)। एक बार बंद होने के बाद, गेट KV ब्रांच तक ग्रेडिएंट्स को ब्लॉक कर देता है, जिससे यह उपयोगी बनने से रोकता है। यह एक "सेल्फ-रीइन्फोर्सिंग लो-इंजेक्शन स्टेट" बनाता है।

6. महत्व और भविष्य की दिशाएं (Significance and Future Directions)

वैचारिक बदलाव (Conceptual Shift): यह पेपर लॉन्ग-रेंज डिके को केवल ट्रेन-इन्फरेंस मिसमैच के रूप में नहीं, बल्कि एक इन्फॉर्मेशन प्रिजर्वेशन समस्या के रूप में फिर से परिभाषित करता है। यह सिद्ध करता है कि हिडन स्टेट्स लॉन्ग-होरिज़न कार्यों के लिए एक लॉस्य (lossy) कम्प्रेशन हैं।
डायग्नोस्टिक टूल: KVShot प्रदान करता है जो रिप्रेजेंटेशन प्रभावों को ट्रेनिंग आर्टिफैक्ट्स से अलग करने के लिए एक आधारभूत टेस्टबेड है।
अगली पीढ़ी के आर्किटेक्चर के लिए रोडमैप: निष्कर्ष बताते हैं कि ऑटोरेग्रेसिव TTT, KV-अवेयर डिकोडिंग के लिए अपर्याप्त है। KV रियूज की क्षमता का लाभ उठाने के लिए, क्षेत्र को ब्लॉक-वाइज ट्रेनिंग पैराडिग्स (Block-wise Training Paradigms) (जैसे, DFlash) की ओर बढ़ना होगा।
- ब्लॉक-वाइज ट्रेनिंग कई ड्राफ्ट टोकन को समानांतर (parallel) में उत्पन्न करती है, जो KV प्रोजेक्शन के लिए घने (dense) ग्रेडिएंट सिग्नल प्रदान करती है।
- यह अनुक्रमिक लेटेंसी पेनल्टी के बिना सटीक क्वेरी एस्टीमेशन के लिए गहरे ड्राफ्ट मॉडल्स को सक्षम बनाती है।

सारांश: जबकि KV कैश्स लॉन्ग-रेंज स्पेक्युलेटिव डिकोडिंग के लिए एक बेहतर सिग्नल प्रदान करते हैं, वर्तमान ऑटोरेग्रेसिव ट्रेनिंग पाइपलाइन क्वेरी एस्टीमेशन सीमाओं और ग्रेडिएंट स्टार्वेशन के कारण इस सिग्नल का लाभ उठाने में विफल रहती है। भविष्य का मार्ग ब्लॉक-वाइज, पैरेलल ट्रेनिंग आर्किटेक्चर में निहित है।