💬 NLP

TIDE: Every Layer Knows the Token Beneath the Context

यह शोध पत्र TIDE का प्रस्ताव करता है, जो एक नवीन ट्रांसफार्मर आर्किटेक्चर है जो मानक सिंगल-इंजेक्शन टोकन एम्बेडिंग को एक "एम्बेडिंगमेमोरी" (EmbeddingMemory) प्रणाली से बदल देता है जो प्रत्येक परत में संदर्भ-मुक्त अर्थ संबंधी वेक्टर्स को इंजेक्ट करता है, जिससे दुर्लभ टोकन के कम प्रशिक्षण और समान टोकन के संदर्भात्मक पतन (contextual collapse) की समस्या को हल करते हुए भाषा मॉडलिंग प्रदर्शन में सुधार किया जा सके।

मूल लेखक: Ajay Jaiswal, Lauren Hannah, Han-Byul Kim, Duc Hoang, Mehrdad Farajtabar, Minsik Cho

प्रकाशित 2026-05-08

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ajay Jaiswal, Lauren Hannah, Han-Byul Kim, Duc Hoang, Mehrdad Farajtabar, Minsik Cho

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "TIDE: Every Layer Knows the Token" पेपर का सरल भाषा और उपमाओं (analogies) का उपयोग करते हुए स्पष्टीकरण दिया गया है।

बड़ी समस्या: "एक बार और खत्म" वाली गलती (The "One-and-Done" Mistake)

कल्पना कीजिए कि आप एक विशाल पुस्तकालय (एक Large Language Model) को दुनिया को समझने के लिए सिखा रहे हैं। हर आधुनिक AI पुस्तकालय में एक सख्त नियम है: जब कोई शब्द इमारत में प्रवेश करता है, तो आप उसे एक बार डिक्शनरी (शब्दकोश) में देखते हैं, उसका अर्थ निकालते हैं, और फिर डिक्शनरी को फेंक देते हैं।

उस क्षण से, वह शब्द AI के 20 या 30 अलग-अलग "कमरों" (layers) से होकर गुजरता है, लेकिन AI दोबारा कभी डिक्शनरी नहीं देखता। वह केवल वाक्य के संदर्भ (context) पर भरोसा करता है कि शब्द का क्या अर्थ होगा।

इस पेपर के लेखक कहते हैं कि यह नियम दो बड़ी मुश्किलें पैदा करता है:

1. "दुर्लभ शब्दों" की भुखमरी (The "Rare Word" Starvation)

भाषा को एक कॉन्सर्ट की तरह समझें। सबसे लोकप्रिय गाने (आम शब्द जैसे "the," "is," "and") लाखों बार बजाए जाते हैं। लेकिन अस्पष्ट, विशिष्ट (niche) गाने (दुर्लभ शब्द जैसे विशिष्ट चिकित्सा शब्द या दुर्लभ नाम) केवल कुछ ही बार बजाए जाते हैं।

समस्या: क्योंकि AI केवल एक बार शब्द को देखता है, लोकप्रिय शब्दों को बहुत अधिक "प्रशिक्षण ध्यान" (gradients) मिलता है। वे पूरी तरह से सीख जाते हैं। लेकिन दुर्लभ शब्द? उन्हें बहुत कम ध्यान मिलता है। वे सीखने के लिए "भूखे" रह जाते हैं।
परिणाम: AI आम शब्दों में बहुत अच्छा हो जाता है लेकिन दुर्लभ शब्दों में बहुत खराब, अक्सर उन्हें शोर (noise) मान लेता है या अन्य शब्दों के साथ भ्रमित कर देता है।

2. "संदर्भ का पतन" (The "Contextual Collapse" - जुड़वाँ जाल)

कल्पना कीजिए कि दो जुड़वाँ हैं, "Their" और "There"। वे सुनने में एक जैसे लगते हैं और अक्सर बिल्कुल एक ही तरह के वाक्यों में दिखाई देते हैं (जैसे, "Put it over there" बनाम "Put it over their house")।

समस्या: चूंकि AI ने पहले कमरे के बाद डिक्शनरी फेंक दी थी, इसलिए उसे उन्हें अलग करने के लिए पूरी तरह से वाक्य के संदर्भ पर निर्भर रहना पड़ता है। यदि वाक्य समान है, तो AI भ्रमित हो जाता है। उसे लगता है कि "Their" और "There" बिल्कुल एक ही चीज़ हैं क्योंकि उनका "हिडन स्टेट" (उनका आंतरिक प्रतिनिधित्व) एक अविभाज्य ढेर (blob) में मिल जाता है।
परिणाम: AI उन शब्दों के बीच अंतर करने की क्षमता खो देता है जो दिखने या सुनने में समान हैं लेकिन जिनका अर्थ अलग है, खासकर यदि वे समान स्थितियों में दिखाई देते हैं।

समाधान: TIDE (Token Identity Delivered Everywhere)

लेखक TIDE नामक एक नया आर्किटेक्चर प्रस्तावित करते हैं। डिक्शनरी को फेंकने के बजाय, TIDE एक स्थायी, समर्पित मेमोरी बैंक रखता है जो शब्द की पूरी यात्रा के दौरान उसके साथ रहता है।

उपमा (Analogy): "ID कार्ड" बनाम "संदर्भ संकेत" (The "ID Card" vs. The "Context Clue")

पुराना तरीका (Standard AI): आप एक इमारत में प्रवेश करते हैं। गार्ड दरवाजे पर आपकी ID चेक करता है, एक कागज पर स्टैम्प लगाता है, और फिर आप 20 कमरों से गुजरते हैं। हर कमरे में, लोग आपके होने के आधार पर अंदाज़ा लगाने की कोशिश करते हैं कि आप कौन हैं। यदि आप अपने जुड़वाँ के साथ ही एक समूह में खड़े हैं, तो वे आपको पहचान नहीं पाते।
नया तरीका (TIDE): आप अंदर आते हैं, और गार्ड आपकी ID चेक करता है। लेकिन इस बार, वे आपको एक विशेष ID कार्ड देते हैं जिसे आप हर एक कमरे में अपने साथ ले जाते हैं। हर कमरे में, लोग आपके ID कार्ड को देखकर जान सकते हैं कि आप वास्तव में कौन हैं, चाहे आप किसी के भी साथ खड़े हों।

TIDE कैसे काम करता है (Mechanics)

मेमोरी बैंक (EmbeddingMemory): TIDE $K$ स्वतंत्र "मेमोरी ब्लॉक्स" बनाता है। इन्हें $K$ अलग-अलग डिक्शनरी के रूप में सोचें। प्रत्येक एक शब्द के इंडेक्स को एक विशिष्ट अर्थ वेक्टर (meaning vector) से जोड़ता है।
राउटर (The Router): जैसे ही शब्द AI के प्रत्येक लेयर से गुजरता है, एक स्मार्ट "राउटर" शब्द को देखता है और निर्णय लेता है: "ठीक है, इस विशिष्ट लेयर के लिए, मुझे डिक्शनरी A, डिक्शनरी B और डिक्शनरी C का कितना हिस्सा उपयोग करना चाहिए?"
"नल बैंक" (The "Null Bank"): एक विशेष "ऑफ स्विच" (Null Bank) भी है। यदि AI तय करता है कि किसी विशिष्ट कमरे में शब्द को अतिरिक्त मदद की आवश्यकता नहीं है, तो यह सिग्नल को एक खाली बैंक की ओर भेज सकता है, जिससे उस क्षण के लिए मेमोरी इंजेक्शन बंद हो जाता है। यह सुनिश्चित करता है कि नया सिस्टम AI के पुराने, काम करने वाले हिस्सों को खराब न करे।

यह एक बड़ी बात क्यों है?

पेपर का दावा है कि TIDE ऊपर बताई गई दोनों समस्याओं को ठीक करता है:

भुखमरी का समाधान: क्योंकि TIDE के पास $K$ अलग-अलग मेमोरी ब्लॉक्स हैं, हर बार जब एक दुर्लभ शब्द आता है, तो उसे सभी $K$ डिक्शनरीों में एक साथ अपडेट किया जाता है। यह दुर्लभ शब्दों को पहले की तुलना में $K$ गुना अधिक लर्निंग सिग्नल देता है। आखिरकार उन्हें ठीक से सीखने के लिए आवश्यक ध्यान मिलता है।
पतन का समाधान: भले ही "Their" और "There" बिल्कुल एक ही वाक्य में हों, मेमोरी बैंक जानता है कि वे अलग हैं क्योंकि यह उनके विशिष्ट ID को देखता है। यह एक "टोकन आइडेंटिटी" सिग्नल इंजेक्ट करता है जो संदर्भ से स्वतंत्र होता है। यह दोनों शब्दों को एक भ्रमित करने वाले ढेर में मिलने से रोकता है।

परिणाम

लेखकों ने 350 मिलियन से लेकर 1 बिलियन पैरामीटर्स तक के मॉडल्स पर इसका परीक्षण किया।

दुर्लभ शब्द: TIDE ने दुर्लभ शब्दों (जो "भूखे" थे) के प्रदर्शन में महत्वपूर्ण सुधार किया।
सामान्य शब्द: इसने सामान्य शब्दों की भी मदद की, हालांकि सुधार थोड़ा कम था।
कार्य (Tasks): AI विभिन्न कार्यों जैसे प्रश्न पूछने (ARC, HellaSwag) और टेक्स्ट लिखने (Wikitext, PubMed) में बेहतर हुआ।
दक्षता (Efficiency): मेमोरी बैंक स्थिर (static) है (यह इन्फरेंस के दौरान नहीं बदलता है) और इसे महंगे कंप्यूटर मेमोरी (VRAM) के बजाय हार्ड ड्राइव (SSD) पर स्टोर किया जा सकता है, जिससे इसे चलाना सस्ता है।

सारांश

TIDE ऐसा है जैसे हर शब्द को एक स्थायी ID कार्ड देना जो उसके साथ AI के मस्तिष्क के हर लेयर में यात्रा करता है। यह सुनिश्चित करता है कि दुर्लभ शब्दों को सीखने के लिए पर्याप्त अभ्यास मिले, और समान दिखने वाले शब्द कभी भ्रमित न हों, जिससे AI बिना बहुत बड़ा हुए अधिक स्मार्ट और सटीक बनता है।

तकनीकी सारांश: TIDE (टोकन आइडेंटिटी डिलीवर्ड एवरीव्हेयर)

1. समस्या विवरण (Problem Statement)

यह शोध पत्र आधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) में एक मौलिक, कम-जांचा गया डिज़ाइन विकल्प की पहचान करता है: सिंगल-इंजेक्शन धारणा (single-injection assumption)। मानक ट्रांसफॉर्मर आर्किटेक्चर में, इनपुट एम्बेडिंग लेयर पर एक टोकन इंडेक्स को केवल एक बार देखा जाता है ताकि प्रारंभिक हिडन स्टेट जनरेट की जा सके, जिसके बाद स्पष्ट टोकन पहचान (explicit token identity) को स्थायी रूप से हटा दिया जाता है। इसके बाद के सभी कंप्यूटेशन $L$ लेयर्स के माध्यम से केवल कॉन्टेक्स्टुअलाइज्ड हिडन स्टेट्स पर संचालित होते हैं। लेखक तर्क देते हैं कि यह धारणा दो विशिष्ट संरचनात्मक विफलताओं को प्रेरित करती है:

दुर्लभ टोकन की समस्या (The Rare Token Problem): जिप्स लॉ (Zipf's law) के कारण, प्राकृतिक भाषा शब्दावलियाँ एक पावर-लॉ वितरण का पालन करती हैं जहाँ दुर्लभ टोकन (जैसे, तकनीकी शब्द, दुर्लभ नामित संस्थाएं) कम बार दिखाई देते हैं। स्टोकेस्टिक ग्रेडिएंट डिसेंट (SGD) के तहत, एक टोकन एम्बेडिंग के लिए संचयी ग्रेडिएंट सिग्नल उसकी आवृत्ति (frequency) के समानुपाती होता है। फलस्वरूप, दुर्लभ-टोकन एम्बेडिंग्स को सामान्य टोकन्स की तुलना में ग्रेडिएंट सिग्नल का एक छोटा हिस्सा प्राप्त होता है, जिससे उनका क्रोनिक अंडर-ट्रेनिंग (under-training) होता है। अनुभवजन्य साक्ष्य दिखाते हैं कि जैसे-जैसे प्रशिक्षण आगे बढ़ता है, सामान्य टोकन्स की तुलना में दुर्लभ टोकन एम्बेडिंग्स के L2 नॉर्म्स और विकास दर कम होती जाती है।
कॉन्टेक्स्टुअल कोलैप्स की समस्या (The Contextual Collapse Problem): जब दो अर्थपूर्ण रूप से भिन्न टोकन लगभग समान सिं्टैक्टिक परिवेश में दिखाई देते हैं (जैसे, होमोफोन्स जैसे "their/there" या न्यूमेरिक टोकन), तो कॉन्टेक्स्टुअल रेसिड्यूल स्ट्रीम सीमित विभेदन संकेत प्रदान करती है। क्योंकि फीड-फॉरवर्ड नेटवर्क (FFNs) निरंतर हिडन स्टेट स्पेस पर लिप्सचिट्ज़ निरंतरता (Lipschitz continuity) पर निर्भर करते हैं, वे उन टोकन्स के बीच अंतर नहीं कर सकते जिनके हिडन स्टेट्स अविभेद्य वेक्टर्स में कोलैप्स (collapse) हो गए हैं। टोकन इंडेक्स, जिसे हटा दिया गया था, इस अंतर को पुनः प्राप्त करने के लिए कोई तंत्र प्रदान नहीं करता है।

2. कार्यप्रणाली: TIDE आर्किटेक्चर (Methodology: TIDE Architecture)

इन विफलताओं को दूर करने के लिए, लेखक TIDE (Token Identity Delivered Delivered Everywhere) का प्रस्ताव करते हैं, जो एक आर्किटेक्चरल संशोधन है जो मानक ट्रांसफॉर्मर को एक समानांतर, वैश्विक रूप से साझा EmbeddingMemory मॉड्यूल के साथ बढ़ाता है। यह मॉड्यूल सुनिश्चित करता है कि टोकन पहचान नेटवर्क की प्रत्येक गहराई (depth) पर सुलभ हो, जो कॉन्टेक्स्टुअल रेसिड्यूल स्ट्रीम से स्वतंत्र हो।

मुख्य घटक (Core Components)

EmbeddingMemory एंसेम्बल: TIDE $K$ स्वतंत्र MemoryBlocks पेश करता है। प्रत्येक ब्लॉक $k$ में एक समर्पित एम्बेडिंग टेबल $E_k \in \mathbb{R}^{|V| \times d_b}$ होती है जो एक कच्चे टोकन इंडेक्स $v$ को सीधे एक कॉन्टेक्स्ट-फ्री सिमेंटिक वेक्टर $M_k(v)$ में मैप करती है। ये वेक्टर्स प्रति फॉरवर्ड पास एक सिंगल एम्बेडिंग लुकअप और RMSNorm के माध्यम से एक बार कंप्यूट किए जाते हैं।
डेप्थ-कंडीशन्ड राउटर (Depth-Conditioned Router): प्रत्येक ट्रांसफॉर्मर लेयर $\ell$ पर, एक हल्का लीनियर राउटर पोस्ट-अटेंशन नॉर्मलाइज्ड हिडन स्टेट $\tilde{n}_\ell$ लेता है और एक सॉफ्टमैक्स फंक्शन के माध्यम से कंपोजिशन रेश्यो $\alpha^\ell_k$ जनरेट करता है। यह राउटर निर्धारित करता है कि प्रत्येक MemoryBlock के सिग्नल का कितना हिस्सा इंजेक्ट किया जाए।
नल बैंक (Null Bank): राउटर में एक $(K+1)$ -वीं स्लॉट, एक "Null Bank" शामिल है, जहाँ $M_{K+1}(v) = 0$ है। यह मॉडल को एक "ऑफ" स्विच सीखने की अनुमति देता है, जिससे TIDE अनावश्यक होने पर मेमोरी इंजेक्शन को दबाकर एक मानक ट्रांसफॉर्मर के रूप में एसिम्प्टोटिक रूप से सामान्यीकरण (generalize) करने में सक्षम होता है।
एडिटिव फ्यूजन (Additive Fusion): अंतिम मेमोरी वेक्टर $m^\ell(v)$ $K$ मेमोरी ब्लॉक्स और नल बैंक का एक भारित योग (weighted sum) है। यह वेक्टर हर लेयर पर रेसिड्यूल स्ट्रीम में योगात्मक रूप से जोड़ा जाता है:
$h_\ell = \tilde{h}_\ell + \text{FFN}(\tilde{n}_\ell) + m^\ell(v)$
महत्वपूर्ण रूप से, मेमोरी पाथवे FFN पाथवे से स्वतंत्र है, जो रेसिड्यूल स्ट्रीम को एक साझा संचार चैनल के रूप में सुरक्षित रखते हुए एक निरंतर, टोकन-विभेदक सिग्नल प्रदान करता है।

कम्प्यूटेशनल दक्षता (Computational Efficiency)

मेमोरी योगदान में केवल एम्बेडिंग लुकअप और एक भारित योग शामिल है, जो बेसलाइन FFN की तुलना में नगण्य ओवरहेड जोड़ता है। इसके अलावा, क्योंकि EmbeddingMemory टेबल्स डिस्क्रीट टोकन आइडेंटिटीज द्वारा इंडेक्स्ड हैं और प्रशिक्षण के बाद स्थिर रहती हैं, उन्हें क्वांटाइज (जैसे, 4-बिट) और SSD स्टोरेज पर ऑफलोड किया जा सकता है, जिससे सक्रिय VRAM फुटप्रिंट मानक मॉडल्स के समान रहता है।

3. प्रमुख योगदान (Key Contributions)

सैद्धांतिक योगदान (Theoretical Contributions)

एसिम्प्टोटिक जनरलाइजेशन (Asymptotic Generalization): लेखक सिद्ध करते हैं कि TIDE किसी भी सटीकता तक एक मानक ट्रांसफॉर्मर का अनुमान लगा सकता है यदि सारा सिग्नल Null Bank की ओर रूट किया जाए, जो यह सुनिश्चित करता है कि TIDE मानक आर्किटेक्चर का एक सुपरसेट है।
K-पाथवे ग्रेडिएंट एम्प्लीफिकेशन (K-Pathway Gradient Amplification): शोध पत्र औपचारिक रूप से बताता है कि TIDE टोकन एम्बेडिंग्स के लिए संचयी ग्रेडिएंट सिग्नल का $K$ -गुना प्रवर्धन (amplification) प्रदान करता है। चूंकि प्रत्येक $K$ स्वतंत्र MemoryBlocks को तब ग्रेडिएंट प्राप्त होता है जब टोकन बैच में मौजूद होता है, दुर्लभ टोकन इस समानांतर ग्रेडिएंट संचय से अत्यधिक लाभान्वित होते हैं।
कॉन्टेक्स्टुअल कोलैप्स का समाधान (Resolution of Contextual Collapse): लेखक सिद्ध करते हैं कि TIDE, FFNs के लिप्सचिट्ज़ बाधाओं (Lipschitz constraints) को बायपास करता है। चूंकि MemoryBlocks निरंतर हिडन स्टेट्स के बजाय डिस्क्रीट टोकन आइडेंटिटीज द्वारा इंडेक्स्ड होते हैं, वे हिडन स्टेट की निकटता $\delta$ के बावजूद अलग-अलग टोकन जोड़ों के लिए विशिष्ट प्रतिनिधित्व बनाए रख सकते हैं।

अनुभवजन्य योगदान (Empirical Contributions)

दुर्लभ टोकन प्रदर्शन (Rare Token Performance): WikiText-103, PubMed, और DCLM पर प्रयोगों से पता चलता है कि TIDE सामान्य टोकन्स की तुलना में दुर्लभ टोकन्स (बिन्स 0-2) के लिए क्रॉस-एन्ट्रॉपी लॉस को महत्वपूर्ण रूप से कम करता है। प्रदर्शन में सुधार $K$ मेमोरी ब्लॉक्स की संख्या के साथ मोनोटोनिक (monotonic) है, जिसमें सबसे बड़े पूर्ण सुधार सबसे दुर्लभ डेसाइल्स (deciles) में देखे गए हैं।
कॉन्टेक्स्टुअल कोलैप्स का शमन (Mitigation of Contextual Collapse): लेयर-वाइज विश्लेषण दर्शाता है कि TIDE सभी ट्रांसफॉर्मर लेयर्स में अर्थपूर्ण रूप से भिन्न लेकिन कॉन्टेक्स्टुअली समान टोकन जोड़ों (जैसे, व्याकरणिक होमोफोन्स, न्यूमेरिक टोकन) के हिडन स्टेट्स के बीच L2 दूरी को काफी बढ़ा देता है, जिससे कोलैप्स प्रभावी रूप से रुक जाता है।
डाउनस्ट्रीम टास्क सुधार (Downstream Task Improvements): TIDE वेरिएंट्स (750M से 3B पैरामीटर्स तक) ARC, BoolQ, HellaSwag, और PIQA सहित ज़ीरो-शॉट बेंचमार्क पर LLaMA-Base मॉडल्स को लगातार पछाड़ते हैं।

4. परिणाम (Results)

परप्लेक्सिटी (Perplexity): TIDE मॉडल्स बेसलाइन्स की तुलना में होल्ड-आउट डेटासेट्स (Wikitext-2, PubMed, DCLM) पर कम परप्लेक्सिटी प्राप्त करते हैं। उदाहरण के लिए, TIDE-24E-1B Wikitext-2 पर 4.60 का PPL प्राप्त करता है, जो LLaMA-Base-1B (5.19) से बेहतर है।
ग्रेडिएंट डायनेमिक्स (Gradient Dynamics): विश्लेषण पुष्टि करता है कि TIDE में दुर्लभ टोकन एम्बेडिंग्स मानक मॉडल्स की तुलना में उच्च विकास दर और नॉर्म्स प्रदर्शित करते हैं, जो $K$ -गुना ग्रेडिएंट एम्प्लीफिकेशन सिद्धांत को प्रमाणित करता है।
राउटर व्यवहार (Router Behavior): सीखा गया राउटर वेट स्पष्ट विशेषज्ञता दिखाता है: टोकन फ्रीक्वेंसी के साथ Null Bank का वेट बढ़ता है (सामान्य टोकन्स के लिए कम मेमोरी स्वीकार करता है), जबकि विशिष्ट MemoryBlocks दुर्लभ या मध्यम-आवृत्ति वाले क्षेत्रों में विशेषज्ञता प्राप्त करते हैं।
संपीड़न (Compression): शोध पत्र प्रदर्शित करता है कि न्यूनतम प्रदर्शन गिरावट के साथ MemoryBlocks को 4-बिट क्वांटाइजेशन या लो-रैंक डिकंपोजिशन (SVD) के माध्यम से संपीड़ित किया जा सकता है, जिससे यह दृष्टिकोण संसाधन-बाधित वातावरण के लिए व्यवहार्य बनता है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि TIDE LLM डिज़ाइन में एक "सार्वभौमिक रूप से स्वीकृत लेकिन कम-जांची गई" खामी को संबोधित करता है। टोकन पहचान को कॉन्टेक्स्टुअल रेसिड्यूल स्ट्रीम से अलग करके और इसे हर लेयर में पुन: इंजेक्ट करके, TIDE बाहरी रिट्रीवल मैकेनिज्म या पोस्ट-हॉक विश्लेषण की आवश्यकता के बिना ग्रेडिएंट स्टार्वेशन और कॉन्टेक्स्टुअल कोलैप्स के लिए एक संरचनात्मक समाधान प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि TIDE केवल एक रिट्रीवल-ऑगमेंटेड सिस्टम नहीं है, बल्कि एक मौलिक आर्किटेक्चरल शिफ्ट है जो टोकन पहचान को एक निरंतर, लर्न करने योग्य सिग्नल के रूप में मानता है। इसका महत्व इस बात को प्रदर्शित करने में है कि:

दुर्लभ टोकन संरचनात्मक रूप से वंचित हैं मानक ट्रांसफॉर्मर्स में ग्रेडिएंट स्टार्वेशन के कारण, जिसे TIDE समानांतर मेमोरी पाथवे के माध्यम से हल करता है।
कॉन्टेक्स्टुअल कोलैप्स निरंतर हिडन स्टेट रिप्रेजेंटेशन की एक अंतर्निहित सीमा है, जिसे TIDE हर लेयर में डिस्क्रीट, टोकन-इंडेक्स्ड इनपुट्स पेश करके बायपास करता है।

यह कार्य सुझाव देता है कि टोकन पहचान द्वारा इंडेक्स्ड एक समर्पित, कॉन्टेक्स्ट-फ्री सिमेंटिक मेमोरी बनाए रखना मजबूत भाषा मॉडलिंग के लिए एक आवश्यक घटक है, विशेष रूप से शब्दावली के लॉन्ग-टेल वितरण को संभालने और समान संदर्भों में अर्थपूर्ण रूप से समान टोकन्स के बीच अंतर करने के लिए।