💬 NLP

Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models

यह शोध पत्र एंग्राम (Engram) को प्रस्तुत करता है, जो एक स्केलेबल कंडीशनल मेमोरी मॉड्यूल है जो $N$ -ग्राम एम्बेडिंग्स को $O(1)$ लुकअप के लिए आधुनिक बनाता है, जो एक यू-आकार (U-shaped) की स्पर्सिटी एलोकेशन लॉ को प्रकट करता है जो न्यूरल कंप्यूटेशन और स्टैटिक मेमोरी के बीच के ट्रेड-ऑफ को अनुकूलित करता है ताकि लार्ज लैंग्वेज मॉडल्स में रीजनिंग, कोड और लॉन्ग-कॉन्टेक्स्ट रिट्रीवल प्रदर्शन को महत्वपूर्ण रूप से बढ़ाया जा सके।

मूल लेखक: Xin Cheng, Rui Tian, Wangding Zeng, Damai Dai, Qinyu Chen, Bingxuan Wang, Zhenda Xie, Kezhao Huang, Xingkai Yu, Chengqi Deng, Shangyan Zhou, Chenggang Zhao, Zhewen Hao, Yukun Li, Han Zhang, Zhengyan Z

प्रकाशित 2026-07-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xin Cheng, Rui Tian, Wangding Zeng, Damai Dai, Qinyu Chen, Bingxuan Wang, Zhenda Xie, Kezhao Huang, Xingkai Yu, Chengqi Deng, Shangyan Zhou, Chenggang Zhao, Zhewen Hao, Yukun Li, Han Zhang, Zhengyan Zhang, Yixu Wei, M. Y Xu, Huishuai Zhang, Dongyan Zhao, Wenfeng Liang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, जटिल पहेली को सुलझाने की कोशिश कर रहे हैं। लंबे समय से, सबसे बुद्धिमान पहेली-सुलझाने वाले (AI मॉडल) एक विशाल कारखाने की तरह बनाए गए हैं। उनके पास हजारों विशिष्ट कार्यकर्ता (जिन्हें "Mixture-of-Experts" या MoE कहा जाता है) हैं जो कठिन तर्क या नए विचारों को समझने के लिए केवल आवश्यकता पड़ने पर ही सामने आते हैं। यह सोचने के लिए तो बहुत अच्छा है, लेकिन सरल, उबाऊ तथ्यों को याद रखने के मामले में यह थोड़ा अनाड़ी हो सकता है।

इसे इस तरह समझें: यदि आप एक प्रतिभाशाली गणितज्ञ से पूछें, "फ्रांस की राजधानी क्या है?" तो वे केवल "पेरिस" नहीं कहेंगे। उन्हें हर बार शून्य से उत्तर को फिर से व्युत्पन्न करने के लिए एक पूर्ण मानसिक सिमुलेशन चलाना होगा, जिससे बहुत अधिक मानसिक शक्ति खर्च होगी। यह बिल्कुल वैसा ही है जैसे किसी का अपना फोन नंबर याद करने के लिए सुपरकंप्यूटर का उपयोग करना।

बड़ी खोज: मस्तिष्क के लिए एक "चीट शीट" (Cheat Sheet)
DeepSeek-AI और बीजिंग यूनिवर्सिटी के शोधकर्ताओं ने पूछा: क्या होगा यदि हम इन मॉडलों को एक समर्पित "चीट शीट" दे दें उन चीजों के लिए जिन्हें उन्हें बस याद रखने की आवश्यकता है?

उन्होंने Engram नामक एक नया टूल पेश किया। यह सुनिश्चित करने के बजाय कि AI हर एक शब्द के लिए "सोचता" रहे, Engram एक सुपर-फास्ट, O(1) लुकअप टेबल की तरह कार्य करता है (इसका मतलब है कि चाहे आप एक शब्द खोज रहे हों या दस लाख, इसमें लगने वाला समय समान रहता है)। यह N-grams (शब्दों के समूहों को एक साथ देखना) के एक पुराने विचार पर आधारित है, लेकिन उन्होंने इसे आधुनिक तकनीक के साथ अपग्रेड किया है ताकि यह एक विशाल AI के भीतर पूरी तरह से काम कर सके।

"U-आकार" का रहस्य
टीम ने मॉडल बनाने के बारे में एक दिलचस्प नियम की खोज की, जिसे वे U-shaped scaling law कहते हैं।

कल्पना कीजिए कि आपके पास "मस्तिष्क शक्ति" (कंप्यूटिंग स्टेप्स) का एक निश्चित बजट है। आप इसे पूरा "सोचने वाले कार्यकर्ताओं" (MoE) पर खर्च कर सकते हैं, या आप इसे पूरा "मेमोरी चीट शीट" (Engram) पर खर्च कर सकते हैं।

यदि आप 100% सोचने वाले कार्यकर्ताओं पर खर्च करते हैं, तो मॉडल तर्क में अच्छा होता है लेकिन तथ्यों को याद रखने में खराब होता है।
यदि आप 100% चीट शीट पर खर्च करते हैं, तो यह तथ्यों को याद रखता है लेकिन अच्छी तरह से तर्क नहीं कर पाता।
सही संतुलन (The Sweet Spot): शोध में पाया गया कि सबसे अच्छा प्रदर्शन तब होता है जब आप बजट को विभाजित करते हैं। आपको दोनों की आवश्यकता है। विशेष रूप से, उन्होंने पाया कि सोचने वाले कार्यकर्ताओं के "अतिरिक्त" मेमोरी बजट से लगभग 20–25% हिस्सा लेकर उसे Engram मेमोरी मॉड्यूल को देने से पूरा सिस्टम अधिक स्मार्ट हो जाता है। यह ऐसा है जैसे यह महसूस करना कि एक जीनियस को एक तेज़ दिमाग के साथ-साथ एक अच्छी लाइब्रेरी की भी ज़रूरत होती है।

वास्तव में क्या हुआ? (प्रमाण)
उन्होंने Engram-27B नामक एक मॉडल बनाया और इसकी तुलना ठीक उसी आकार और गति वाले एक मानक "केवल-सोचने वाले" मॉडल से की। परिणाम आश्चर्यजनक रूप से मजबूत थे:

ज्ञान (Knowledge): यह ट्रिविया और तथ्यों में बेहतर हुआ (जैसे MMLU पर +3.4 और CMMLU पर +4.0 अधिक स्कोर करना)।
तर्क (Reasoning): इससे भी आश्चर्यजनक रूप से, यह सामान्य तर्क और पहेलियों में बहुत बेहतर हो गया (जैसे BBH पर +5.0 और ARC-Challenge पर +3.7 अधिक स्कोर करना)।
गणित और कोड: इसमें कोडिंग और गणित में भी सुधार हुआ (जैसे HumanEval पर +3.0)।

शोध पत्र बताता है कि ऐसा इसलिए होता है क्योंकि Engram मॉड्यूल "उबाऊ" चीजों (जैसे यह याद रखना कि "सिकंदर महान" एक विशिष्ट नाम है) को संभाल लेता है ताकि मुख्य मस्तिष्क को इसे फिर से बनाने में अपनी ऊर्जा बर्बाद न करनी पड़े। यह मुख्य AI के गहरे स्तरों को जटिल, गहन सोच पर ध्यान केंद्रित करने के लिए मुक्त कर देता है। यह बिल्कुल वैसा ही है जैसे एक सचिव सभी शेड्यूलिंग को संभालता है ताकि CEO रणनीति पर ध्यान केंद्रित कर सके।

"लंबी स्मृति" (Long Memory) का कमाल
एक सबसे शानदार प्रभाव यह है कि ये मॉडल लंबी कहानियों को कितनी अच्छी तरह से संभालते हैं। क्योंकि Engram मॉड्यूल स्थानीय विवरणों को तुरंत पकड़ लेता है, इसलिए मुख्य AI के पास पूरी कहानी को शुरू से अंत तक याद रखने के लिए अधिक "ध्यान" (Attention) बचा रहता है। परीक्षणों में, Engram मॉडल टेक्स्ट के ढेर में एक विशिष्ट सुई को 97.0% बार ढूंढ सका, जबकि मानक मॉडल केवल 84.2% ही कर पाया।

हार्डवेयर का जादू
अंत में, शोध पत्र तर्क देता है कि यह केवल एक सॉफ्टवेयर ट्रिक नहीं है; यह हार्डवेयर-अनुकूल भी है। क्योंकि "चीट शीट" निश्चित पतों (deterministic IDs) का उपयोग करती है, कंप्यूटर वर्तमान हिस्से के लिए गणित करने के दौरान ही अगले हिस्से को फेच (fetch) करना शुरू कर सकता है। इसका मतलब है कि वे एक नियमित कंप्यूटर के हार्ड ड्राइव (होस्ट मेमोरी) पर एक विशाल 100 बिलियन पैरामीटर वाली टेबल स्टोर कर सकते हैं और फिर भी लगभग उतनी ही गति से परिणाम प्राप्त कर सकते हैं जितनी कि सुपर-फास्ट GPU पर। स्पीड का नुकसान नगण्य था, 3% से भी कम।

वे स्पष्ट रूप से क्या नहीं कहते
शोध पत्र इस बारे में बहुत स्पष्ट है कि यह क्या नहीं है:

यह केवल एक बड़ा शब्दावली (Vocabulary) नहीं है। उन्होंने केवल शब्दावली को बड़ा करने (OverEncoding) की कोशिश की थी, और वह Engram जितना अच्छा काम नहीं कर सका।
यह "सोचने" वाले हिस्से का विकल्प नहीं है। यदि आप "सोचने वाले कार्यकर्ताओं" (MoE) को पूरी तरह से हटा देते हैं, तो मॉडल तर्क करने में विफल हो जाता है। मेमोरी एक सहायक है, विकल्प नहीं।
यह हर चीज़ के लिए जादुई समाधान नहीं है। शोध पत्र नोट करता है कि हालांकि यह तथ्यों और तर्क में मदद करता है, लेकिन "बैकबोन" (मुख्य AI) अभी भी पढ़ने की समझ जैसी चीजों के लिए भारी काम करता है, जो संदर्भ (Context) पर अधिक निर्भर करता है न कि स्थिर स्मृति पर।

वे कितने आश्वस्त हैं?
लेखक अपने मापन को लेकर बहुत आश्वस्त हैं। उन्होंने केवल सिमुलेशन नहीं किया; उन्होंने 262 बिलियन टोकन के डेटा पर वास्तविक मॉडल प्रशिक्षित किए और वास्तविक दुनिया के बेंचमार्क पर उनका परीक्षण किया। उन्होंने दिखाया कि "U-आकार" का नियम विभिन्न आकारों में भी सत्य है और प्रदर्शन में सुधार वास्तविक, मापने योग्य और दोहराने योग्य है। उन्होंने मॉडल के अंदर के "गेट्स" (Gates) को भी विज़ुअलाइज़ किया ताकि यह दिखाया जा सके कि यह वास्तव में नामों और वाक्यांशों जैसी चीजों के लिए विशेष रूप से मेमोरी को सक्रिय कर रहा है, जैसा कि उन्होंने डिज़ाइन किया था।

संक्षेप में, शोध पत्र सुझाव देता है कि AI का भविष्य केवल बड़े दिमाग बनाने के बारे में नहीं है; यह उन दिमागों को चीजों को खोजने का एक बेहतर, तेज़ और स्मार्ट तरीका देने के बारे में है।

तकनीकी सारांश: स्केलेबल लुकअप के माध्यम से कंडीशनल मेमोरी (एंग्राम - Engram)

1. समस्या विवरण

वर्तमान लार्ज लैंग्वेज मॉडल्स (LLMs), विशेष रूप से Mixture-of-Experts (MoE) आर्किटेक्चर का उपयोग करने वाले मॉडल, क्षमता को बढ़ाने के लिए कंडीशनल कंप्यूटेशन (conditional computation) पर निर्भर करते हैं। हालाँकि, मानक ट्रांसफॉर्मर्स में नॉलेज लुकअप (knowledge lookup) के लिए कोई मूल प्रिमिटिव (primitive) नहीं है। फलस्वरूप, मॉडल्स रिट्रीवल (retrieval) को डायनेमिक कंप्यूटेशन के माध्यम से अक्षम रूप से सिम्युलेट करने के लिए मजबूर होते हैं।

लेखक तर्क देते हैं कि भाषाई संकेत अंतर्निहित विषमता (intrinsic heterogeneity) प्रदर्शित करते हैं:

कंपोजिशनल रीजनिंग (Compositional Reasoning): इसके लिए गहरे, डायनेमिक कंप्यूटेशन की आवश्यकता होती है।
नॉलेज रिट्रीवल (Knowledge Retrieval): टेक्स्ट का एक बड़ा हिस्सा (जैसे, नामित संस्थाएं, फॉर्मूला पैटर्न) स्थानीय, स्थिर और अत्यधिक स्टीरियोटाइप्ड होता है।

मानक ट्रांसफॉर्मर्स मॉडल को स्टैटिक लुकअप (जैसे, "डायना, प्रिंसेस ऑफ वेल्स" को हल करना) को पुनर्गठित करने के लिए कई शुरुआती अटेंशन लेयर्स और फीड-फॉरवर्ड नेटवर्क्स (FFNs) का उपभोग करने के लिए मजबूर करते हैं, जो सैद्धांतिक रूप से एक साधारण टेबल लुकअप के माध्यम से किया जा सकता था। यह मॉडल के बहुमूल्य अनुक्रमिक गहराई (sequential depth) को तुच्छ कार्यों पर बर्बाद करता है, जिससे मॉडल को उच्च-स्तरीय तर्क (higher-level reasoning) के लिए संसाधन आवंटित करने से रोकता है।

2. कार्यप्रणाली: एंग्राम मॉड्यूल (The Engram Module)

इस समस्या को संबोधित करने के लिए, यह पेपर कंडीशनल मेमोरी (Conditional Memory) को कंडीशनल कंप्यूटेशन के पूरक स्पैरसिटी एक्सिस (sparsity axis) के रूप में पेश करता है। इसे एंग्राम (Engram) के माध्यम से क्रियान्वित किया गया है, जो $O(1)$ कांस्टेंट-टाइम लुकअप सक्षम करने के लिए क्लासिक $N$ -ग्राम एम्बेडिंग्स को आधुनिक बनाता है।

2.1. आर्किटेक्चर

एंग्राम ट्रांसफॉर्मर बैकबोन को स्टेटिक पैटर्न स्टोरेज को डायनेमिक कंप्यूटेशन से संरचनात्मक रूप से अलग करके सुदृढ़ करता है। यह दो चरणों में कार्य करता है:

हेश्ड $N$ -ग्राम्स के माध्यम से स्पार्स रिट्रीवल (Sparse Retrieval via Hashed $N$ -grams):
- टोकनाइज़र कम्प्रेशन (Tokenizer Compression): एक सरजेक्टिव फंक्शन (surjective function) कच्चे टोकन आईडी को कैनोनिकल आइडेंटिफायर में मैप करता है (केस, विराम चिह्न आदि को सामान्य बनाना) ताकि सिमेंटिक डेंसिटी को अधिकतम किया जा सके और वोकैबुलरी साइज को कम किया जा सके।
- मल्टी-हेड हैशिंग (Multi-Head Hashing): $N$ -ग्राम ऑर्डर के कॉम्बिनेटोरियल स्पेस को संभालने के लिए, मॉड्यूल प्रति $N$ -ग्राम ऑर्डर $K$ विशिष्ट हैश हेड्स का उपयोग करता है। ये संपीड़ित कॉन्टेक्स्ट को डिटरमिनिस्टिक फंक्शन्स के माध्यम से एम्बेडिंग टेबल्स के इंडेक्स में मैप करते हैं, जिससे स्टैटिक वेक्टर्स प्राप्त होते हैं।
- कंकाटेनेशन (Concatenation): विभिन्न $N$ -ग्राम ऑर्डर्स और हैश हेड्स से प्राप्त एम्बेडिंग्स को मेमोरी वेक्टर बनाने के लिए कंकैटेनेट किया जाता है।
कॉन्टेक्स्ट-अवेयर गेटिंग और फ्यूजन (Context-Aware Gating & Fusion):
- चूंकि स्टैटिक मेमोरी में कॉन्टेक्स्ट का अभाव होता है, इसलिए गेटिंग मैकेनिज्म वर्तमान हिडन स्टेट (एग्रीगेटेड ग्लोबल कॉन्टेक्स्ट) को एक 'क्वेरी' (Query) के रूप में उपयोग करके रिट्रीव्ड मेमोरी को मॉड्युलेट करता है।
- एक स्केलर गेट $\alpha_t$ वर्तमान नॉर्मलाइज्ड हिडन स्टेट और मेमोरी 'की' (Key) के बीच डॉट प्रोडक्ट के माध्यम से कंप्यूट किया जाता है। यदि मेमोरी कॉन्टेक्स्ट के विपरीत है, तो गेट मेमोरी को दबा देता है (नॉइज़ रिडक्शन)।
- एक लाइटवेट डेप्थवाइज कॉज़ल कन्वोल्यूशन (depthwise causal convolution) गेटेड मेमोरी को बैकबोन में रेसिडुअल कनेक्शन के माध्यम से फ्यूज करने से पहले रिसेप्टिव फील्ड का विस्तार करता है।

2.2. सिस्टम एफिशिएंसी और इंफ्रास्ट्रक्चर को-डिज़ाइन

MoE के विपरीत, जिसमें डायनेमिक रूटिंग और हिडन स्टेट कम्युनिकेशन की आवश्यकता होती है, एंग्राम केवल इनपुट टोकन आईडी के आधार पर डिटरमिनिस्टिक एड्रेसिंग (deterministic addressing) का उपयोग करता है।

प्रीफेचिंग (Prefetching): फॉरवर्ड पास से पहले ही इंडेक्स ज्ञात होते हैं, जिससे होस्ट मेमोरी (CPU/DRAM) से PCIe के माध्यम से एम्बेडिंग्स को एसिंक्रोनसली प्रीफेच करना संभव होता है।
ओवरलैप (Overlap): यह संचार (communication) को पिछले ट्रांसफॉर्मर ब्लॉक्स के कंप्यूटेशन के साथ ओवरलैप करने में सक्षम बनाता है, जिससे नगण्य ओवरहेड होता है।
ऑफलोडिंग (Offloading): विशाल एम्बेडिंग टेबल्स (जैसे, 100B पैरामीटर्स) को होस्ट मेमोरी में ऑफलोड किया जा सकता है, जिससे GPU मेमोरी बाधाओं को बायपास किया जा सके।

2.3. स्पैरसिटी एलोकेशन (Sparsity Allocation)

लेखक स्पैरसिटी एलोकेशन समस्या को फॉर्म्युलेट करते हैं: एक निश्चित पैरामीटर बजट दिए जाने पर, क्षमता को MoE एक्सपर्ट्स (डायनेमिक कंप्यूटेशन) और एंग्राम मेमोरी (स्टैटिक लुकअप) के बीच कैसे विभाजित किया जाना चाहिए?

वे एक एलोकेशन रेशियो $\rho$ को परिभाषित करते हैं जो MoE में असाइन किए गए निष्क्रिय पैरामीटर्स के अंश को दर्शाता है।
प्रयोगों से एक U-आकार का स्केलिंग लॉ (U-shaped scaling law) सामने आया: शुद्ध MoE ( $\rho=100\%$ ) और शुद्ध एंग्राम ( $\rho=0\%$ ) दोनों ही सब-ऑप्टिमल हैं। सर्वोत्तम प्रदर्शन एक हाइब्रिड एलोकेशन (जैसे, $\rho \approx 75\%–80\%$ ) के साथ प्राप्त होता है, जहाँ लगभग 20–25% स्पार्स बजट को एंग्राम में पुन: आवंटित किया जाता है।

2. मुख्य परिणाम

3.1. प्री-ट्रेनिंग परफॉरमेंस

लेखकों ने 262B टोकन पर चार मॉडल्स को प्रशिक्षित किया, जो सक्रिय पैरामीटर्स (3.8B) और ट्रेनिंग FLOPs को सख्ती से समान रखते हैं:

Dense-4B: बेसलाइन।
MoE-27B: स्टैंडर्ड MoE बेसलाइन।
Engram-27B: MoE-27B के आइसो-पैरामीटर (iso-parameter) के साथ, जिसमें 5.7B पैरामीटर्स को एंग्राम में पुन: आवंटित किया गया है (एक्सपर्ट्स को 72 से घटाकर 55 कर दिया गया)।
Engram-40B: एंग्राम मेमोरी को 18.5B पैरामीटर्स (कुल 39.5B) तक स्केल करता है।

निष्कर्ष:

MoE पर श्रेष्ठता: Engram-27B ने विविध डोमेन में आइसो-पैरामीटर MoE-27B बेसलाइन को पछाड़ दिया।
रीजनिंग लाभ: इस धारणा के विपरीत कि मेमोरी केवल नॉलेज रिट्रीवल में मदद करती है, Engram ने जेनेरल रीजनिंग (BBH +5.0, ARC-Challenge +3.7) और कोड/मैथ (HumanEval +3.0, MATH +2.4) में महत्वपूर्ण लाभ दिखाया।
नॉलेज गेन्स: नॉलेज-इंटेंसिव टास्क (MMLU +3.0, CMMLU +4.0) पर बेहतर प्रदर्शन।
स्केलिंग: Engram-40B ने लॉस (loss) को और कम किया, जो बताता है कि मेमोरी एक्सिस अतिरिक्त कंप्यूट के बिना प्रभावी ढंग से स्केल होता है।

3.2. लॉन्ग-कॉन्टेक्स्ट क्षमताएं

लोकल डिपेंडेंसीज को लुकअप के लिए ऑफलोड करके, एंग्राम अटेंशन कैपेसिटी को ग्लोबल कॉन्टेक्स्ट के लिए मुक्त करता है।

RULER बेंचमार्क: Engram-27B ने मल्टी-क्वेरी नीडल-इन-अ-हेस्टैक (NIAH) पर 97.0% सटीकता हासिल की, जबकि MoE बेसलाइन ने 84.2% प्राप्त किया।
एफिशिएंसी: Engram-27B ने केवल 82% प्री-ट्रेनिंग FLOPs के साथ बेसलाइन के LongPPL प्रदर्शन के बराबर प्रदर्शन किया।

3.3. मैकेनिस्टिक एनालिसिस (Mechanistic Analysis)

प्रभावी गहराई (Effective Depth): LogitLens और CKA (Centered Kernel Alignment) का उपयोग करते हुए, लेखकों ने पाया कि एंग्राम की शुरुआती लेयर्स ऐसे रिप्रेजेंटेशन बनाती हैं जो MoE बेसलाइन की बहुत गहरी लेयर्स के सिमेंटिक रूप से समकक्ष हैं। यह सुझाव देता है कि एंग्राम स्टैटिक फीचर्स को पुनर्गठित करने के लिए शुरुआती लेयर्स की आवश्यकता को बायपास करके नेटवर्क को "डीप" (deepen) करता है।
फंक्शनल डाइकोटॉमी (Functional Dichotomy): एब्लेशन स्टडीज ने दिखाया कि जब एंगग्राम को डिसेबल किया गया, तो फैक्टुअल नॉलेज बेंचमार्क्स ढह गए (केवल 29–44% प्रदर्शन बचा), जबकि रीडिंग कॉम्प्रिहेन्शन मजबूत बना रहा (81–93%), जो पुष्टि करता है कि एंगग्राम पैरामीट्रिक नॉलेज के प्राथमिक भंडार के रूप में कार्य करता है।

3.4. सिस्टम एफिशिएंसी

थ्रूपुट (Throughput): 100B-पैरामीटर एंगग्राम टेबल को होस्ट मेमोरी में ऑफलोड करने से <3% (8B बैकबोन पर 2.8%) का नगण्य थ्रूपुट पेनल्टी देखा गया, जो प्रीफेच-एंड-ओवरलैप रणनीति को मान्य करता है।

4. महत्व और दावे

यह पेपर दावा करता है कि कंडीशनल मेमोरी अगली पीढ़ी के स्पार्स मॉडल्स के लिए एक अनिवार्य मॉडलिंग प्रिमिटिव है। इसका महत्व तीन मुख्य क्षेत्रों में निहित है:

स्ट्रक्चरल कॉम्प्लीमेंटैरिटी (Structural Complementarity): यह स्थापित करता है कि स्टैटिक लुकअप और डायनेमिक कंप्यूटेशन एक-दूसरे के विरोधी नहीं बल्कि संरचनात्मक रूप से पूरक हैं। दोनों के बीच एलोकेशन को ऑप्टिमाइज़ करने से एक U-आकार का स्केलिंग लॉ प्राप्त होता है जो प्योर MoE से बेहतर प्रदर्शन करता है।
डिकपलिंग के माध्यम से एफिशिएंसी: डिटरमिनिस्टिक एड्रेसिंग के माध्यम से कंप्यूटेशन से पैरामीटर स्टोरेज को अलग करके, एंगग्राम मॉडल्स को GPU मेमोरी या कंप्यूट लागत से बाधित हुए बिना विशाल पैरामीटर काउंट (जैसे, 40B+) तक स्केल करने की अनुमति देता है, जो प्रभावी रूप से हार्डवेयर बॉटलनैक्स को बायपास करता है।
नेटवर्क को गहरा करना: मैकेनिज्म एनालिसिस बताता है कि स्पष्ट नॉलेज लुकअप प्रदान करने से बैकबोन की शुरुआती लेयर्स को स्टैटिक रिकंस्ट्रक्शन कार्यों से राहत मिलती है। यह प्रभावी रूप से जटिल रीजनिंग के लिए उपलब्ध नेटवर्क की गहराई को बढ़ाता है, जो अनपेक्षित रीजनिंग और कोड टास्क में लाभ की व्याख्या करता है।

लेखक एंगग्राम को केवल एक रिट्रीवल ऑग्मेंटेशन के रूप में नहीं, बल्कि एक मौलिक आर्किटेक्चरल शिफ्ट के रूप में प्रस्तुत करते हैं जो $N$ -ग्राम अवधारणाओं को बड़े पैमाने के स्पार्स मॉडल्स के युग के लिए आधुनिक बनाता है, जो मौजूदा MoE प्रतिमान के पूरक के रूप में एक नया स्पैरसिटी एक्सिस प्रदान करता है।