📊 statistics

Prototype Language Models

यह शोध पत्र PRISM को प्रस्तुत करता है, जो एक प्रोटोटाइप-आधारित भाषा मॉडल आर्किटेक्चर है जो अपने स्पार्स (sparse), नॉन-नेगेटिव मिश्रण संरचना के माध्यम से काफी तेज़ डेटा एट्रिब्यूशन और लक्षित व्यवहार सुधार सक्षम करते हुए, डेंस बेसलाइन्स के साथ प्रतिस्पर्धी प्रदर्शन प्राप्त करता है।

मूल लेखक: Dan Ley, Giang Nguyen, Himabindu Lakkaraju, Julius Adebayo

प्रकाशित 2026-07-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dan Ley, Giang Nguyen, Himabindu Lakkaraju, Julius Adebayo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय (एक लार्ज लैंग्वेज मॉडल) है जो कहानियाँ लिख सकता है, प्रश्नों के उत्तर दे सकता है और समस्याओं को हल कर सकता है। लेकिन एक पेंच है: यह पुस्तकालय एक "ब्लैक बॉक्स" है। जब यह कोई वाक्य लिखता है, तो आपको पता नहीं होता कि पुस्तकालय की किन किताबों ने उस विशिष्ट शब्द को प्रभावित किया। क्या इसने किसी समाचार लेख को कॉपी किया? किसी रेसिपी को? या किसी उपन्यास को? सारी जानकारी एक विशाल, उलझे हुए नंबरों के ढेर में मिली हुई है, जिससे गलतियों को सुधारना, पक्षपात (bias) की जाँच करना या यह समझना कठिन हो जाता है कि इसने ऐसा क्यों कहा।

यह शोध पत्र PRISM (प्रोटोटाइप्स फॉर इंटरप्रिटेबल सीक्वेंस मॉडलिंग) नामक एक नए प्रकार के पुस्तकालय का परिचय देता है। उलझे हुए ढेर के बजाय, PRISM अपने ज्ञान को प्रोटोटाइप्स नामक साफ-सुथरे, लेबल वाले बक्सों में व्यवस्थित करता है।

यहाँ बताया गया है कि PRISM कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. "रेसिपी कार्ड" बनाम "सीक्रेट सॉस"

मानक मॉडल (सीक्रेट सॉस): कल्पना कीजिए कि एक शेफ एक स्वादिष्ट सूप बनाता है, लेकिन वे सभी सामग्रियों को एक विशाल बर्तन में मिला देते हैं और उन्हें इतनी अच्छी तरह से मिला देते हैं कि आप यह नहीं बता सकते कि नमक किसी विशिष्ट जार से आया था या गाजर किसी विशिष्ट खेत से थी। यदि सूप का स्वाद खराब है, तो आप आसानी से यह नहीं पता लगा सकते कि किस सामग्री को हटाना है।
PRISM (रेसिपी कार्ड): PRISM एक ऐसे शेफ की तरह है जो हर सामग्री को अपने स्वयं के लेबल वाले जार (एक "प्रोटोटाइप") में रखता है। सूप (वाक्य) बनाने के लिए, शेफ सब कुछ नहीं मिलाता है। इसके बजाय, वे कुछ विशिष्ट जार चुनते हैं—जैसे कि "टमाटर बेस," "स्पाइसी चिली," और "हर्ब मिक्स"—और उन्हें एक साथ डालते हैं।
- जादू: क्योंकि सूप इन विशिष्ट जारों का मिश्रण है, इसलिए आप कटोरे को देखकर कह सकते हैं, "आह, इस हिस्से का स्वाद तीखा है क्योंकि इसमें 'चिली जार' है, जो उस एक विशिष्ट रेसिपी बुक पर आधारित है।"

2. यह कैसे "सोचता" है (द स्पार्स मिक्स)

जब PRISM वाक्य में अगले शब्द की भविष्यवाणी करता है, तो वह अपने पूरे मस्तिष्क का एक साथ उपयोग नहीं करता है। यह इन "प्रोटोटाइप जारों" के एक छोटे, स्पार्स (sparse) समूह को सक्रिय करता है।

उपमा: कल्पना कीजिए कि आप एक ड्रैगन के बारे में कहानी लिख रहे हैं। एक मानक मॉडल एक बार में अरबों शब्दों का उपयोग कर सकता है। PRISM केवल तीन विशिष्ट "जारों" से सामग्री निकाल सकता है: एक जिसे "फैंटेसी क्रीचर्स" लेबल दिया गया है, एक "मिडिवल कास्टल्स" और एक "फायर"।
परिणाम: आप देख सकते हैं कि किन जारों का उपयोग किया गया था। यदि ड्रैगन आग उगलता है, तो आप जानते हैं कि यह इसलिए हुआ क्योंकि "फायर" जार सक्रिय था, और आप उस जार को उन विशिष्ट प्रशिक्षण उदाहरणों (उन "रेसिपी बुक्स" से) तक ट्रैक कर सकते हैं जिन्होंने उसे आग के बारे में सिखाया था।

3. यह क्यों महत्वपूर्ण है ("क्यों" और "कैसे")

शोध पत्र का दावा है कि यह डिज़ाइन तीन बड़ी समस्याओं को हल करता है:

समस्या: "दोषी कौन है?" (Attribution)
- मानक मॉडल: यदि मॉडल कुछ अभद्र कहता है, तो यह जानना कठिन है कि किस प्रशिक्षण डेटा (training data) के कारण ऐसा हुआ। यह समुद्र तट में रेत के एक विशिष्ट कण को खोजने जैसा है।
- PRISM: यदि मॉडल अभद्र है, तो आप सक्रिय जारों को देख सकते हैं और कह सकते हैं, " 'रूड स्लैंग' (Rude Slang) जार का उपयोग किया गया था।" फिर आप उस जार को सीधे उस विशिष्ट डेटा तक ट्रैक कर सकते हैं जिसने उसे वह स्लैंग सिखाया था। शोध पत्र कहता है कि यह वर्तमान तरीकों की तुलना में समस्या के स्रोत को खोजने में 500 गुना तेज़ है।
समस्या: "इसे कैसे ठीक करें?" (Control)
- मानक मॉडल: मॉडल को अभद्र होने से रोकने के लिए, आपको आमतौर पर पूरे पुस्तकालय को फिर से प्रशिक्षित (retrain) करना पड़ता है, जो महंगा और धीमा है।
- PRISM: आप बस "रूड स्लैंग" जार की आवाज़ कम (turn down the volume) कर सकते हैं। आपको पूरे शेफ को फिर से प्रशिक्षित करने की आवश्यकता नहीं है; आप बस शेफ को बताते हैं, "आज उस जार का उपयोग मत करना।" शोध पत्र दिखाता है कि यह मॉडल को फिर से प्रशिक्षित किए बिना या उसके लेखन की गुणवत्ता खोए बिना हानिकारक सामग्री को रोक सकता है।
समस्या: "क्या यह अभी भी अच्छा काम करता है?" (Performance)
- शोध पत्र ने 130 मिलियन से लेकर 1.6 बिलियन पैरामीटर्स तक के मॉडलों पर PRISM का परीक्षण किया।
- परिणाम: PRISM मानक मॉडलों के समान ही प्रदर्शन करता है। अपने ज्ञान को जारों में व्यवस्थित करने से इसने अपनी "बुद्धिमत्ता" नहीं खोई। वास्तव में, एक छोटा "ट्यूनिंग नॉब" (कंट्रोलर) जोड़ने से, यह प्रश्नों के उत्तर देने में थोड़ा बेहतर भी हो सकता है।

4. "कर्वेचर" की उपमा (गणित वाला हिस्सा)

शोध पत्र "लोकलाइजिंग कर्वेचर" (localizing curvature) नामक चीज़ का उल्लेख करता है। इसे समझने का एक सरल तरीका यहाँ दिया गया है:

कल्पना कीजिए कि मॉडल की सीखने की प्रक्रिया एक ऊबड़-खाबड़ परिदृश्य पर चलने जैसी है। मानक मॉडलों में, उभार (bumps) हर जगह और उलझे हुए होते हैं, जिससे यह जानना कठिन हो जाता है कि गलती सुधारने के लिए किस दिशा में जाना है।
PRISM में, "जार" (प्रोटोटाइप्स) स्थानीय पड़ोस (local neighborhoods) के रूप में कार्य करते हैं। उभार प्रत्येक पड़ोस के भीतर सीमित होते हैं। इससे परिदृश्य को नेविगेट करना बहुत आसान हो जाता है। यह एक ऐसे मानचित्र की तरह है जहाँ हर सड़क स्पष्ट रूप से लेबल की गई है, न कि एक भूलभुलैया की तरह जहाँ हर मोड़ एक जैसा दिखता है। यह मॉडल को "ठीक करने" के पीछे के गणित को बहुत सरल और तेज़ बनाता है।

सारांश

PRISM एक ऐसा AI बनाने का नया तरीका है जो डिज़ाइन द्वारा पारदर्शी (transparent by design) है। अपने ज्ञान को एक विशाल, अपठनीय ढेर में छिपाने के बजाय, यह अपने ज्ञान को लेबल किए गए, पुन: प्रयोज्य "प्रोटोटाइप्स" (जैसे रेसिपी कार्ड या जार) में व्यवस्थित करता है।

आप देख सकते हैं कि निर्णय लेने के लिए इसने किन "जारों" का उपयोग किया।
आप उन जारों को विशिष्ट प्रशिक्षण डेटा तक ट्रैक कर सकते हैं।
आप खराब "जारों" को बंद कर सकते हैं ताकि मॉडल को फिर से प्रशिक्षित किए बिना बुरे व्यवहार को रोका जा सके।
यह मानक, अपारदर्शी (opaque) मॉडलों की तरह ही अच्छा काम करता है।

शोध पत्र तर्क देता है कि यदि हम ऐसा AI चाहते हैं जिस पर हम भरोसा कर सकें, ऑडिट कर सकें और सुधार सकें, तो हमें ब्लैक बॉक्स बनाना बंद करना चाहिए और स्पष्ट, लेबल वाली अलमारियों वाले पुस्तकालय बनाने चाहिए।

तकनीकी सारांश: प्रोटोटाइप लैंग्वेज मॉडल्स (PRISM)

समस्या विवरण

वर्तमान लार्ज लैंग्वेज मॉडल्स (LLMs) एक मौलिक चुनौती का सामना कर रहे हैं जिसे ट्रेनिंग डेटा एट्रिब्यूशन (TDA) कहा जाता है: यह निर्धारित करना कि कौन से विशिष्ट प्रशिक्षण उदाहरण (training examples) मॉडल के आउटपुट को संचालित करते हैं। मानक डेंस आर्किटेक्चर में, प्रशिक्षण डेटा अप्रत्यक्ष रूप से अरबों पैरामीटर्स के भीतर संचित प्रभावों के माध्यम से भविष्यवाणियों को प्रभावित करता है। यह किसी भी एकल उदाहरण के प्रभाव को वितरित और अप्राप्य बना देता है, जिसे महंगे, अनुमानित और अक्सर सांख्यिकीय रूप से गलत पोस्ट-हॉक विश्लेषण के बिना ट्रैक करना कठिन होता है।

मौजूदा ग्रेडिएंट-आधारित TDA विधियाँ (जैसे, इन्फ्लुएंस फंक्शन्स) पैमाने पर दो जटिल समस्याओं का सामना करती हैं:

कंप्यूटेशनल अक्षमता: अरबों पैरामीटर्स वाले मॉडल्स के लिए सटीक इनवर्स हेसियन-वेक्टर प्रोडक्ट (iHVP) की गणना करना असंभव है, जिससे ऐसे अनुमानों की आवश्यकता होती है जो सटीकता के साथ समझौता करते हैं।
सांख्यिकीय मिसस्पेसिफिकेशन: ये विधियाँ अक्सर नियत (deterministic), उत्तल (convex) उद्देश्यों को मानती हैं जो अभिसरण (convergence) तक अनुकूलित होते हैं, ऐसी स्थितियाँ जो स्टोकेस्टिक LLM प्रशिक्षण के लिए मान्य नहीं हैं। इसके परिणामस्वरूप, एट्रिब्यूशन अनुमान 'लीव-वन-आउट' रिट्रेनिंग से मेल खाने में विफल हो सकते हैं और ट्रेनिंग पाइपलाइन हाइपरपैरामीटर्स (डेप्थ, बैच साइज, डेटा ऑर्डर) के प्रति संवेदनशील होते हैं।

यह शोध तर्क देता है कि TDA को केवल एक पोस्ट-हॉक अनुमान समस्या के रूप में नहीं, बल्कि एक आर्किटेक्चरल डिज़ाइन समस्या के रूप में माना जाना चाहिए।

कार्यप्रणाली: PRISM आर्किटेक्चर

लेखक प्रोटोटाइप्स फॉर इंटरप्रिटेबल सीक्वेंस मॉडलिंग (PRISM) पेश करते हैं, जो एक ऐसा भाषा मॉडल आर्किटेक्चर है जो एक डेंस आउटपुट हेड के बजाय सीखे गए प्रोटोटाइप्स के एक स्पार्स, नॉन-नेगेटिव मिश्रण के माध्यम से भविष्यवाणियाँ करता है।

मुख्य आर्किटेक्चर

PRISM एक मानक ट्रांसफॉर्मर डिकोडर बैकबोन को बनाए रखता है लेकिन अंतिम डेंस आउटपुट पाथवे को एक स्पार्स प्रोटोटाइप रिकंस्ट्रक्शन से बदल देता है:

प्रोटोटाइप बैंक: $K$ सीखे गए प्रोटोटाइप वेक्टर्स $P = [p_1, \dots, p_K] \in \mathbb{R}^{d \times K}$ का एक सेट बनाए रखा जाता है।
स्पार्स एक्टिवेशन: एक दिए गए हिडन स्टेट $z_t$ के लिए, मॉडल सभी प्रोटोटाइप्स के साथ कोसाइन सिमिलैरिटी की गणना करता है, गैर-ऋणात्मकता लागू करने के लिए ReLU का उपयोग करता है, और टॉप- $k$ सक्रिय प्रोटोटाइप्स का चयन करता है ( $k \ll K$ )।
रिकंस्ट्रक्शन: हिडन स्टेट को एक प्रोटोटाइप रिकंस्ट्रक्शन $\hat{z}_t$ और एक रेसिड्यूल $r_t$ में विभाजित किया जाता है:
$z_t = \hat{z}_t + r_t = \sum_{i \in \mathcal{K}_t} a_{t,i} p_i + r_t$
जहाँ $\mathcal{K}_t$ सक्रिय प्रोटोटाइप्स का सेट है और $a_{t,i}$ उनके एक्टिवेशन हैं।
लॉगिट फॉर्मेशन: अगले-टोकन लॉगिट्स योगात्मक रूप से बनते हैं:
$\ell_t = W z_t = W r_t + \sum_{i \in \mathcal{K}_t} a_{t,i} (W p_i)$
यहाँ $W p_i$ प्रत्येक प्रोटोटाइप के लिए एक निश्चित "टोकन-लॉगिट सिग्नेचर" का प्रतिनिधित्व करता है।

प्रशिक्षण उद्देश्य (Training Objectives)

PRISM को भाषा मॉडलिंग की शुद्धता और प्रोटोटाइप व्याख्यात्मकता (interpretability) के बीच संतुलन बनाने के लिए चार लॉस टर्म्स के साथ एंड-टू-एंड प्रशिक्षित किया जाता है:

क्रॉस-एन्ट्रॉपी ( $L_{CE}$ ): मानक नेक्स्ट-टोकन प्रेडिक्शन की गुणवत्ता सुनिश्चित करता है।
रिकंस्ट्रक्शन लॉस ( $L_{REC}$ ): रेसिड्यूल को दंडित करता है, जिससे प्रोटोटाइप्स को हिडन स्टेट के अधिकांश हिस्से की व्याख्या करने के लिए प्रोत्साहित किया जाता है।
क्लस्टरिंग लॉसेस ( $L_{R1}, L_{R2}$ ): ये सममित (symmetric) उद्देश्य प्रोटोटाइप्स को प्रशिक्षण डेटा के सुसंगत पड़ोस (neighborhoods) से जोड़ते हैं। $L_{R1}$ प्रोटोटाइप्स को बैच में उनके निकटतम टोकन रिप्रजेंटेशन की ओर खींचता है, जबकि $L_{R2}$ टोकन स्टेट्स को उनके निकटतम प्रोटोटाइप्स की ओर खींचता है। यह सुनिश्चित करता है कि प्रोटोटाइप्स डेटा मैनिफोल्ड पर स्थित हों न कि मनमाने स्पार्स डिक्शनरी दिशाओं में भटकें।

सैद्धांतिक अंतर्दृष्टि: कर्वेचर लोकलाइजेशन (Curvature Localization)

एक प्रमुख सैद्धांतिक योगदान प्रोटोटाइप सबस्पेस में लॉस हेसियन का विश्लेषण है। लेखक दिखाते हैं कि क्लस्टरिंग उद्देश्य कर्वेचर को लोकलाइज (स्थानीयकृत) करते हैं:

हेसियन एक ग्लोबल को-यूसेज टर्म (जो यह कैप्चर करता है कि प्रोटोटाइप्स एक साथ कैसे उपयोग किए जाते हैं) और लोकल ब्लॉक-डायगोनल टर्म्स (जो प्रत्येक प्रोटोटाइप के आसपास की ज्यामिति को कैप्चर करते हैं) में विभाजित हो जाता है।
मजबूत क्लस्टरिंग, प्रोटोटाइप के बीच क्रॉस-कपलिंग को कम करती है, जिससे हेसियन बेहतर ढंग से कंडिशन्ड हो जाता है।
यह संरचना स्केलेबल TDA को सक्षम बनाती है: क्योंकि कर्वेचर स्थानीयकृत है, इन्फ्लुएंस स्कोर को कैश किए गए स्पार्स स्टैटिस्टिक्स का उपयोग करके तेजी से कंप्यूट किया जा सकता है, जिससे पूर्ण पैरामीटर-स्पेस ग्रेडिएंट प्रोडक्ट्स की आवश्यकता से बचा जा सकता है।

मुख्य योगदान

आर्किटेक्चर (PRISM): नेक्स्ट-टोकन प्रेडिक्शन के लिए प्रथम परिवार का LLM-स्केल प्रोटोटाइप लैंग्वेज मॉडल। यह प्रत्येक भविष्यवाणी के लिए एक स्पार्स, ट्रेनिंग-ग्राउंडेड मिश्रण को उजागर करके केस-बेस्ड रीजनिंग को ऑटो-रिग्रेसिव मॉडलिंग तक विस्तारित करता है।
थ्योरी और एट्रिब्यूशन: यह प्रदर्शित करता है कि स्पार्स प्रोटोटाइप स्ट्रक्चर और क्लस्टरिंग उद्देश्य लॉस लैंडस्केप में कर्वेचर को लोकलाइज करते हैं। यह एक स्ट्रक्चर्ड हेसियन प्रदान करता है जो समान मेमोरी खपत के साथ, डेंस ग्रेडिएंट-आधारित बेसलाइन्स (जैसे EK-FAC) की तुलना में ~500 $\times$ तेज़ ट्रेनिंग डेटा एट्रिब्यूशन सक्षम करता है।
एम्पिरिकल परफॉरमेंस और कंट्रोल:
- परफॉरमेंस: FineWeb और Nemotron-CC कॉर्पोरा पर 130M से 1.6B पैरामीटर्स तक के मॉडल्स पर, PRISM मैच किए गए डेंस GPT बेसलाइन्स के 2.5 प्रतिशत अंकों के भीतर रहता है।
- कंट्रोलेबिलिटी: प्रोटोटाइप कंट्रोलर्स सक्रिय प्रोटोटाइप्स को रीवेट (reweight) करके डाउनस्ट्रीम सटीकता में ~3 पॉइंट्स का सुधार कर सकते हैं, जो विशिष्ट ट्रेनिंग नेबरहुड्स तक ट्रैसेबल है।
- अलाइनमेंट: इंफरेंस के समय लक्षित प्रोटोटाइप सप्रेशन (suppression) बिना फाइन-ट्यूनिंग या जनरेशन क्वालिटी में मापने योग्य नुकसान के, अवांछित व्यवहारों (जैसे NSFW कंटेंट) को हटा सकता है।

प्रयोगात्मक परिणाम

स्केलिंग और परफॉरमेंस

स्केल: PRISM को FineWeb और Nemotron-CC कॉर्पोरा पर 130M से 1.6B पैरामीटर्स तक स्केल किया गया (50B टोकन तक)।
सटीकता: 1.6B पैरामीटर्स पर, 10B टोकन पर प्रशिक्षित PRISM, डेंस GPT बेसलाइन्स के बराबर प्रदर्शन प्राप्त करता है। 20B–50B टोकन के साथ, इसने डेंस बेसलाइन्स के अंतर को पाट दिया, औसत डाउनस्ट्रीम सटीकता में 2.5 पॉइंट्स के भीतर रहा।
दक्षता: प्रोटोटाइप लेयर न्यूनतम ओवरहेड (जैसे XL स्केल पर 1.7% पैरामीटर वृद्धि) जोड़ती है और डेंस GPT मॉडल्स के 97.3% ट्रेनिंग थ्रूपुट प्राप्त करती है।
ग्राउंडिंग: प्रोटोटाइप कवरेज मेट्रिक्स ( $\bar{R}_1, R_2$ ) उच्च (0.94–1.00) रहे, जो दर्शाता है कि प्रोटोटाइप वास्तविक ट्रेनिंग कॉन्टेक्स्ट में टिके रहे।

एट्रिब्यूशन दक्षता

गति: कैश किए गए प्रोटोटाइप एट्रिब्यूशन ने समान GPU मेमोरी बाधाओं के तहत 124M मॉडल पर EK-FAC की तुलना में 470 $\times$ की गति वृद्धि हासिल की।
सिग्नल प्रिजर्वेशन: कैश किए गए स्कोर ने फुल प्रोटोटाइप स्पेस ग्रेडिएंट्स की तुलना में टॉप-रैंक्ड ट्रेनिंग सीक्वेंस के ~80% को सुरक्षित रखा, जो दर्शाता है कि स्पार्स, लोकलाइज्ड ज्योमेट्री आवश्यक एट्रिब्यूशन सिग्नल को बनाए रखती है।

कंट्रोल और स्टीयरिंग

कंट्रोलर्स: सक्रिय प्रोटोटाइप्स पर एक स्पार्स लीनियर कंट्रोलर ने चार नॉन-बाइनरी मल्टीपल-चॉइस टास्क पर औसतन +2.72 पॉइंट्स का सुधार किया, जो SAE-आधारित कंट्रोलर बेसलाइन (+0.32 पॉइंट्स) से काफी बेहतर है।
सेफ्टी अलाइनमेंट: इंफरेंस के समय 86 पहचाने गए NSFW-एसोसिएटेड प्रोटोटाइप्स (बैंक का 0.52%) को दबाकर, 50,000 जनरेशन पर मीन NSFW स्कोर 0.668 से गिरकर 0.154 हो गया, जबकि टेक्स्ट क्वालिटी अपरिवर्तित रही। कठिन मामलों (बेस NSFW स्कोर = 2) पर, स्कोर गिरकर 0.144 हो गया।

महत्व और दावे

यह पेपर दावा करता है कि PRISM यह दिखाता है कि व्याख्यात्मक भाषा मॉडल्स को कैसे डिजाइन किया जाना चाहिए। डेंस पैरामीटर्स से ट्रेनिंग डेटा के निशानों को रिकवर करने के लिए चुनौतीपूर्ण पोस्ट-हॉक विश्लेषण पर निर्भर रहने के बजाय, PRISM प्रेडिक्शन पाथवे के भीतर सीधे, स्पार्स, ट्रेनिंग-ग्राउंडेड कोऑर्डिनेट्स को उजागर करता है।

लेखक का तर्क है कि जब मॉडल्स समान प्रेडिक्टिव परफॉरमेंस प्राप्त करते हैं, तो वे आर्किटेक्चर बेहतर होते हैं जिनके कंप्यूटेशन को एट्रिब्यूट, ऑडिट और कंट्रोल करना आसान होता है। PRISM इसे निम्नलिखित तरीकों से प्राप्त करता है:

ट्रेनिंग डेटा एट्रिब्यूशन को मॉडल आर्किटेक्चर का एक नेटिव, कंप्यूटेशनल रूप से सस्ता गुण बनाना।
फाइन-ट्यूनिंग के बिना मॉडल व्यवहार पर सीधा हस्तक्षेप (स्टीयरिंग, सप्रेशन) सक्षम करना।
एक "मॉडल जनरलाइजेशन का विज्ञान" प्रदान करना जहाँ विशिष्ट टेस्ट-टाइम व्यवहारों को विशिष्ट ट्रेनिंग नेबरहुड्स तक ट्रैक किया जा सकता है।

यह कार्य सुझाव देता है कि "डिज़ाइन द्वारा व्याख्यात्मक" (interpretable by design) मॉडलिंग बड़े पैमाने पर व्यवहार्य है, जो मानक डेंस LLMs में पाए जाने वाले प्रभावों के उलझाव (entanglement) का एक व्यावहारिक विकल्प प्रदान करता है।