🤖 machine learning

WriteSAE: Sparse Autoencoders for Recurrent State

यह शोधपत्र WriteSAE को प्रस्तुत करता है, जो स्टेट-स्पेस और हाइब्रिड रिकरेंट लैंग्वेज मॉडल्स के मैट्रिक्स कैश राइट्स (matrix cache writes) को विघटित और संपादित करने के लिए डिज़ाइन किया गया पहला स्पार्स ऑटोएनकोडर (sparse autoencoder) है, जो डिकोडर एटम्स (decoder atoms) को उनके मूल रैंक-1 अपडेट आकार में गुणनखंडित करके सटीक व्यवहार संबंधी हस्तक्षेप और अत्यधिक सटीक प्रभाव भविष्यवाणी सक्षम बनाता है।

मूल लेखक: Jack Young

प्रकाशित 2026-05-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jack Young

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक बड़े लैंग्वेज मॉडल (जैसे वे जो कहानियाँ लिखते हैं या सवालों के जवाब देते हैं) को एक विशाल, उच्च-गति वाले कारखाने के रूप में देखा जा सकता है। इस कारखाने के अंदर, एक विशेष "मेमोरी बोर्ड" (स्मृति पटल) है जहाँ मशीन अगले कदम पर बढ़ने से पहले अपने वर्तमान विचारों को लिखती है।

लंबे समय तक, वैज्ञानिकों ने इन टूल्स का उपयोग करके इस बोर्ड पर क्या लिखा जा रहा है, इसे समझने की कोशिश की है जिन्हें स्पार्स ऑटोएनकोडर्स (SAEs) कहा जाता है। इसे ऐसे समझें कि ये उपकरण शोधकर्ताओं को उन व्यक्तिगत "विचारों" या "विशेषताओं" (features) को देखने के लिए चश्मे की एक जोड़ी की तरह हैं जिनके बारे में मशीन सोच रही है। हालाँकि, एक समस्या थी: ये चश्मे केवल कारखाने के आउटपुट (परिणाम) को देख पाते थे, न कि उस विशिष्ट तरीके को जिससे मशीन अपने मेमोरी बोर्ड पर कुछ लिखती है, विशेष रूप से कुछ उन्नत मॉडलों में।

यह पेपर एक नया टूल पेश करता है जिसे WriteSAE कहा जाता है। यह कैसे काम करता है, इसका सरल विवरण यहाँ दिया गया है:

1. समस्या: चश्मे का गलत आकार

पुराने मॉडलों में, मशीन अपने विचारों को संख्याओं की एक साधारण सूची के रूप में लिखती थी। पुराने चश्मे (मानक SAEs) सूचियों को पढ़ने के लिए डिज़ाइन किए गए थे।
लेकिन नए, तेज़ मॉडलों (जैसे Gated DeltaNet, Mamba-2, और RWRW-7) में, मशीन एक सूची नहीं लिखती। इसके बजाय, वह एक "रैंक-1 अपडेट" नामक एक विशिष्ट गणितीय ट्रिक का उपयोग करके एक मैट्रिक्स (संख्याओं का एक ग्रिड) लिखती है।

उपमा: कल्पना कीजिए कि मशीन एक चित्र बना रही है। पुराने टूल्स पेंटिंग का वर्णन करने के लिए पूरे कैनवास को देखते थे। लेकिन नए मशीनें एक जटिल ग्रिड में एक समय में एक विशिष्ट ब्रशस्ट्रोक (रंग की एक एकल रेखा) जोड़कर पेंट करती हैं। पुराने टूल्स उस एकल ब्रशस्ट्रोक को नहीं देख पाते थे क्योंकि वे रंगों की पूरी सूची की तलाश में थे, न कि एक एकल स्ट्रोक की।

2. समाधान: WriteSAE

शोधकर्ताओं ने WriteSAE बनाया है, जो विशेष रूप से उस एकल ब्रशस्ट्रोक को देखने के लिए डिज़ाइन किया गया एक नया चश्मा है।

आकार का मिलान: एक सूची को पढ़ने की कोशिश करने के बजाय, WriteSAE के "एटम्स" (वे हिस्से जिन्हें वह खोजता है) ठीक उसी आकार के हैं जैसा कि मशीन का ब्रशस्ट्रोक होता है। वे छोटे, एकल-स्ट्रोक पैटर्न हैं।
परिणाम: क्योंकि आकार पूरी तरह से मेल खाता है, WriteSAE सटीक रूप से यह अलग कर सकता है कि मशीन किसी भी क्षण अपनी मेमोरी में क्या लिख रही है।

3. प्रयोग: ब्रशस्ट्रोक को बदलना

यह साबित करने के लिए कि यह काम करता है, शोधकर्ताओं ने मशीन की मेमोरी पर एक "सर्जरी" की।

बदलाव (The Swap): उन्होंने उस क्षण को ढूँढा जहाँ मशीन एक विशिष्ट ब्रशस्ट्रोक लिख रही थी। उन्होंने उस स्ट्रोक को मिटाया और उसे अपने नए डिक्शनरी (WriteSAE) से एक "सीखे हुए" स्ट्रोक से बदल दिया।
परीक्षण: उन्होंने इसकी तुलना दो अन्य परिदृश्यों से की:
1. इसे पूरी तरह से मिटा देना (एक खाली जगह छोड़ देना)।
2. इसमें एक रैंडम स्क्रिबल (बेतरतीब लकीरें) डाल देना।
परिणाम: जब उन्होंने WriteSAE स्ट्रोक को बदला, तो मशीन लगभग पहले की तरह ही काम करती रही (92.4% बार)। जब उन्होंने इसे मिटा दिया या रैंडम स्क्रिबल का उपयोग किया, तो मशीन भ्रमित हो गई और गलतियाँ करने लगी।
उपमा: यह एक घड़ी के एक विशिष्ट गियर को एक कस्टम-मेड गियर से बदलने जैसा है जो बिल्कुल फिट बैठता है। घड़ी चलती रहती है। यदि आप गियर को हटा देते हैं या उसमें कोई रैंडम पत्थर डाल देते हैं, तो घड़ी रुक जाती है।

4. उन्होंने क्या पाया

दो प्रकार के स्ट्रोक: उन्होंने पाया कि मशीन दो मुख्य प्रकार के ब्रशस्ट्रोक का उपयोग करती है:
- रजिस्टर्स (Registers): ये सटीक, केंद्रित स्ट्रोक हैं जो विशिष्ट कार्य करते हैं (जैसे वाक्य की शुरुआत या किसी व्यक्ति के नाम को चिह्नित करना)।
- बंडल्स (Bundles): ये अधिक बिखरे हुए स्ट्रोक हैं जो कई चीजों का मिश्रण प्रतीत होते हैं।
भविष्यवाणी करना: उन्होंने एक गणितीय सूत्र पाया जो सटीक रूप से भविष्यवाणी कर सकता है कि एक विशिष्ट स्ट्रोक को बदलने से मशीन के अगले शब्द में क्या बदलाव आएगा। यह यह जानने जैसा है कि यदि आप इस एक विशिष्ट गियर को थोड़ा सा घुमाते हैं, तो घड़ी एक सेकंड पहले बजेगी।
मशीन को एडिट करना: वे इस टूल का उपयोग करके नए व्यवहारों को "इंस्टॉल" करने में सफल रहे। उदाहरण के लिए, वे मशीन को एक विशिष्ट विषय (जैसे कि एक "मिड-रैंक" शब्द) के बारे में बात करने के लिए मजबूर कर सके जिसे वह सामान्य रूप से नहीं चुनती, केवल अपनी मेमोरी बोर्ड में सही ब्रशस्ट्रोक डालकर।

5. सीमाएँ

पेपर बहुत सावधानी से कहता है कि यह इस विशिष्ट "सिंगल-स्ट्रोक" (रैंक-1) तरीके से लिखने वाले मॉडलों पर सबसे अच्छा काम करता है।

यदि कोई मॉडल अधिक जटिल तरीके से लिखता है (जैसे कि एक साथ दो स्ट्रोक या एक डायगोनल पैटर्न का उपयोग करना), तो टूल उतना सटीक काम नहीं करता है, हालांकि यह अभी भी कुछ पैटर्न ढूंढ लेता है।
यह टूल Qwen3.5 मॉडल (एक विशिष्ट प्रकार का AI) पर बहुत अच्छा काम करता है, और उन्होंने दिखाया कि यह अन्य समान मॉडलों पर भी काम करता है, लेकिन भविष्य की भविष्यवाणी करने वाला "जादुई सूत्र" मॉडल के आर्किटेक्चर के आधार पर बदल जाता है।

सारांश

WriteSAE एक नया टूल है जो हमें यह देखने और संपादित करने की अनुमति देता है कि उन्नत AI मॉडल अपनी आंतरिक मेमोरी में किस विशिष्ट तरीके से लिखते हैं। मशीन के लिखने के आकार से अपने टूल के आकार का मिलान करके, शोधकर्ता विशिष्ट विचारों को बदल सकते हैं, यह अनुमान लगा सकते हैं कि मशीन कैसे प्रतिक्रिया देगी, और यहाँ तक कि मशीन को उन चीजों को कहने के लिए निर्देशित कर सकते हैं जो वह सामान्य रूप से नहीं कहती, और यह सब मशीन को तोड़े बिना किया जा सकता है। यह पहली बार है जब वैज्ञानिकों ने इन विशिष्ट प्रकार के मॉडलों के मेमोरी-राइटिंग साइट पर सीधे इस प्रकार की "सर्जरी" सफलतापूर्वक की है।

तकनीकी सारांश: रिकरेंट स्टेट डिकम्पोज़िशन के लिए WriteSAE

समस्या विवरण

स्टेट-स्पेस और हाइब्रिड रिकरेंट लैंग्वेज मॉडल्स (जैसे, Gated DeltaNet, Mamba-2, RWKV-7, Qwen3.5) मैट्रिक्स कैश के माध्यम से स्टेट प्रोपेगेशन के लिए एक मैट्रिक्स कैश का उपयोग करते हैं, जहाँ प्रत्येक टोकन एक $d_k \times d_v$ मैट्रिक्स में एक रैंक-1 आउटर प्रोडक्ट ( $k_t v_t^\top$ ) लिखता है। मौजूदा स्पार्स ऑटोएनकोडर (SAEs) रेसिडुअल स्ट्रीम्स पर कार्य करते हैं, जो एमिशन के बाद स्टेट को पढ़ते हैं। फलस्वरूप, मानक SAEs सीधे नेटिव राइट मैकेनिज्म (native write mechanism) तक नहीं पहुँच सकते, जो रिकरेंस में अपस्ट्रीम होता है। इसके अलावा, क्योंकि स्टेट को रैंक-1 आउटर प्रोडक्ट्स के माध्यम से अपडेट किया जाता है, एक मानक वेक्टर-आधारित SAE डिकोडर एटम (decoder atom) एकल कैश राइट को रिप्लेस नहीं कर सकता बिना उस स्ट्रक्चरल कॉरेस्पोंडेंस को तोड़े जिसकी आवश्यकता कॉज़ल इंटरवेंशन (कैश पैचिंग) के लिए होती है।

कार्यप्रणाली

यह पेपर WriteSAE को पेश करता है, जो रिकरेंट मॉडल्स के मैट्रिक्स कैश राइट को डिकम्पोज़ और एडिट करने के लिए डिज़ाइन किया गया पहला स्पार्स ऑटोएनकोडर है।

आर्किटेक्चर और ट्रेनिंग

नेटिव शेप मैचिंग: WriteSAE डिकोडर एटम्स को रैंक-1 आउटर प्रोडक्ट्स ( $v_i w_i^\top$ ) के रूप में सीमित किया गया है, जो होस्ट आर्किटेक्चर के नेटिव राइट प्रिमिटिव ( $k_t v_t^\top$ ) से मेल खाता है। यह एक सिंगल एटम को एक विशिष्ट कैश स्लॉट अपडेट को रिप्लेस करने की अनुमति देता है।
बाइलीनियर एनकोडर: मैट्रिक्स स्टेट $S_t$ को कुशलतापूर्वक एनकोड करने के लिए, मॉडल एक बाईलिनियर एनकोडर ( $a_i = v_i^\top S_t w_i$ ) का उपयोग करता है, न कि एक फ्लैटनड डेंस एनकोडर का। यह प्रति एटम पैरामीटर काउंट को $d_k d_v$ (16,384 के बजाय 128 $\times$ 128 के लिए) से घटाकर $d_k + d_v$ (256) कर देता है, जो कि 64x की कमी है।
ट्रेनिंग ऑब्जेक्टिव: मॉडल को मीन-सेंटर्ड स्टेट्स ( $x = \text{vec}(S_t - M)$ ) पर एक TopK स्पर्सिटी कंस्ट्रेंट और डेड फीचर्स को पुनर्जीवित करने के लिए एक ऑक्जिलरी लॉस के साथ प्रशिक्षित किया जाता है। ट्रेनिंग कॉर्पस में Qwen3.5-0.8B (और अन्य मॉडल्स) के विशिष्ट लेयर्स और हेड्स के माध्यम से प्रोसेस किए गए OpenWebText सीक्वेंस शामिल हैं।

फीचर क्लासिफिकेशन

प्रशिक्षित डिक्शनरी को एटम के राइट डायरेक्शन और नेटिव राइट डायरेक्शन के बीच मीडियन कोसाइन सिमिलैरिटी के आधार पर दो वर्गों में विभाजित किया गया है:

रजिस्टर्स (Registers): वे एटम्स जिनका नेटिव राइट्स के साथ उच्च कोसाइन अलाइनमेंट है (जो कैश से रिकवर किए जा सकते हैं)।
बंडल्स (Bundles): वे एटम्स जिनके राइट डायरेक्शंस कैश में बिखरे हुए हैं।

कॉज़ल इंटरवेंशन टेस्ट्स

पेपर तीन प्राथमिक वैलिडेशन मैकेनिज्म प्रस्तावित करता है:

कैश-स्लॉट सब्स्टीट्यूशन: नेटिव राइट ( $k_t v_t^\top$ ) को एक मैचड-फ्रोबेनिअस-नॉर्म SAE एटम ( $\hat{S}_t = S_t - \Delta_{nat} + \Delta_{atom}$ ) से बदलकर और डाउनस्ट्रीम KL डाइवर्जेंस को मापकर।
क्लोज्ड-फॉर्म लॉजिट शिफ्ट: प्रति-टोकन लॉजिट शिफ्ट की भविष्यवाणी करने के लिए एक थ्री-फैक्टर एक्सप्रेशन को डाइव (derive) करना: $\Delta \ell \approx G_{t_0 \to t} \langle w_i, q_t \rangle \langle v_i, W_U[\text{tok}] \rangle$ , जहाँ $G$ गेट प्रोडक्ट है, $q_t$ रीड क्वेरी है, और $W_U$ अनएम्बेडिंग रो है।
डायरेक्ट कैश इंटरवेंशन: टोकन प्रोबेबिलिटी और जनरेशन व्यवहार में बदलाव देखने के लिए विशिष्ट स्थितियों पर एटम्स को मिटाना या इंस्टॉल करना।

मुख्य योगदान

आर्किटेक्चर-मैच्ड डिक्शनरी: एक ऐसी डिक्शनरी जहाँ एटम्स रैंक-1 आउटर प्रोडक्ट्स हैं, जो नेटिव कैश राइट्स के सीधे सब्स्टीट्यूशन को सक्षम बनाती है, जो पहले रेसिडुअल-स्ट्रीम SAEs के लिए उपलब्ध नहीं था।
सबस्टीट्यूशन वैलिडेशन: यह प्रदर्शन करना कि सीखे गए एटम्स हाई फिडेलिटी के साथ नेटिव राइट्स को रिप्लेस कर सकते हैं। Qwen3.5-0.8B (लेयर 9, हेड 4) पर, एटम्स 4,851 फायरिंग में से 92.4% पर एब्लेशन (ablation) को हरा देते हैं।
क्लोज्ड-फॉर्म प्रेडिक्शन: एक पैरामीटर-फ्री, थ्री-फैक्टर फॉर्मूला जो प्रति-फायरिंग लॉजिट शिफ्ट की भविष्यवाणी करता है, जिसका मीडियन $R^2$ 200 एटम-बाय-एप्सिलॉन सेल्स में 0.98 है।
क्रॉस-आर्किटेक्चर ट्रांसफर: यह सत्यापन कि सब्स्टीट्यूशन सफलता और फीचर पार्टीशनिंग (रजिस्टर बनाम बंडल) विभिन्न मैट्रिक्स-रिकरेंट आर्किटेक्चर (Gated DeltaNet, RWKV-7, Mamba-2) में बना रहता है, हालांकि सफलता दर सबस्ट्रेट के "राइट रैंक" (write rank) के अनुसार भिन्न होती है।

प्रयोगात्मक परिणाम

सब्स्टीट्यूशन परफॉरमेंस

Qwen3.5-0.8B (Gated DeltaNet): L9 H4 पर, एटम्स एब्लेशन पर 92.4% मामलों में बेहतर प्रदर्शन करते हैं। 87 एटम्स का पॉपुलेशन टेस्ट 89.8% पर स्थिर रहता है। सख्त ऑर्डरिंग $KL_{atom} < KL_{ablate} < KL_{random}$ 89.5% फायरिंग पर बनी रहती है।
Mamba-2-370M: भले ही Mamba-2 एक डायगोनल स्टेट अपडेट का उपयोग करता है न कि फुल रैंक-1 आउटर प्रोडक्ट का, फिर भी सब्स्टीट्यूशन 2,500 फायरिंग में से 88.1% पर सफल होता है।
RWKV-7: अपने रैंक-2 राइट रूल के अनुरूप मध्यम प्रदर्शन दिखाता है।

लॉजिट शिफ्ट प्रेडिक्शन

क्लोज्ड-फॉर्म एक्सप्रेशन मापे गए प्रभावों को सटीक रूप से ट्रैक करता है। L9 H4 पर, प्रेडिक्टेड और मेजर्ड लॉजिट शिफ्ट के बीच मीडियन $R^2$ 0.98 है। हालाँकि, यह क्लोज्ड फॉर्म Mamba-2 और Qwen3.5-4B पर विफल हो जाता है (नेगेटिव $R^2$ ), जो दर्शाता है कि गेट फैक्टर $G$ सबस्ट्रेट-विशिष्ट है।

बिहेवियरल इंटरवेंशन

इरेज़र (Erasure): एक विशिष्ट रजिस्टर एटम (F412) को उसके नेचुरल फायरिंग पोजीशंस पर मिटाने से टारगेट टोकन ("space") की लॉग-प्रोबेबिलिटी में मीडियन -0.116 nats ( $p=1.07 \times 10^{-6}$ ) की कमी आई।
जनरेशन स्टीयरिंग: तीन लगातार पोजीशंस पर एक क्लोज्ड-फॉर्म डायरेक्शन को बनाए रखने से ग्रीडी डिकोडिंग के तहत मिड-रैंक टोकन्स के लिए "टारगेट-इन-कंटिन्यूएशन" रेट 33.3% से बढ़कर 100% हो गया।
पैसेज-लेवल एम्प्लीफिकेशन: 4B मॉडल में बाउंड्री-कोरिलेटेड फीचर्स को एम्प्लीफाई करने से 5x डोज़ पर न्यूलाइन जनरेशन 33% (16.8 से 11.2 प्रति 400 टोकन) कम हो गया, जो डॉक्यूमेंट स्ट्रक्चर पर नियंत्रण प्रदर्शित करता है।

आर्किटेक्चरल स्कोप

यह पेपर "राइट रैंक" प्रभावशीलता का एक पदानुक्रम स्थापित करता है:

Gated DeltaNet (Rank-1): उच्चतम रजिस्टर कोसाइन सेपरेशन (0.262) और सब्स्टीट्यूशन फिडेलिटी।
RWKV-7 (Rank-2): इंटरमीडिएट सेपरेशन (0.180)।
Mamba-2 (Diagonal/Scalar): सबसे कम सेपरेशन (0.0575), फिर भी ~88% सब्स्टीट्यूशन सफलता प्राप्त करता है।

महत्व और दावे

यह पेपर दावा करता है कि यह मैट्रिक्स-रिकरेंट राइट साइट के लिए पहला कॉज़ल डिक्शनरी प्रदान करता है, जो रेसिडुअल स्ट्रीम एनालिसिस से आगे बढ़ता है। यह प्रदर्शित करता है कि:

राइट रैंक निर्णायक है: स्टेट को व्याख्या योग्य "रजिस्टर्स" में डिकम्पोज़ करने की क्षमता नेटिव राइट रूल के रैंक (Rank-1 > Rank-2 > Diagonal) के साथ सह-संबंध रखती है।
कॉज़ल सब्स्टीट्यूशन संभव है: सीखे गए एटम्स न्यूनतम डाउनस्ट्रीम KL डाइवर्जेंस के साथ नेटिव राइट्स को रिप्लेस कर सकते हैं, जो रिकरेंट मॉडल्स में "रजिस्टर" अवधारणा को वैलिडेट करता है।
क्लोज्ड-फॉर्म इंटरप्रिटेबिलिटी: Gated DeltaNet के लिए, एक फीचर का लॉजिट्स पर प्रभाव बिना पैरामीटर फिट किए विश्लेषणात्मक रूप से प्रेडिक्ट किया जा सकता है, जो डिक्शनरी को सीधे मॉडल के गेटिंग और रीडिंग मैकेनिज्म से जोड़ता है।

लेखक विनम्रतापूर्वक सीमाओं को नोट करते हैं: क्लोज्ड-फॉर्म कोएफिशिएंट सबस्ट्रेट्स के बीच ट्रांसफर नहीं होता है (जैसे, Mamba-2 पर विफल), और प्रति-एटम आइडेंटिटी सीड-विशिष्ट है (हालांकि क्लास-लेवल प्रॉपर्टीज स्थिर हैं)। यह कार्य स्टेट-स्पेस मॉडल्स के लिए मैकेनिस्टिक इंटरप्रिटेबिलिटी में एक नया बेंचमार्क स्थापित करता है, यह दिखाते हुए कि "राइट" प्रिमिटिव डिक्शनरी लर्निंग और कॉज़ल एडिटिंग के लिए एक व्यवहार्य लक्ष्य है।