🤖 machine learning

Rational Sparse Autoencoder

यह शोध पत्र रेशनल स्पार्स ऑटोएनकोडर (RSAE) को प्रस्तुत करता है, जो फिक्स्ड एनकोडर नॉनलिनैरिटीज़ को प्री-एक्टिवेशन ज्योमेट्री के अनुकूल होने के लिए ट्रेन करने योग्य रेशनल फंक्शन्स से बदल देता है, जिससे विभिन्न लैंग्वेज मॉडल्स और बेसलाइन एक्टिवेशन फैमिलीज़ में न्यूनतम कंप्यूटेशनल ओवरहेड के साथ बेहतर रिकंस्ट्रक्शन और डाउनस्ट्रीम परफॉरमेंस प्राप्त करते हुए फीचर इंटरप्रिटेबिलिटी बनी रहती है।

मूल लेखक: Naiyu Yin, Yue Yu

प्रकाशित 2026-06-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Naiyu Yin, Yue Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य चित्र: "अनुवादक" को ट्यून करना

एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, जटिल फैक्ट्री के रूप में करें जो सूचनाओं को प्रोसेस करती है। इस फैक्ट्री के अंदर, कन्वेयर बेल्ट (जिन्हें "रेसिड्यूअल स्ट्रीम्स" कहा जाता है) कच्चे माल को ले जा रहे हैं। यह समझने के लिए कि फैक्ट्री क्या सोच रही है, वैज्ञानिक एक टूल का उपयोग करते हैं जिसे स्पार्स ऑटोएनकोडर (SAE) कहा जाता है।

SAE को एक अनुवादक (translator) के रूप में समझें। इसका काम फैक्ट्री के कच्चे, अव्यवस्थित संकेतों को लेकर उन्हें "फीचर्स" (जैसे "यह संकेत 'विनम्रता' का है" या "यह संकेत 'गणित' का है") की एक साफ, स्पार्स सूची में अनुवादित करना है।

लंबे समय से, ये अनुवादक अनुवाद करने के लिए एक बहुत ही कठोर, पूर्व-निर्धारित नियम पुस्तिका (rulebook) का उपयोग करते आए हैं। यह पेपर एक नया अनुवादक पेश करता है, रेशनल स्पार्स ऑटोएनकोडर (RSAE), जो एक लचीली, सीखने योग्य नियम पुस्तिका का उपयोग करता है।

समस्या: "एक ही आकार सबके लिए" वाली नियम पुस्तिका

वर्तमान अनुवादक यह तय करने के लिए तीन निश्चित नियमों में से एक का उपयोग करते हैं कि किन फीचर्स को रखना है और किन्हें अनदेखा करना है:

ReLU: एक सरल "ऑन/ऑफ" स्विच। यदि सिग्नल पॉजिटिव है, तो उसे रखें; यदि नेगेटिव है, तो उसे खत्म कर दें।
JumpReLU: समान है, लेकिन इसमें एक "जंप" थ्रेशोल्ड होता है।
TopK: एक सख्त नियम जो कहता है, "केवल शीर्ष 5 सबसे मजबूत संकेतों को रखें और बाकी को अनदेखा करें।"

दोष: ये नियम "हार्ड-कोडेड" हैं। ये कपड़े के एक टुकड़े को काटने के लिए कैंची का उपयोग करने जैसा है। कभी-कभी कैंची बहुत अच्छा काम करती है, लेकिन यदि कपड़ा मोटा है या उसका आकार अजीब है, तो कैंची उसे फाड़ सकती है या किनारे खुरदरे छोड़ सकती है। AI की दुनिया में, ये कठोर नियम सिग्नल को विकृत कर सकते हैं, जिससे अनुवादक महत्वपूर्ण विवरणों को मिस कर सकता है या ऐसे "डेड" फीचर्स बना सकता है जिनका कभी उपयोग नहीं किया जाता।

समाधान: "लचीली मिट्टी" वाला अनुवादक

लेखक उन कठोर कैंचियों को बदलने के लिए लचीली मिट्टी (malleable clay) के एक टुकड़े का प्रस्ताव देते हैं।

एक निश्चित नियम के बजाय, RSAE एक ट्रेनेबल रेशनल फंक्शन (trainable rational function) का उपयोग करता है। इसे एक गणितीय आकार के रूप में समझें जो डेटा को देखने के लिए खिंच सकता है, मुड़ सकता है और झुक सकता है।

लचीलापन: यह पुराने नियमों के साधारण "ऑन/ऑफ" स्विच की नकल पूरी तरह से कर सकता है।
अनुकूलन क्षमता: लेकिन पुराने नियमों के विपरीत, यह AI मॉडल के भीतर के डेटा के विशिष्ट, अजीब आकारों में ढलने के लिए भी झुक सकता है। यह काम के लिए सही वक्र (curve) सीख लेता है।

यह कैसे काम करता है: दो-चरणीय अपग्रेड

पेपर मौजूदा अनुवादक को शून्य से शुरू किए बिना अपग्रेड करने के लिए एक चतुर दो-चरणीय प्रक्रिया का वर्णन करता है:

चरण 1: "परफेक्ट कॉपी" इनिशियलाइजेशन
कल्पना करें कि आपके पास एक मास्टर मूर्तिकार (पुराना अनुवादक) है जिसने पहले से ही एक मूर्ति बनाई है। आप मूर्तिकार की कठोर छैनी को अपनी नई मिट्टी से बदलना चाहते हैं।

पहले, आप एक गणितीय तकनीक (Remez exchange) का उपयोग करके मिट्टी को इस तरह आकार देते हैं कि वह पुराने मूर्तिकार द्वारा बनाई गई मूर्ति की तरह बिल्कुल दिखे।
फिर आप मिट्टी को कमरे की विशिष्ट लाइटिंग और कोणों (AI मॉडल के डेटा) से मेल खाने के लिए "कैलिब्रेट" करते हैं।
परिणाम: इस बिंदु पर, आपका नया मिट्टी वाला अनुवादक पुराने वाले की तरह ही अच्छा काम करता है। इसमें अभी तक सुधार नहीं हुआ है, लेकिन यह खराब भी नहीं हुआ है।

चरण 2: "फाइन-ट्यूनिंग" पॉलिश
अब जब मिट्टी अपनी जगह पर है, तो आप इसे सीखने देते हैं।

आप AI मॉडल को नए अनुवादक के माध्यम से चलाते हैं और त्रुटियों को कम करने के लिए मिट्टी के आकार को थोड़ा सा ट्यून करते हैं।
क्योंकि मिट्टी लचीली है, यह एक ऐसा आकार पा सकती है जिसे कठोर कैंची कभी नहीं ढूंढ पाती। यह खुरदरे किनारों को चिकना करती है और सिग्नल को अधिक सटीक रूप से कैप्चर करती है।

परिणाम: बेहतर स्पष्टता, वही गति

लेखकों ने तीन अलग-अलग AI मॉडल्स (GPT-2, Pythia, और Gemma) पर इस नए अनुवादक का परीक्षण किया और इसकी तुलना तीन पुरानी नियम पुस्तिकाओं से की।

बेहतर रिकंस्ट्रक्शन: नए अनुवादक ने मूल संकेतों को बहुत उच्च निष्ठा (कम विरूपण) के साथ पुनर्गठित किया। यह एक धुंधली फोटो से हाई-डेफिनिशन फोटो में अपग्रेड करने जैसा था।
कम "डेड" फीचर्स: पुराने नियमों में अक्सर ऐसे फीचर्स होते थे जो कभी सक्रिय नहीं होते थे (डेड लेटेंट्स)। नई मिट्टी के आकार ने अधिक फीचर्स को जीवित और उपयोगी रखा।
डाउनस्ट्रीम परफॉरमेंस: जब AI मॉडल ने नए अनुवादक के आउटपुट का उपयोग किया, तो उसने अगले शब्द की भविष्यवाणी करने में कम गलतियाँ कीं (कम क्रॉस-एन्ट्रॉपी डिग्रेडेशन)।
व्याख्यात्मकता (Interpretability): महत्वपूर्ण रूप से, नया अनुवादक "ब्लैक बॉक्स" नहीं बना। इसने अभी भी स्पष्ट, समझने योग्य फीचर्स बनाए रखे जिन्हें इंसान जांच और विश्लेषण कर सकते हैं।
दक्षता: यह अपग्रेड अविश्वसनीय रूप से सस्ता था। इसने मॉडल में केवल कुछ ही नंबर (पैरामीटर्स) जोड़े और एक मानक कंज्यूमर ग्राफिक्स कार्ड पर चलाने में केवल कुछ मिनट लगे।

सैद्धांतिक "क्यों"

पेपर में एक गणितीय प्रमाण (Zolotarev functions जैसी अवधारणाओं का उपयोग करके) शामिल है जो समझाता है कि यह क्यों काम करता है।

उपमा: कल्पना करें कि आप केवल सीधी रेखाओं का उपयोग करके एक वृत्त (circle) बनाने की कोशिश कर रहे हैं (जैसे पुराने ReLU नियम)। इसे गोल दिखाने के लिए आपको हजारों छोटी सीधी रेखाओं की आवश्यकता होगी।
RSAE का लाभ: एक रेशनल फंक्शन एक एकल, सुचारू वक्र (smooth curve) की तरह है। यह केवल कुछ रेखाओं के साथ उस वृत्त को बना सकता है।
निष्कर्ष: नया अनुवादक गणितीय रूप से अधिक कुशल है। यह पुराने कठोर नियमों की तुलना में कम "सक्रिय" भागों के साथ जटिल आकारों का प्रतिनिधित्व कर सकता है, जिससे समान स्तर की स्पर्सिटी (sparsity) पर बेहतर सटीकता मिलती है।

सारांश

यह पेपर AI को समझने के लिए एक नया टूल पेश करता है। यह AI के विचारों को डिकोड करने के लिए वर्तमान में उपयोग किए जाने वाले कठोर, पूर्व-निर्धारित नियमों को लेता है और उन्हें एक लचीले, सीखने योग्य गणितीय आकार से बदल देता है। यह नया आकार पुराने नियमों की पूरी तरह से नकल कर सकता है लेकिन डेटा के अनुकूल बेहतर ढंग से ढल भी सकता है, जिसके परिणामस्वरूप AI मॉडल के काम करने के अधिक स्पष्ट, सटीक और कुशल व्याख्याएं मिलती हैं, और वह भी लगभग शून्य अतिरिक्त लागत के साथ।

तकनीकी सारांश: रेशनल स्पार्स ऑटोएन्कोडर (RSAE)

समस्या विवरण

स्पार्स ऑटोएन्कोडर (SAEs) बड़े भाषा मॉडलों (LLMs) के लिए मैकेनिकल इंटरप्रिटेबिलिटी (mechanistic interpretability) का एक मानक उपकरण हैं, जो आंतरिक सक्रियणों (internal activations) को ओवरकम्प्लीट फीचर डिक्शनरी के स्पार्स लीनियर कॉम्बिनेशन में विघटित करते हैं। हालाँकि, मौजूदा SAE परिवार निश्चित, गैर-स्मूथ एनकोडर नॉन-लिनियरिटीज़ पर निर्भर करते हैं—विशेष रूप से ReLU ( $\ell_1$ रेगुलराइजेशन के साथ), TopK, और JumpReLU। ये निश्चित एक्टिवेशन प्रिमिटिव विशिष्ट विकृतियाँ (pathologies) उत्पन्न करते हैं:

ReLU SAEs: सक्रिय फीचर्स के परिमाण में कमी (magnitude shrinkage) और "डेड" लेटेंट्स की निरंतर उपस्थिति से ग्रस्त होते हैं।
TopK SAEs: सॉफ्ट पेनल्टी के स्थान पर हार्ड कार्डिनैलिटी बाधाओं का उपयोग करते हैं, जिससे निष्क्रिय फीचर्स के माध्यम से ग्रेडिएंट फ्लो टूट जाता है और सहायक रिवाइवल लॉस (revival losses) की आवश्यकता होती है।
JumpReLU SAEs: सीख योग्य थ्रेशोल्ड पेश करते हैं लेकिन बैक-प्रॉपैगेशन के लिए उनके इंडिकेटर गेट्स के माध्यम से निरंतर-रिलैक्सेशन सरोगेट्स की आवश्यकता होती है।

ये हार्ड-कोडेड तंत्र, देखे गए प्री-एक्टिवेशन ज्योमेट्री के अनुकूल होने की मॉडल की क्षमता को बाधित करते हैं, जिससे रिकंस्ट्रक्शन फिडेलिटी और स्पर्सिटी के बीच के ट्रेड-ऑफ को संभावित रूप से विकृत किया जा सकता है।

कार्यप्रणाली

लेखक रेशनल स्पार्स ऑटोएन्कोडर (RSAE) का प्रस्ताव करते हैं, जो निश्चित एनकोडर एक्टिवेशन को एक ट्रेन करने योग्य रेशनल फंक्शन (rational function) से बदल देता है। RSAE मानक SAE स्केलेटन (एक एफ़ाइन प्री-एक्टिवेशन लेयर के बाद एक स्पार्स एक्टिवेशन ब्लॉक और एक लीनियर डिकोडर) को बनाए रखता है, लेकिन एक्टिवेशन फंक्शन $\phi(\cdot)$ को एक ट्रेन करने योग्य रेशनल फंक्शन के रूप में संशोधित करता है जिसे एलिमेंट-वाइज लागू किया जाता है।

आर्किटेक्चर

RSAE एक्टिवेशन को इस प्रकार परिभाषित किया गया है:
$\phi(h) = C_{out} \cdot r_{(a,b)}\left(\frac{h}{C_{in}}\right)$
जहाँ $h$ प्री-एक्टिवेशन वेक्टर है, $C_{in}$ और $C_{out}$ सीख योग्य स्केलिंग पैरामीटर्स हैं, और $r_{(a,b)}(t) = P(t)/Q(t)$ एक रेशनल फंक्शन है जिसके गुणांक (coefficients) $(a, b)$ ट्रेन करने योग्य हैं। स्केलिंग पैरामीटर्स प्री-एक्टिवेशन वितरण को रेशनल फंक्शन के डिज़ाइन इंटरवल $[-1, 1]$ में मैप करते हैं और आउटपुट को अपेक्षित फीचर मैग्नीट्यूड पर वापस मैप करते हैं।

सैद्धांतिक आधार

पेपर मौजूदा SAEs के पीसवाइज़-एफाइन गेट्स की तुलना में रेशनल फंक्शन्स की एक एक्सप्रेसिव एसिमेट्री (expressive asymmetry) स्थापित करता है:

अपर बाउंड (रेशनल एप्रोक्सिमेशन): ज़ोलोटारेव साइन फंक्शन्स (Zolotarev sign functions) का उपयोग करते हुए, लेखक सिद्ध करते हैं कि ट्रेन करने योग्य रेशनल एक्टिवेशन, टारगेट एक्यूरेसी $\epsilon$ में पोलिलॉग-आकार (polylogarithmic size) के साथ ReLU, JumpReLU, और सप्लाइड-थ्रेशोल्ड TopK गेट्स को एप्रोक्सिमेट कर सकते हैं (विशेष रूप से विच्छिन्न गेट्स के लिए मार्जिन $\delta$ के साथ $O(\log(1/\epsilon)\log(1/\delta)$ )।
लोअर बाउंड (पीसवाइज़-एफाइन लिमिट): इसके विपरीत, वे प्रदर्शित करते हैं कि कुछ $O(1)$ -पैरामीटर रेशनल टारगेट मैप्स को एप्रोक्सिमेट करने के लिए स्कैलर-आउटपुट सिंगल-लेयर पीसवाइज़-एफाइन एनकोडर्स (ReLU/JumpReLU/TopK) को $\Omega(\epsilon^{-1/2})$ सक्रिय निर्देशांकों (activated coordinates) की आवश्यकता होती। यह सुझाव देता है कि रेशनल एक्टिवेशन SAE एनकोडर के लिए एक अधिक कुशल प्रतिनिधित्व वर्ग (representation class) प्रदान करते हैं।

ट्रेनिंग पाइपलाइन

RSAE को एक दो-चरणीय पाइपलाइन के माध्यम से बनाया गया है जिसे प्री-ट्रेंड "टीचर" SAEs को अपग्रेड करने के लिए डिज़ाइन किया गया है:

इनिशियलाइजेशन (Initialization):
- Remez Exchange: एक सिंथेटिक डेंस ग्रिड पर टीचर के एक्टिवेशन प्रिमिटिव (ReLU, JumpReLU, या TopK) पर एक रेशनल फंक्शन को फिट किया जाता है, जिसमें $L_\infty$ एरर को कम करने के लिए रिलैक्स्ड रेमेज़ एक्सचेंज एल्गोरिदम का उपयोग किया जाता है।
- कैलिब्रेशन: रेशनल गुणांकों और स्केलिंग पैरामीटर्स ( $C_{in}, C_{out}$ ) को टीचर के वास्तविक प्री-एक्टिवेशन वितरण के बीच स्क्वेर्ड एरर को कम करके अनुकूलित किया जाता है।
- वेट इनहेरिटेंस: एनकोडर और डिकोडर वेट्स को वर्टेटम (verbatim) कॉपी किया जाता है।
फाइन-ट्यूनिंग (Fine-Tuning): सभी पैरामीटर्स (वेट्स, बायस और रेशनल गुणांक) को मानक $\ell_1$ -रेगुलराइज्ड रिकंस्ट्रक्शन ऑब्जेक्टिव के तहत संयुक्त रूप से ऑप्टिमाइज़ करने के लिए अनफ्रीज किया जाता है।

मुख्य योगदान

RSAE आर्किटेक्चर: एक ट्रेन करने योग्य रेशनल एक्टिवेशन के साथ एक स्पार्स ऑटोएन्कोडर का परिचय, जो शैलो (shallow) SAE एनकोडर के लिए अनुकूलित एप्रोक्सिमेशन थ्योरी पर आधारित है।
सैद्धांतिक एक्सप्रेसिविटी गैप: यह प्रमाण कि रेशनल एक्टिवेशन, निश्चित SAE गेट्स के कॉम्पैक्ट एप्रोक्सिमेशन प्रदान करते हैं, जबकि पीसवाइज़-एफाइन एनकोडर्स को सरल रेशनल टारगेट को एप्रोक्सिमेट करने के लिए काफी अधिक सक्रिय निर्देशांकों की आवश्यकता होती है।
दो-चरणीय ट्रेनिंग एल्गोरिदम: एक व्यावहारिक इनिशियलाइजेशन और फाइन-ट्यूनिंग प्रक्रिया जो RSAEs को नगण्य ओवरहेड के साथ प्री-ट्रेंड टीचर्स को बदलने के लिए "ड्रॉप-इन" विकल्प बनाती है।
अनुभवजन्य सत्यापन (Empirical Validation): तीन ओपन-वेट लैंग्वेज मॉडल्स (GPT-2 small, Pythia-160m, Gemma-2-2B) और सभी तीन बेसलाइन एक्टिवेशन फैमिलीज़ पर व्यापक मूल्यांकन।

परिणाम

लेखक रेसिडुअल-स्ट्रीम एक्टिवेशन्स पर प्री-ट्रेंड बेसलाइन्स के विरुद्ध RSAE का मूल्यांकन करते हैं। परिणाम फाइन-ट्यूनिंग के बाद सख्त सुधार दर्शाते हैं:

रिकंस्ट्रक्शन मेट्रिक्स: RSAE लगातार सभी परीक्षण कॉन्फ़िगरेशन में टीचर मॉडल्स की तुलना में कम मीन स्क्वेर्ड एरर (MSE), कम $\ell_0$ (स्पर्सिटी), और अधिक "जीवित" (alive) फीचर्स का अनुपात प्राप्त करता है।
डाउनस्ट्रीम मेट्रिक्स: RSAE डाउनस्ट्रीम व्यवहार में सुधार करता है, जो रेसिडुअल स्ट्रीम को इंटरसेप्ट करने पर कम क्रॉस-एन्ट्रॉपी डिग्रेडेशन ( $\Delta CE$ ) और उच्च लॉस रिकवरी ($LR$) दिखाता है।
इंटरप्रिटेबिलिटी: Pythia-160m पर स्पार्स प्रोबिंग प्रयोग दिखाते हैं कि RSAE फीचर-लेवल इंटरप्रिटेबिलिटी को सुरक्षित रखता है। आठ बाइनरी क्लासिफिकेशन टास्क पर फुल-डिक्शनरी प्रोब एक्यूरेसी टीचर के बराबर रहती है, जिसमें कोई महत्वपूर्ण गिरावट नहीं देखी गई।
दक्षता (Efficiency): यह अपग्रेड केवल कुछ ही स्कैलर पैरामीटर्स जोड़ता है। पूरी पाइपलाइन (इनिशियलाइजेशन + 2,000 फाइन-ट्यूनिंग स्टेप्स) एक सिंगल कंज्यूमर GPU (NVIDIA RTX 5090) पर मिनटों में चलती है।
मजबूती (Robustness): लाभ विभिन्न होस्ट मॉडल्स, बेसलाइन एक्टिवेशन फैमिलीज़ और बेसलाइन स्पर्सिटी लेवल्स ( $\ell_0 \in [51, 683]$ ) की एक विस्तृत श्रृंखला में सुसंगत हैं।

महत्व और दावे

पेपर दावा करता है कि RSAE एक "ड्रॉप-इन" संशोधन प्रदान करता है जो इंटरप्रिटेबिलिटी से समझौता किए बिना समान स्पर्सिटी पर प्री-ट्रेंड SAEs के लिए स्ट्रिक्टली बेहतर फिडेलिटी प्रदान करता है। एक निश्चित नॉन-लिनियरिटी को ट्रेन करने योग्य रेशनल फंक्शन्स से बदलकर, RSAE होस्ट मॉडल में प्री-एक्टिवेशंस की विशिष्ट ज्योमेट्री के अनुकूल हो जाता है, जिससे हार्ड-कोडेड एक्टिवेशन प्रिमिटिव्स की सीमाओं को दूर किया जा सके।

लेखक इस बात पर जोर देते हैं कि ये सुधार नगण्य कंप्यूटेशनल लागत (एक सिंगल GPU पर मिनटों में) और न्यूनतम पैरामीटर ओवरहेड के साथ प्राप्त किए जाते हैं। वे RSAE को मौजूदा SAEs के लिए एक यूनिवर्सल अपग्रेड रणनीति के रूप में देखते हैं, जो रिकंस्ट्रक्शन क्वालिटी और डाउनस्ट्रीम टास्क परफॉर्मेंस दोनों को बढ़ाने में सक्षम है, जबकि मैकेनिकल इंटरप्रिटेबिलिटी के लिए आवश्यक मोनोसेमेंटिक फीचर्स को बनाए रखता है। पेपर नोट करता है कि हालांकि मूल्यांकन तीन मॉडल्स और तीन एक्टिवेशन फैमिलीज़ को कवर करता है, यह दृष्टिकोण सामान्य है और अन्य फ्रंटियर मॉडल्स या आर्किटेक्चरल वेरिएंट्स (जैसे Gated, BatchTopK, Matryoshka SAEs) तक विस्तारित किया जा सकता है।