🤖 machine learning

Sign-Aware Gated Sparse Autoencoders: Modeling Anticorrelated Features with Bi-Jump-ReLU Activations

यह शोध पत्र साइन-अवेयर गेटेड स्पार्स ऑटोएनकोडर (SA-GSAE) को प्रस्तुत करता है, जो एक नवीन Bi-Jump-ReLU एक्टिवेशन और टू-साइडेड गेटिंग का उपयोग करता है ताकि साझा लेटेंट्स के भीतर एंटीकोरिलेटेड फीचर्स को कुशलतापूर्वक मॉडल किया जा सके, जिससे विभिन्न LLM आर्किटेक्चर में मानक नॉन-नेगेटिव SAEs की तुलना में डेड न्यूरॉन्स को काफी कम किया जा सके और पुनर्निर्माण प्रदर्शन में सुधार किया जा सके।

मूल लेखक: Bartosz Wieciech, Zmnako Awrahman, Marcin Czelej, Victor Hugo Jaramillo Velasquez, Wioletta Stobieniecka

प्रकाशित 2026-05-28

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bartosz Wieciech, Zmnako Awrahman, Marcin Czelej, Victor Hugo Jaramillo Velasquez, Wioletta Stobieniecka

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कंप्यूटर को मानव भाषा समझना सिखाने की कोशिश कर रहे हैं। ऐसा करने के लिए, कंप्यूटर अवधारणाओं (concepts) का एक विशाल "शब्दकोश" बनाता है। इसे करने के पुराने तरीके में (स्पार्स ऑटोएनकोडर जैसे मानक उपकरणों का उपयोग करके), कंप्यूटर का एक अजीब नियम था: वह केवल धनात्मक संख्याओं (positive numbers) का उपयोग कर सकता था।

समस्या: "एकतरफा रास्ता" वाला शब्दकोश

चूंकि कंप्यूटर केवल धनात्मक संख्याओं का ही उपयोग कर सकता था, इसलिए वह एक ही प्रविष्टि (entry) में एक अवधारणा और उसके विपरीत को नहीं दर्शा सकता था।

पुराना तरीका: यदि कंप्यूटर को "दबाव बहुत अधिक है" (Pressure Too High) के बारे में सीखना होता, तो उसे इसके लिए एक विशिष्ट शब्दकोश प्रविष्टि बनानी पड़ती। यदि उसे "दबाव बहुत कम है" (Pressure Too Low) के बारे में भी सीखना होता, तो उसे इसके लिए एक बिल्कुल अलग प्रविष्टि बनानी पड़ती, भले ही वे एक ही सिक्के के दो पहलू हों।
परिणाम: शब्दकोश बोझिल और अक्षम हो गया। यह एक ताले के लिए दो अलग-अलग चाबियों जैसा था—जैसे "खुलने" और "बंद होने" के लिए दो अलग चाबियाँ—जबकि आपको वास्तव में एक ही ऐसी चाबी की आवश्यकता थी जो दोनों दिशाओं में घूम सके। इसने स्थान बर्बाद किया और कंप्यूटर को एक ही संबंध के लिए दो अलग-अलग चीजें सीखने के लिए मजबूर किया।

समाधान: "दोतरफा रास्ता" वाला शब्दकोश

लेखकों ने एक नया उपकरण बनाया जिसे SA-GSAE (Sign-Aware Gated Sparse Autoencoder) कहा जाता है। इसे शब्दकोश को दोतरफा रास्तों की अनुमति देने के लिए अपग्रेड करने के रूप में सोचें।

कंपster को "उच्च" की या "निम्न" की कुंजी चुनने के लिए मजबूर करने के बजाय, यह नया उपकरण एक ही शब्दकोश प्रविष्टि को एक साथ दोनों दिशाओं को दर्शाने की अनुमति देता है।

यदि मान धनात्मक (positive) है, तो इसका अर्थ है "दबाव बहुत अधिक है।"
यदि मान ऋणात्मक (negative) है, तो इसका अर्थ है "दबाव बहुत कम है।"
यदि मान शून्य (zero) है, तो इसका अर्थ है "दबाव सामान्य है।"

उन्होंने इसे Bi-Jump-ReLU नामक एक विशेष एक्टिवेशन फंक्शन का उपयोग करके हासिल किया। आप इसे एक स्मार्ट गेटकीपर (द्वारपाल) के रूप में देख सकते हैं जो शब्दकोश प्रविष्टि पर बैठा है। इसमें बीच में एक "डेड ज़ोन" (जहाँ कुछ नहीं होता) है, लेकिन यदि संकेत बाईं ओर पर्याप्त मजबूत है, तो यह "ऋणात्मक" के लिए द्वार खोल देता है, और यदि यह दाईं ओर पर्याप्त मजबूत है, तो यह "धनात्मक" के लिए द्वार खोल देता है।

यह क्यों मायने रखता है: "आधे आकार" का लाभ

क्योंकि यह नया उपकरण एक ही स्लॉट में दो विपरीत विचारों को पैक कर सकता है, लेखकों ने पाया कि वे एक ऐसा शब्दकोश बना सकते हैं जो आधे आकार का है लेकिन पुराने, बड़े, पारंपरिक शब्दकोश जितना ही अच्छा (या उससे भी बेहतर) काम करता है।

उपमा: कल्पना कीजिए कि आपके पास कपड़ों से भरा एक सूटकेस है। पुराने तरीके में आपको "बायां जूता" बैग और "दायां जूता" बैग अलग-अलग पैक करने की आवश्यकता होती थी। नया तरीका आपको एक ही "जूता" बैग में दोनों को पैक करने की अनुमति देता है जो दोनों को रखता है। अब आप आधे आकार के सूटकेस में समान मात्रा में कपड़े फिट कर सकते हैं।
प्रमाण: लेखकों ने वास्तविक AI मॉडल (Pythia-1B और SmolLM3-3B) पर इनका परीक्षण किया। उन्होंने पाया कि उनका "आधे आकार" वाला शब्दकोश:
1. "मृत" स्थान (Dead Space) को कम करता है: इसने अप्रयुक्त प्रविष्टियों पर स्थान बर्बाद करना बंद कर दिया (डेड फ्रैक्शन को भारी कारकों से, कभी-कभी 100x से 500x तक कम कर दिया)।
2. गुणवत्ता बनाए रखता है: इसने बड़े, बोझिल शब्दकोशों की तरह ही सटीकता के साथ भाषा का पुनर्निर्माण किया।
3. क्रैश होने से बचाता है: दिलचस्प बात यह है कि जब उन्होंने अपने नए टूल के पूर्ण-आकार वाले संस्करण का उपयोग करने की कोशिश की, तो यह कभी-कभी क्रैश हो गया या विशिष्ट भागों में खराब प्रदर्शन किया। "आधे आकार" वाले संस्करण ने इन क्रैशों से पूरी तरह से बचाव किया, जिससे पता चलता है कि कभी-कभी कम होना ही अधिक होना है।

"सुरक्षा जाल" (Auxiliary Loss)

लेखकों ने एक महत्वपूर्ण प्रशिक्षण तकनीक भी खोजी। गेटकीपर (Bi-Jump-ReLU) को यह सिखाने के लिए कि "धनात्मक" के लिए द्वार कब खोलना है या "ऋणात्मक" के लिए कब, उन्होंने ऑक्सिलरी सुपरविजन (सहायक पर्यवेक्षण) नामक एक "सुरक्षा जाल" का उपयोग किया।

सुरक्षा जाल के बिना: गेटकीपर भ्रमित हो गया, खुलना बंद कर दिया, और पूरा सिस्टम विफल हो गया (शब्दकोश का 98% बेकार हो गया)।
सुरक्षा जाल के साथ: गेटकीपर ने ठीक से सीखा कि दिशा बदलने के लिए कब स्विच करना है, जिससे प्रणाली मजबूत और कुशल बन गई।

सारांश

संक्षेप में, यह पेपर AI मॉडल को विपरीत चीजों के बारे में सिखाने का एक स्मार्ट तरीका पेश करता है। एक एकल शब्दकोश प्रविष्टि को धनात्मक और ऋणात्मक दोनों अर्थों को धारण करने की अनुमति देकर, लेखकों ने एक ऐसी प्रणाली बनाई जो छोटी, स्वच्छ और अधिक कुशल है, जो समान काम करने के लिए आधे स्थान का उपयोग करती है। उन्होंने सिद्ध किया कि जटिल विचारों को समझने के लिए आपको एक विशाल शब्दकोश की आवश्यकता नहीं है; आपको बस एक ऐसे शब्दकोश की आवश्यकता है जो दोनों दिशाओं में मुड़ना जानता हो।

तकनीकी सारांश: साइन-अवेयर गेटेड स्पार्स ऑटोएनकोडर (Sign-Aware Gated Sparse Autoencoders)

समस्या विवरण (Problem Statement)

स्पार्स ऑटोएनकोडर (SAEs) लार्ज लैंग्वेज मॉडल्स (LLMs) से व्याख्या योग्य फीचर्स (interpretable features) निकालने के लिए एक मानक उपकरण हैं, जो लेटेंट फीचर्स के ओवरकम्प्लीट डिक्शनरी को सीखने का कार्य करते हैं। हालांकि, मानक SAE वेरिएंट (जैसे, ReLU-आधारित या मानक गेटेड SAEs) लेटेंट एक्टिवेशन पर गैर-ऋणात्मकता ( $f_i(x) \geq 0$ ) लागू करते हैं। यह बाधा मॉडल को एक ही दिशात्मक अक्ष (semantic axis) पर परस्पर विरोधी अवधारणाओं (जैसे, "प्रेशर बहुत अधिक है" बनाम "प्रेशर बहुत कम है") के लिए अलग-अलग लेटेंट फीचर्स सीखने के लिए मजबूर करती है।

यह "साइन स्प्लिटिंग" (sign splitting) डिक्शनरी की क्षमता को बर्बाद करती है, क्योंकि एक द्विदिश (bidirectional) फीचर दिशा को दर्शाने के लिए दो लेटेंट की आवश्यकता होती है। जबकि क्लासिकल स्पार्स कोडिंग साइन किए गए गुणांकों (signed coefficients) की अनुमति देता है, मानक SAE कार्यान्वयन में आमतौर पर ऐसी कोई व्यवस्था नहीं होती जो L1 श्रिंकेज आर्टिफैक्ट्स (L1 shrinkage artifacts) के बिना या मॉडल की चौड़ाई को दोगुना किए बिना, एक साझा डिकोडर दिशा के साथ धनात्मक और ऋणात्मक दोनों साक्ष्यों को प्रदर्शित कर सके।

कार्यप्रणाली: साइन-अवेयर गेटेड SAE (SA-GSAE)

लेखक साइन-अवेयर गेटेड SAE (SA-GSAE) का प्रस्ताव करते हैं, जो एक एकल लेटेंट एनकोडिंग के माध्यम से एंटीकोरिलेटेड (anticorrelated) फीचर्स को मॉडल करने के लिए डिज़ाइन किया गया एक आर्किटेक्चर है। यह विधि एक टू-साइडेड गेटेड स्पार्सिटी मैकेनिज्म को साइन किए गए मैग्नीट्यूड और ऑक्सिलरी सुपरविजन के साथ पेश करके Gated SAE का सामान्यीकरण करती है।

1. Bi-Jump-ReLU एक्टिवेशन

मुख्य नवाचार Bi-Jump-ReLU एक्टिवेशन फंक्शन है। प्रत्येक लेटेंट $i$ के लिए, मॉडल एक डिकोडर-अलाइन प्रोजेक्शन $t_i(x)$ की गणना करता है। एक सीखनीय "डेड ज़ोन" $[-\delta^-_i, \delta^+_i]$ थ्रेसहोल्ड के माध्यम से परिभाषित किया जाता है।

पोलैरिटी सिलेक्शन (Polarity Selection): एक गेट प्री-एक्टिवेशन $\pi_i(x)$ पोलैरिटी $s_i(x) \in \{+1, -1, 0\}$ निर्धारित करता है। यदि $\pi_i(x)$ पॉजिटिव थ्रेसहोल्ड से ऊपर जाता है, तो लेटेंट धनात्मक रूप से फायर होता है; यदि यह नेगेटिव थ्रेसहोल्ड से नीचे गिरता है, तो यह ऋणात्मक रूप से फायर होता है।
साइंड मैग्नीट्यूड (Signed Magnitude): एक बार जब गेट पोलैरिटी चुन लेता है, तो एक अलग मैग्नीट्यूड पाथ एक्टिवेशन वैल्यू की गणना करता है। महत्वपूर्ण रूप से, यह पाथ एक गेन पैरामीटर ( $g^+_i$ या $g^-_i$ ) और एक साझा मैग्नीट्यूड ऑफसेट का उपयोग करता है, जिससे थ्रेसहोल्ड को सक्रिय मैग्नीट्यूड से घटाने की आवश्यकता नहीं होती (जो L1 श्रिंकेज का कारण बनता है)।
साझा दिशा (Shared Direction): दोनों धनात्मक और ऋणात्मक एक्टिवेशन एक ही डिकोडर कॉलम $D_{:,i}$ को मैप करते हैं, जिससे एक सिंगल लेटेंट एक द्विदिश सिमेंटिक एक्सिस को दर्शा सकता है।

2. ट्रेनिंग ऑब्जेक्टिव (Training Objective)

ट्रेनिंग लॉस तीन घटकों को जोड़ता है:

मुख्य पुनर्निर्माण (Main Reconstruction): $\|x - D a(x) - b_{dec}\|^^2_2$ , जहाँ $a(x)$ में साइन किए गए Bi-Jump-ReLU एक्टिवेशन शामिल हैं।
गेट स्पार्सिटी पेनल्टी (Gate Sparsity Penalty): गेट प्री-एक्टिवेशंस पर लागू एक टू-साइडेड हिंज लॉस $\Omega_{gate}(\pi_i(x))$ , जो सक्रिय मैग्नीट्यूड्स को छोटा किए बिना स्पार्सिटी को प्रोत्साहित करता है।
ऑक्सिलरी पुनर्निर्माण (Auxiliary Reconstruction): एक स्टॉप-ग्रेडिएंट डिकोडर पाथ का उपयोग करके एक ऑक्सिलरी लॉस $L_{aux}$ । यह लॉस गेट को सीधे सुपरवाइज करता है, यह सिखाता है कि डेड ज़ोन के किस तरफ पार करना है, जबकि मुख्य पुनर्निर्माण साइन किए गए मैग्नीट्यूड को सीखता है। यह अलगाव गेट को कोलैप्स होने से रोकता है (जो साइन वाले SAEs में एक सामान्य विफलता मोड है)।

3. पैरामीटर एफिशिएंसी तर्क (Parameter Efficiency Argument)

लेखक पैरामीटर दक्षता के लिए एक सैद्धांतिक तर्क प्रदान करते हैं। यदि ग्राउंड-ट्रुथ फीचर्स का एक हिस्सा $p$ एंटीकोरिलेटेड पेयर्स के रूप में दिखाई देता है, तो एक मानक SAE को चौड़ाई $H$ की आवश्यकता होती है, जबकि साइन-अवेयर मॉडल को $H_{\pm} = H(1 - p/2)$ की आवश्यकता होती है।

साइन-अवेयर मॉडल प्रत्येक लेटेंट के लिए 4 स्केलर पैरामीटर (दो थ्रेसहोल्ड, दो मैग्नीट्यूड स्केल) जोड़ता है।
शुद्ध पैरामीटर बचत तब होती है जब $p > \frac{8}{d_{in} + 4}$ हो।
सामान्य ट्रांसफार्मर हिडन साइज़ ( $d_{in} = 2048$ ) के लिए, यह थ्रेसहोल्ड लगभग $0.39\%$ है। लेखक तर्क देते हैं कि एंटीकोरिलेटेड पेयर्स का एक छोटा हिस्सा भी साइन-अवेयर दृष्टिकोण को सख्ती से अधिक पैरामीटर-एफिशिएंट बनाता है।

मुख्य योगदान (Key Contributions)

आर्किटेटेक्चर: साइन किए गए फीचर शेयरिंग के लिए Bi-Jump-ReLU के साथ SA-GSAE का परिचय, जो साइन किए गए मैग्नीट्यूड एस्टीमेशन और टू-साइडेड गेटेड स्पार्सिटी को सक्षम बनाता है। एब्लेशन स्टडीज पुष्टि करती हैं कि टू-साइडेड गेट और ऑक्सिलरी लॉस ही "लोड-बियरिंग" घटक हैं; ऑक्सिलरी लॉस को हटाने से विनाशकारी विफलता (98% डेड लेटेंट्स) होती है।
सिमेट्रिक-मैग्नीट्यूड डिफॉल्ट (Symmetric-Magnitude Default): लेखक दिखाते हैं कि धनात्मक और ऋणात्मक मैग्नीट्यूड स्केल्स को बांधना ( $r^+_i = r^-_i$ ) वास्तविक LLM एक्टिवेशन्स पर स्वतंत्र स्केलिंग ( $|\Delta R^2| \approx 0.0015$ ) के लगभग समान है। वे पैरामीटर दक्षता के लिए इस सिमेट्रिक वेरिएंट को डिफॉल्ट के रूप में उपयोग करने की सिफारिश करते हैं।
अनुभवजन्य सत्यापन (Empirical Validation): तीन हुकपॉइंट्स (MLP आउटपुट, अटेंशन आउटपुट, रेसिडुअल स्ट्रीम) पर Pythia-1B और SmolLM3-3B पर व्यापक मूल्यांकन।

परिणाम (Results)

पेपर एक हाफ-विड्थ SA-GSAE ( $H = 16,384$ ) की तुलना एक फुल-विड्थ गेटेड SAE ( $2H = 32,768$ ) और एक मैच-विड्थ गेटेड SAE से करता है।

डेड फ्रैक्शन रिडक्शन (Dead Fraction Reduction): हाफ-विड्थ SA-GSAE, फुल-विड्थ गेटेड SAE की तुलना में डेड (निष्क्रिय) लेटेंट्स के अंश को नाटकीय रूप से कम करता है।
- MLP-आउटपुट और Pythia-1B रेसिडुअल सेल पर, यह कमी 100× से 500× (जियोमेट्रिक मीन) तक है।
- अटेंशन सेल्स और SmolLM3-3B रेसिडुअल स्ट्रीम पर, यह कमी 2× से 4× है।
पुनर्निर्माण निष्ठा (Reconstruction Fidelity):
- 6 में से 3 सेल्स पर (दोनों MLP-आउटपुट हुकपॉइंट्स और Pythia-1B रेसिडुअल स्ट्रीम), हाफ-विड्थ SA-GSAE पूरे स्वीप्ट $L_0$ (स्पार्सिटी) ओवरलैप में फुल-विड्थ गेटेड SAE को सख्ती से डोमिनेट (Pareto-dominate) करता है, जो काफी कम डेड लेटेंट्स के साथ बेहतर या समान $R^2$ प्राप्त करता है।
- शेष 3 सेल्स पर, $R^2$ गैप नगण्य है (0.025 के भीतर), जबकि डेड फ्रैक्शन अभी भी काफी कम है।
स्थिरता (Stability): फुल विड्थ पर, SA-GSAE स्मॉलएलएम3-3बी (SmolLM3-3B) रेसिडुअल स्ट्रीम साइट पर एक पुनरुत्पादित पुनर्निर्माण पतन (reconstruction collapse) प्रदर्शित करता है (MSE 6.0 तक, $R^2$ -4.3 तक)। हाफ-विड्थ वेरिएंट इस पैथोलॉजी को पूरी तरह से टाल देता है, जो हाफ-विड्थ पर काम करने के लिए एक व्यावहारिक प्रेरणा प्रदान करता है।
बायपोलर उपयोग (Bipolar Usage): कैलिब्रेशन विश्लेषण दिखाता है कि MLP-आउटपुट सेल्स पर, अधिकांश लेटेंट्स दोनों पोलैरिटीज पर सिग्नल ले जाते हैं (उच्च "बायपोलर फ्रैक्शन"), जो क्षमता की जीत (capacity wins) को संचालित करता है। अटेंशन लेयर्स में, बायपोलर संरचना शीर्ष-एक्टिवेशन लेटेंट्स के एक छोटे सेट में केंद्रित है।

महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि यह साइन किए गए फीचर शेयरिंग के लिए पहला टू-साइडेड, गेटेड, नो-श्रिंकेज SAE है। इसका प्राथमिक महत्व निम्नलिखित में निहित है:

दक्षता (Efficiency): यह प्रदर्शित करना कि साइन-अवेयरनेस पुनर्निर्माण की गुणवत्ता से समझौता किए बिना डिक्शनरी की चौड़ाई (हाफ-विड्थ) को कम करने की अनुमति देती है, जो प्रभावी रूप से "साइन स्प्लिटिंग" अक्षमता को हल करती है।
संरचनात्मक अंतर्दृष्टि (Structural Insight): यह दिखाना कि एंटीकोरिलेटेड पेयर्स के लिए डिकोडर दिशाओं को साझा करने की क्षमता केवल एक सैद्धांतिक संभावना नहीं है, बल्कि LLMs (विशेष रूपकर MLP आउटपुट) में कुशल फीचर लर्निंग के लिए एक व्यावहारिक आवश्यकता है।
मजबूती (Robustness): यह पहचानना कि ट्रेनिंग स्थिरता के लिए ऑक्सिलरी लॉस महत्वपूर्ण है और उच्च प्रदर्शन के लिए एक सिमेट्रिक-मैग्नीट्यूड वेरिएंट पर्याप्त है।

लेखक SAE डिक्शनरी को अद्वितीय ग्राउंड-ट्रुथ बेस के बजाय उपयोगी अपघटन (decompositions) के रूप में देखते हैं। वे निष्कर्ष निकालते हैं कि सिमेट्रिक मैग्नीट्यूड्स के साथ हाफ-विड्थ SA-GSAE सबसे अनुशंसित ऑपरेटिंग पॉइंट है, जो मानक गैर-ऋणात्मक गेटेड SAEs की तुलना में बेहतर क्षमता उपयोग और स्थिरता प्रदान करता है।