🤖 AI

Subspace-Aware Sparse Autoencoders for Effective Mechanistic Interpretability

यह शोध पत्र सबस्पेस-अवेयर स्पार्स ऑटोएनकोडर्स (SASA) को प्रस्तुत करता है, जो एक नवीन ढांचा है जो मानक स्पार्स ऑटोएनकोडर्स में निहित फीचर स्प्लिटिंग (feature splitting) की समस्या को दूर करने के लिए सिंगल-वेक्टर डिकोडर्स के स्थान पर सीखे गए सबस्पेस (subspaces) का उपयोग करता है, जिससे मॉडल फीचर्स की बहु-आयामी ज्यामिति (multi-dimensional geometry) के साथ संरेखित होकर बेहतर व्याख्यात्मकता और प्रशिक्षण दक्षता प्राप्त होती है।

मूल लेखक: Seyed Arshan Dalili, Mehrdad Mahdavi

प्रकाशित 2026-06-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Seyed Arshan Dalili, Mehrdad Mahdavi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: एक ब्लैक बॉक्स को पढ़ने की कोशिश करना

कल्पना कीजिए कि GPT-2 या Mistral जैसे लार्ज लैंग्वेज मॉडल्स (LLMs) विशाल, जटिल ब्लैक बॉक्स हैं। इनके भीतर, ये अरबों नंबरों का उपयोग करके जानकारी को प्रोसेस करते हैं। यह समझने के लिए कि ये कैसे सोचते हैं (जिसे "मैकेनिस्टिक इंटरप्रिटेबिलिटी" कहा जाता है), शोधकर्ता स्पार्स ऑटोएनकोडर (Sparse Autoencoder - SAE) नामक टूल का उपयोग करते हैं।

एक SAE को एक अनुवादक (translator) के रूप में सोचें। यह AI की अव्यवस्थित, उच्च-आयामी (high-dimensional) भाषा को लेता है और उसे सरल, विशिष्ट "अवधारणाओं" (जैसे "बिल्ली शब्द" या "समय की अवधारणा") की एक सूची में तोड़ने की कोशिश करता है। लक्ष्य एक सटीक मिलान खोजना है: अनुवादक में एक विशिष्ट स्विच जो केवल तभी जले जब AI "बिल्लियों" के बारे में सोच रहा हो।

समस्या: "एक-आयामी" (One-Dimensional) गलती

पेपर तर्क देता है कि मानक (standard) SAE एक त्रुटिपूर्ण धारणा पर आधारित हैं। वे मानते हैं कि प्रत्येक अवधारणा एक-आयामी (one-dimensional) है—जैसे कि एक सीधी रेखा या एक अकेला स्विच।

उपमा: वृत्त बनाम रेखा
कल्पना कीजिए कि AI एक वृत्त (circle) के बारे में सोच रहा है (जैसे कि "सप्ताह के दिन" या "ऋतुओं" की अवधारणा)। एक वृत्त एक 2-आयामी आकार है; किसी भी बिंदु को वर्णित करने के लिए आपको दो संख्याओं (x और y) की आवश्यकता होती है।

मानक SAEs इस वृत्त को केवल सीधी रेखाओं का उपयोग करके वर्णित करने की कोशिश करते हैं।
पूरे वृत्त को सीधी रेखाओं से कवर करने के लिए, आपको वक्र (curve) को अनुमानित करने के लिए सैकड़ों छोटे, ओवरलैपिंग लाइनों (atoms) की आवश्यकता होगी।
परिणाम: "वृत्त" के लिए एक एकल स्विच खोजने के बजाय, SAE 30 या 40 अलग-अलग स्विच बनाता है जो वृत्त के विभिन्न हिस्सों को कवर करने के लिए थोड़ा अलग तरह से काम करते हैं। इसे फीचर स्प्लिटिंग (Feature Splitting) कहा जाता है।
परिणामस्वरूप: यदि आप "सप्ताह के दिनों" को समझना चाहते हैं, तो आपको एक स्पष्ट उत्तर नहीं मिलेगा। आपको 30 अलग-अलग स्विचों का एक अव्यवस्थित समूह मिलेगा, जिससे यह समझना कठिन हो जाता है कि AI वास्तव में क्या कर रहा है।

यह पेपर गणितीय रूप से सिद्ध करता है कि यह केवल एक गलती नहीं है; मानक प्रशिक्षण विधि सक्रिय रूप से इस अव्यवस्थित समाधान को चुनती है क्योंकि एल्गोरिदम के लिए कई छोटी रेखाओं का उपयोग करना एक सही आकार खोजने की तुलना में गणितीय रूप से सस्ता होता है।

समाधान: SASA (सबस्पेस-अवेयर स्पार्स ऑटोएनकोडर)

लेखक SASA नामक एक नया टूल प्रस्तावित करते हैं। हर अवधारणा को एक सीधी रेखा मानने के बजाय, SASA अवधारणाओं को सबस्पेस (subspaces) (वृत्त, गोले या सर्पिल जैसे आकार) होने की अनुमति देता है।

उपमा: स्विस आर्मी नाइफ बनाम सिंगल ब्लेड

मानक SAE: एक स्विस आर्मी नाइफ की कल्पना करें जहाँ प्रत्येक टूल एक पतला, सिंगल ब्लेड है। यदि आपको एक गोल सेब काटने की आवश्यकता है, तो आपको वक्र को अनुमानित करने के लिए थोड़े अलग कोणों पर 20 अलग-अलग ब्लेडों का उपयोग करना होगा। यह अक्षम और भ्रमित करने वाला है।
SASA: एक ऐसे स्विस आर्मी नाइफ की कल्पना करें जहाँ कुछ उपकरण ब्लेडों के समूह (groups) हैं जो एक विशिष्ट आकार बनाने के लिए एक साथ चल सकते हैं (जैसे कि एक गोलाकार कटर)।
यह कैसे काम करता है: SASA स्विचों को एक साथ समूहित करता है। यदि AI "समय" के बारे में सोच रहा है, तो SASA स्विचों का एक समूह सक्रिय करता है जो समय के "वृत्त" को बनाने के लिए एक साथ काम करता है। यह अवधारणा को 30 टुकड़ों में नहीं बांटता; यह पूरे आकार को एक सुसंगत इकाई के रूप में कैप्चर करता है।

यह क्यों महत्वपूर्ण है: "टोकन बजट"

इन मॉडल्स को प्रशिक्षित करना अविश्वसनीय रूप से महंगा है। हर बार जब आप एक SAE को प्रशिक्षित करते हैं, तो आपको डेटा उत्पन्न करने के लिए विशाल AI मॉडल (LLM) को फॉरवर्ड चलाना पड़ता है। यह हर एक मील गाड़ी चलाने के लिए टोल देने जैसा है।

पुराना तरीका (मानक SAE): क्योंकि मॉडल फीचर्स को सैकड़ों छोटे टुकड़ों में विभाजित कर देता है, इसलिए इसे उन सभी छोटे टुकड़ों को सही ढंग से सीखने के लिए अरबों उदाहरणों (tokens) को देखने की आवश्यकता होती है। यह शब्दों को सीखने के बजाय हर एक अक्षर को अलग-अलग याद करने जैसा है।
नया तरीका (SASA): क्योंकि SASA पूरे आकार (एक "शब्द") को एक साथ सीखता है, यह बहुत तेज़ी से सीखता है।
परिणाम: पेपर दिखाता है कि SASA आधे डेटा का उपयोग करके भी समान (या बेहतर) समझ प्राप्त कर सकता है। यह प्रशिक्षण लागत और समय को आधा कर देता है।

वास्तविक दुनिया का प्रमाण

लेखकों ने वास्तविक मॉडल्स (GPT-2 और Mistral-7B) पर इसका परीक्षण किया।

पहले: जब वे देख रहे थे कि AI "सप्ताह के दिनों" को कैसे समझता है, तो मानक SAEs ने 35 अलग-अलग बिखरे हुए स्विच पाए।
बाद में (SASA): उन्होंने स्विचों के एक एकल समूह को पाया जो दिनों, महीनों और वर्षों के चक्र को पूरी तरह से कैप्चर करता था।
बोनस: यह एकल समूह "समय" की "वृत्ताकार" प्रकृति को भी सुरक्षित रखता है (जैसे कि यह जानना कि दिसंबर, जनवरी से ठीक पहले आता है), जिसे पुराने तरीके ने शोर (noise) में पूरी तरह से खो दिया था।

सारांश

पेपर कहता है: "गोल अवधारणाओं को सीधी रेखाओं में बदलने की कोशिश करना बंद करें। यह अवधारणाओं को तोड़ देता है, पैसा बर्बाद करता है और हमें भ्रमित करता है। आइए ऐसे टूल्स का उपयोग करें जो सीधे आकारों (subspaces) को संभाल सकें। यह AI को समझना आसान बनाता है और प्रशिक्षण लागत को आधा कर देता है।"

तकनीकी सारांश: प्रभावी यांत्रिक व्याख्यात्मकता (Mechanistic Interpretability) के लिए सबस्पेस-जागरूक स्पार्स ऑटोएनकोडर्स (Subspace-Aware Sparse Autoencoders)

1. समस्या विवरण (Problem Statement)

स्पार्स ऑटोएनकोडर्स (SAEs) लार्ज लैंग्वेज मॉडल्स (LLMs) में यांत्रिक व्याख्यात्मकता के लिए एक प्राथमिक उपकरण बन गए हैं, जिनका लक्ष्य उच्च-आयामी सक्रियणों (high-dimensional activations) को स्पार्स, व्याख्या योग्य विशेषताओं (interpretable features) में अलग करना है। हालांकि, मानक SAEs एक मौलिक ज्यामितीय धारणा के तहत कार्य करते हैं: कि प्रत्येक अर्थपूर्ण विशेषता (semantic feature) एम्बिएंट स्पेस में एक एकल, एक-आयामी दिशा (one-dimensional direction) के अनुरूप होती है।

हालिया अनुभवजन्य साक्ष्य बताते हैं कि LLM की विशेषताएं अक्सर एक बहु-आयामी संरचना (जैसे समय या रंग जैसे अवधारणाओं के लिए वृत्ताकार या गोलाकार मैनिफोल्ड) प्रदर्शित करती हैं, जो मल्टी-डायमेंशनल लीनियर रिप्रेजेंटेशन हाइपोथेसिस के अनुरूप है। यह शोध पत्र मानक SAEs की वेक्टर-आधारित स्पैरसिटी धारणाओं और LLM विशेषताओं की अंतर्निहित बहु-आयामी ज्यामिति के बीच एक महत्वपूर्ण असंगति की पहचान करता है। यह बेमेल (mismatch) फीचर स्प्लिटिंग (feature splitting) की ओर ले जाता है, जहाँ एक एकल सुसंगत अर्थपूर्ण विशेषता कई निकट-कोलीनियर (near-collinear), रेडंडेंट डिकोडर परमाणुओं (decoder atoms) में विभाजित हो जाती है। यह विखंडन व्याख्यात्मकता के लिए आवश्यक अंतर्निहित ज्यामिति को धुंधला कर देता है और इन विशेषताओं को सीखने के लिए आवश्यक सैंपल कॉम्प्लेक्सिटी (sample complexity) को बढ़ा देता है, क्योंकि प्रत्येक प्रशिक्षण टोकन के लिए एक महंगी LLM फॉरवर्ड पास की आवश्यकता होती है।

2. कार्यप्रणाली (Methodology)

फीचर स्प्लिटिंग का सैद्धांतिक विश्लेषण

लेखक दो तंत्रों के माध्यम से फीचर स्प्लिटिंग के कारणों को औपचारिक रूप देते हैं:

ज्यामितीय आवश्यकता (Covering Number): $\epsilon$ त्रुटि के साथ $d_i \ge 2$ की आंतरिक विमा (intrinsic dimension) वाली एक विशेषता को सिंगल-डायरेक्शनल डिकोडर्स का उपयोग करके पुनर्गठित करने के लिए, परमाणुओं की संख्या $d_i$ के साथ तेजी से बढ़ती है। विशेष रूप से, को-एक्टिवेशन बजट $k$ के लिए कवरिंग नंबर $\Omega((t/\epsilon)^{(d_i-k)/k})$ के रूप में स्केल करता है। मानक SAEs में जहाँ $k=1$ है, यह फीचर मैनिफोल्ड को कवर करने के लिए परमाणुओं के घातीय विस्फोट (exponential explosion) को मजबूर करता है।
अनुकूलन प्राथमिकता (Optimization Preference): मानक SAE ऑब्जेक्टिव (पुनर्निर्माण त्रुटि + $\ell_1$ स्पैरसिटी) सक्रिय रूप से समाधान को इस विखंडित शासन (fragmented regime) की ओर धकेलता है। लेखक सिद्ध करते हैं कि वास्तविक $d_i$ -आयामी आधार (basis) $\ell_1$ पेनल्टी के तहत अस्थिर है। वास्तविक आधार से एक सख्त निम्न-जोखिम समाधान (strictly lower risk solution) तक एक निरंतर पथ मौजूद है जहाँ विशेषता को कई निकट-कोलीनियर परमाणुओं द्वारा कवर किया जाता है। $\ell_1$ पेनल्टी एक पूर्ण-सक्रियता ऑर्थेंट (full-activation orthant) पर एक "अवशेष" (residual) बनाती है जिसे कोई भी एकल आधार परमाणु अवशोषित नहीं कर सकता है, जिससे लॉस को कम करने के लिए गैर-आधार दिशाओं को जोड़ने के लिए प्रोत्साहन मिलता है।

प्रस्तावित समाधान: सबस्पेस-अवेयर स्पार्स ऑटोएनकोडर्स (SASA)

इसे हल करने के लिए, लेखक SASA पेश करते हैं, जो सिंगल-वेक्टर डिकोडर्स को सीखे गए डिकोडर सबस्पेस (learned decoder subspaces) से बदल देता है।

आर्किटेक्चर: लेटेंट स्पेस को $K$ समूहों (ब्लॉक्स) में विभाजित किया जाता है, जिनमें से प्रत्येक का आकार $r$ होता है। एनकोडर इन समूहों के लिए प्री-एक्टिवेशंस उत्पन्न करता है।
स्पैरसिटी मैकेनिज्म: कोऑर्डिनेट-वाइज स्पैरसिटी के बजाय, SASA एक Top- $s$ ग्रुप गेटिंग मैकेनिजिज्म के माध्यम से ब्लॉक स्पैरसिटी लागू करता है। यह सक्रियता नॉर्म्स के उच्चतम $s$ समूहों का चयन करता है, और पूरे समूह को एक एकल सक्रिय इकाई के रूप में मानता है।
रेगुलराइजेशन: प्रत्येक ब्लॉक के पुनर्निर्माण मानचित्र ( $W_k = D_k E_k$ ) पर एक न्यूक्लियर-नॉर्म रेगुलराइज़र लागू किया जाता है। यह ब्लॉक के प्रभावी रैंक (effective rank) को दंडित करता है, जिससे ब्लॉक को केवल उन आयामों का उपयोग करने के लिए प्रोत्साहित किया जाता है जो विशेषता को कैप्चर करने के लिए आवश्यक हैं, जबकि शोर (noise) को दबा दिया जाता है।
प्रशिक्षण उद्देश्य: उद्देश्य पुनर्निर्माण त्रुटि और प्रत्येक ब्लॉक के पुनर्निर्माण मानचित्रों के न्यूक्लियर नॉर्म्स के योग के समान एक पद को कम करना है।

3. प्रमुख योगदान (Key Contributions)

ज्यामितीय बेमेल की पहचान: यह शोध पत्र औपचारिक रूप से प्रदर्शित करता है कि वेक्टर-फीचर धारणा मानक SAEs के साथ मौलिक रूप से असंगत है, जो फीचर स्प्लिटिंग को कारणवश प्रेरित करती है।
फीचर स्प्लिटिंग का औपचारिकीकरण: लेखक एक सिद्धांत आधारित मानदंड (covering numbers के माध्यम से) प्रदान करते हैं कि कब एक विशेषता खंडित होती है। वे सिद्ध करते हैं कि स्प्लिटिंग केवल लो-रैंक सन्निकटन (low-rank approximation) के लिए एक ज्यामितीय आवश्यकता नहीं है, बल्कि $\ell_1$ रेगुलराइजेशन के तहत वास्तविक आधार की अस्थिरता के कारण यह एक सक्रिय रूप से पसंदीदा (actively preferred) समाधान है।
SASA का परिचय: वे SASA का प्रस्ताव करते हैं, जो स्पैरसिटी को समूह स्तर पर स्थानांतरित करता है और सीखे गए सबस्पेस के प्रभावी रैंक को अनुकूलित करने के लिए न्यूक्लियर-नॉर्म रेगुलराइजेशन का उपयोग करता है।
सैद्धांतिक गारंटी:
- वैश्विक इष्टतमता (Global Optimality): वे सिद्ध करते हैं कि $r \ge d_i$ ब्लॉक आकार के लिए, SASA ऑब्जेक्टिव का ग्लोबल मिनिमाइज़र एक एकल समूह है जो विशेषता सबस्पेस को सटीक रूप से पुनर्प्राप्त (recover) करता है (रोटेशन और इंडेक्स के अपवाद तक)। यह मानक SAEs में पाई गई अस्थिरता को उलट देता है।
- सैंपल कॉम्प्लेक्सिटी: वे स्थापित करते हैं कि SASA फीचर रिकवरी के लिए सैंपल कॉम्प्लेक्सिटी को $d_i$ में घातीय (exponential) से पॉलीनोमियल (polynomial) में कम कर देता है। चूंकि प्रत्येक सैंपल के लिए LLM फॉरवर्ड पास की आवश्यकता होती है, इसलिए यह प्रशिक्षण की कम्प्यूटेशनल लागत को काफी कम कर देता है।
अनुभवजन्य सत्यापन: GPT-2 और Mistral-7B पर प्रयोगों से पता चलता है कि SASA फीचर स्प्लिटिंग और एब्जॉर्प्शन (absorption) को कम करता है, मोनोसेमेंटिसिटी (monosemanticity) में सुधार करता है, और लगभग आधे टोकन बजट पर प्रशिक्षण के बावजूद मानक SAE प्रदर्शन के बराबर या उससे बेहतर प्रदर्शन करता है।

4. परिणाम (Results)

सिंथेटिक डेटा: सिंथेटिक मैनिफोल्ड्स (वृत्त, गोले, हेलिक्स) पर, मानक SAEs (ReLU, TopK, Gated, आदि) विशेषता को दर्जनों से सैकड़ों परमाणुओं में विभाजित कर देते हैं। इसके विपरीत, SASA प्रभावी रैंक $d_i$ वाले एक एकल सक्रिय समूह के साथ पूरे मैनिफोल्ड को कैप्चर करता है, और अंतर्निहित ज्यामिति को पुनर्प्राप्त करता है।
वास्तविक मॉडल (GPT-2 और Mistral-7B):
- दक्षता (Efficiency): SASA दोगुने टोकन बजट (जैसे, GPT-2 पर मानक SAE के लिए 300M बनाम SASA के लिए 150M टोकन) पर प्रशिक्षित होने के बावजूद, मानक SAEs के समान KL स्कोर, क्रॉस-एंट्रॉपी (CE) स्कोर और स्पष्ट भिन्नता (explained variance) प्राप्त करता है।
- व्याख्यात्मकता (Interpretability): SASA फीचर एब्जॉर्प्शन (एक विफलता मोड जो स्प्लिटिंग से जुड़ा है) को काफी कम कर देता है। GPT-2 पर, औसत एब्जॉर्प्शन 37.2% (मानक) से गिरकर 6.6% (SASA) हो गया।
- केस स्टडी: टेम्पोरल कॉन्सेप्ट्स (दिन, महीने, वर्ष) के लिए, मानक SAEs ने प्रतिनिधित्व को 35 परमाणुओं में विभाजित कर दिया। SASA ने इसे 6 वेक्टर्स के एक एकल समूह में समेकित किया, जिससे चक्रीय टोपोलॉजी (cyclic topology) और ज्यामितीय संरचना सुरक्षित रही।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि मानक SAEs में देखा गया विखंडन खराब प्रशिक्षण का परिणाम नहीं है, बल्कि बहु-आयामी विशेषताओं के लिए लागू ऑब्जेक्टिव फंक्शन का एक मौलिक परिणाम है। यह स्वीकार करते हुए कि विशेषताएं लाइनों के बजाय सबस्पेस घेरती हैं, SASA, LLM इंटरनल का अधिक निष्ठावान प्रतिनिधित्व प्रदान करता है।

मुख्य महत्व दक्षता और व्याख्यात्मकता में निहित है:

दक्षता: $d_i$ में सैंपल कॉम्प्लेक्सिटी को घातीय से पॉलीनोमियल में कम करके, SASA व्याख्यात्मकता उपकरणों के प्रशिक्षण की लागत को नाटकीय रूप से कम करता है, जो वर्तमान में LLM इन्फरेंस की लागत के कारण एक बाधा है।
व्याख्यात्मकता: फीचर स्प्लिटिंग को रोककर, SASA "मोनोसेमेंटिक" समूह प्रदान करता है जो सुसंगत अवधारणाओं के अनुरूप होते हैं, जिससे यांत्रिक विश्लेषण अधिक विश्वसनीय हो जाता है और एक एकल विशेषता को समझने के लिए निकट-डुप्लिकेट लेटेंट्स के क्लस्टरों को एकत्रित करने की आवश्यकता कम हो जाती है।

लेखक अपनी सीमाओं के संबंध में विनम्र बने हुए हैं, यह नोट करते हुए कि हालांकि SASA कंप्यूट लागत को कम करता है, बहुत बड़े मॉडल्स के लिए बड़े पैमाने पर प्रशिक्षण अभी भी संसाधन-गहन (resource-intensive) बना हुआ है। इसके अलावा, जबकि SASA सबस्पेस स्पैन की पहचान करता है, यह स्वचालित रूप से उस सबस्पेस के भीतर एक व्याख्या योग्य समन्वय प्रणाली (coordinate system) प्रदान नहीं करता है, जिसके लिए अक्सर विशिष्ट अर्थपूर्ण मूल्यों को आंतरिक निर्देशांकों (internal coordinates) से मैप करने के लिए मैन्युअल निरीक्षण की आवश्यकता होती है।