💬 NLP

Steering LLMs? Actually, Sparse Autoencoders can outperform simple baselines

यह शोध पत्र उन पिछले निष्कर्षों को चुनौती देता है जो यह बताते हैं कि स्पार्स ऑटोएनकोडर (SAEs), लार्ज लैंग्वेज मॉडल्स को स्टीयर करने में कम प्रदर्शन करते हैं, यह प्रदर्शित करते हुए कि जब फीचर्स को एक सुपरवाइज्ड पाइपलाइन के माध्यम से चुना और लेबल किया जाता है, तो SAEs AxBench बेंचमार्क पर LoRA के समान स्टीयरिंग प्रदर्शन प्राप्त कर सकते हैं और उच्च स्पर्सिटी (sparsity) की आवश्यकता के बिना भी कॉज़ल फीचर्स की पहचान कर सकते हैं।

मूल लेखक: Mikkel Godsk Jørgensen, Lars Kai Hansen

प्रकाशित 2026-06-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mikkel Godsk Jørgensen, Lars Kai Hansen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी तस्वीर: एक टूटे हुए कंपास को ठीक करना

कल्पना कीजिए कि लार्ज लैंग्वेज मॉडल्स (LLMs) विशाल, सुपर-स्मार्ट लाइब्रेरीज़ हैं जो कहानियाँ लिख सकते हैं, गणित की समस्याएँ हल कर सकते हैं और आपसे चैट कर सकते हैं। इन लाइब्रेरीज़ के अंदर, लाखों छोटे "स्विच" (न्यूरॉन्स) होते हैं जो तब जल उठते हैं जब मॉडल किसी विशिष्ट चीज़ के बारे में सोचता है।

कुछ समय के लिए, वैज्ञानिकों ने सोचा कि वे स्पार्स ऑटोएनकोडर्स (SAEs) नामक स्विचों का एक विशेष सेट पा सकते हैं। उनका मानना था कि ये स्विच एक फाइलिंग कैबिनेट के पूरी तरह से लेबल किए गए दराजों की तरह थे: एक दराज "बेसबॉल" के लिए, एक "कुकिंग" के लिए, एक "उदासी" के लिए। यदि आप "बेसबॉल" वाला दराज ढूँढ लें और उसे दबा दें, तो लाइब्रेरी बेसबॉल के बारे में बात करने लगेगी।

हालाँकि, एक हालिया अध्ययन (Wu et al., 2025) ने इस विचार का परीक्षण किया और कहा, "वास्तव में, ये दराज अस्त-व्यस्त हैं। इन्हें दबाना बहुत अच्छी तरह से काम नहीं करता है। यह आसान है कि बस लाइब्रेरी से बेसबॉल के बारे में बात करने के लिए विनम्रता से कहें (एक प्रॉम्प्ट का उपयोग करके)।"

यह पेपर कहता है: "ठहरिए। हमें लगता है कि पिछले अध्ययन ने सही दराजों को नहीं देखा, या उन्हें ठीक से खोलना नहीं जाना। जब हम इन दराजों को खोजने और लेबल करने के लिए बेहतर तरीके का उपयोग करते हैं, तो वे मौजूदा सर्वोत्तम उपकरणों की तरह ही लगभग उतना ही अच्छा काम करते हैं।"

समस्या: एक अस्त-व्यस्त फाइलिंग कैबिनेट

AI मॉडल के अंदर के हिस्से को एक विशाल, अराजक कमरे के रूप में सोचें जहाँ लाखों लोग एक साथ चिल्ला रहे हैं।

पुराना दृष्टिकोण: वैज्ञानिकों ने उन विशिष्ट लोगों (फीचर्स) को खोजने की कोशिश की जो हमेशा केवल एक ही चीज़ के बारे में बात करते थे (मोनोसेमेंटिसिटी)।
वास्तविकता: कमरे में मौजूद अधिकांश लोग एक साथ कई चीज़ों के बारे में बात करते हैं (पॉलीसेमेंटिसिटी)। एक व्यक्ति एक साथ "बेसबॉल" और "गर्मी" के बारे में चिल्ला सकता है।
SAE समाधान: स्पार्स ऑटोएनकोडर्स एक जादुई फिल्टर की तरह हैं जो इन मिश्रित आवाजों को अलग-अलग, एकल विषयों में विभाजित करने की कोशिश करते हैं।

पिछले अध्ययन (Wu et al.) ने इन फिल्टर्स का उपयोग करने की कोशिश की लेकिन पाया कि वे कमजोर थे। उन्होंने निष्कर्ष निकाला कि SAEs, AI को "स्टीयरिंग" (नियंत्रित करने) के लिए बेकार हैं।

नया समाधान: एक बेहतर लेबलिंग सिस्टम

इस पेपर के लेखक तर्क देते हैं कि पिछला अध्ययन इसलिए विफल रहा क्योंकि उन्होंने फिल्टर्स को लेबल करने के लिए एक आलसी तरीका अपनाया था। वे एक पूर्व-मौजूद सूची (Neuronpedia) पर निर्भर थे जो संभवतः अन्य AI मॉडल्स द्वारा अनुमानित की गई थी।

लेखकों का नवाचार:
अनुमान लगाने के बजाय, उन्होंने एक सुपरवाइज्ड पाइपलाइन बनाई।

उपमा: कल्पना कीजिए कि आपके पास बिना लेबल वाले मसालों के जार का एक बॉक्स है। पुराने अध्ययन ने एक रोबोट से अनुमान लगाने को कहा कि उनमें क्या है। नया अध्ययन एक मानव शेफ (वास्तविक टेक्स्ट के लेबल किए गए डेटासेट का उपयोग करके) को मसालों को चखने और बिल्कुल वही लिखने के लिए लेता है जो वे हैं।
प्रक्रिया: उन्होंने वास्तविक इंटरनेट पोस्टों (Stack Exchange) का एक विशाल संग्रह लिया जिसमें स्पष्ट टैग (जैसे "जीव विज्ञान," "कानून," "कुकिंग") थे। उन्होंने AI के आंतरिक "स्विचों" को इन वास्तविक दुनिया के टैग से मिलाने के लिए एक सिस्टम को प्रशिक्षित किया।

परिणाम: स्विच वास्तव में काम करते हैं!

जब उन्होंने अपने नए, सावधानी से लेबल किए गए स्विचों का उपयोग करके AI को नियंत्रित किया:

वे काम कर गए: AI सफलतापूर्वक लक्षित विषयों (जैसे बेसबॉल या भौतिकी) के बारे में बात करने लगा।
उन्होंने सर्वश्रेष्ठ से प्रतिस्पर्धा की: उनका प्रदर्शन LoRA (एक भारी-भरकम, महंगा उपकरण जिसका उपयोग AI को शून्य से फिर से प्रशिक्षित करने के लिए किया जाता है) के लगभग बराबर था।
उन्होंने पुराने अध्ययन को हराया: उन्होंने Wu et al. द्वारा रिपोर्ट किए गए परिणामों की तुलना में बहुत बेहतर प्रदर्शन किया, जिससे यह साबित हुआ कि SAEs टूटे हुए नहीं हैं; उन्हें बस बेहतर लेबल की आवश्यकता थी।

दो आश्चर्यजनक खोजें

पेपर में दो ऐसी चीजें मिलीं जो पिछली धारणाओं के विपरीत हैं:

1. आपको "सुपर-स्पार्स" स्विच की आवश्यकता नहीं है

पुरानी धारणा: वैज्ञानिकों का मानना था कि काम करने के लिए आपको ऐसे स्विचों की आवश्यकता है जो अत्यधिक दुर्लभ (उच्च स्पर्सिटी) हों। जैसे घास के ढेर में सुई ढूँढना।
नई खोज: लेखकों ने पाया कि भले ही स्विच थोड़े अधिक सामान्य (कम स्पर्सिटी) हों, वे स्टीयरिंग के लिए बेहतरीन काम करते हैं। आपको सबसे दुर्लभ सुइयों की आवश्यकता नहीं है; थोड़ी अधिक सामान्य वाली भी काम चला देती हैं।

2. "कॉज़ल" (कारण संबंधी) परीक्षण

पुरानी धारणा: सिर्फ इसलिए कि एक स्विच तब जलता है जब AI "बेसबॉल" के बारे में बात करता है, इसका मतलब यह नहीं है कि वह स्विच AI को बेसबॉल के बारे में बात करने के लिए कारण बनता है। यह सिर्फ एक संयोग हो सकता है।
नई खोज: जब उन्होंने उस स्विच को "ऑन" रखने के लिए मजबूर किया, तो AI वास्तव में बेसबॉल के बारे में बात करने लगा। यह साबित करता है कि स्विच केवल एक दर्शक नहीं है; यह एक चालक (ड्राइवर) है।

पकड़: यह अभी भी केवल पूछने से कठिन है

लेखक अपनी सीमाओं के बारे में ईमानदार हैं।

प्रॉम्प्ट बेसलाइन: यदि आप बस "बेसबॉल के बारे में एक कविता लिखें" टाइप करते हैं, तो AI बहुत अच्छा काम करता है। ऐसा इसलिए है क्योंकि AI को निर्देशों को सुनने के लिए प्रशिक्षित किया गया है।
SAE विधि: SAEs का उपयोग करना AI के मस्तिष्क के अंदर स्विचों को मैन्युअल रूप से चालू करने की कोशिश करने जैसा है। यह एक "नियंत्रित क्षति" (controlled damage) प्रयोग है। यह काम करता है, लेकिन यह केवल पूछने की तुलना में कठिन और कम स्वाभाविक है।

एक वाक्य में सारांश

यह पेपर सिद्ध करता है कि स्पार्स ऑटोएनकोडर्स वास्तव में AI व्यवहार को नियंत्रित करने के लिए शक्तिशाली उपकरण हैं, लेकिन केवल तभी जब आप अनुमानों पर भरोसा करने के बजाय वास्तविक डेटा का उपयोग करके उनके आंतरिक "स्विचों" को सावधानीपूर्वक लेबल करने के लिए समय निकालें।

तकनीकी सारांश: स्पार्स ऑटोएन्कोडर्स के साथ LLMs को स्टीयर करना

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) की व्याख्या करने के लिए स्पार्स ऑटोएन्कोडर्स (SAEs) को एक उपकरण के रूप में प्रस्तावित किया गया है, जो लीनियर रिप्रेजेंटेशन हाइपोथेसिस और सुपरपोजिशन हाइपोथेसिस के आधार पर रेसिडुअल स्ट्रीम के भीतर मोनोसेमेंटिक फीचर्स की खोज करते हैं। जबकि SAE फीचर्स सैद्धांतिक रूप से मॉडल जनरेशन को नियंत्रित करने में सक्षम हैं (स्टीयरिंग), हाल के बेंचमार्क जैसे कि AxBench (Wu et al., 2025) ने सुझाव दिया है कि SAEs प्रॉम्प्टिंग जैसे सरल बेसलाइन्स की तुलना में काफी खराब प्रदर्शन करते हैं। Wu et al. (2025) ने निष्कर्ष निकाला कि "सरल बेसलाइन्स भी स्टीयरिंग कार्यों के लिए स्पार्स ऑटोएन्कोडर्स से बेहतर प्रदर्शन करते हैं।" इसके अलावा, पिछले कार्य (Wang et al., 2025) ने सुझाव दिया था कि उच्च व्याख्यात्मकता (interpretability) और स्टीयरिंग उपयोगिता, उच्च स्पर्सिटी (कम $\ell_0$ ) के साथ मजबूती से सह-संबंधित हैं, जो एक ऐसी स्थिति है जो अक्सर Neuronpedia जैसे रिपॉजिटरी में एनोटेट किए गए फीचर्स में मिलती है। इस शोध पत्र के लेखक तर्क देते हैं कि Wu et al. (2025) द्वारा रिपोर्ट किया गया खराब प्रदर्शन SAEs की अंतर्निहित सीमाओं के बजाय उप-इष्टतम फीचर लेबलिंग और चयन रणनीतियों के कारण हो सकता है।

कार्यप्रणाली
यह शोध पत्र स्टीयरिंग प्रदर्शन में सुधार के लिए फीचर्स को लेबल करने और चुनने के लिए एक सुपरवाइज्ड पाइपलाइन का प्रस्ताव करता है, जो पिछले अनसुपरवाइज्ड या LLM-आधारित लेबलिंग दृष्टिकोणों के विपरीत है।

सुपरवाइज्ड लेबलिंग पाइपलाइन:
- डेटा स्रोत: लेखक Stack Exchange डेटासेट्स (जैसे, academia, biology, sports) का उपयोग करते हैं जहाँ उपयोगकर्ता द्वारा असाइन किए गए टैग 'ग्राउंड-ट्रुथ मल्टी-लेबल्स' के रूप में कार्य करते हैं।
- फीचर प्रोब्स: प्रत्येक SAE फीचर के लिए, एक लीनियर प्रोब बनाया जाता है जो एक डेटासेट पर फीचर की एक्टिवेशन फ्रीक्वेंसी की गणना करता है। एक बाइनरी प्रेडिक्शन तब किया जाता है जब फ्रीक्वेंसी एक थ्रेशोल्ड $\tau$ से अधिक हो जाती है।
- कैलिब्रेटेड F1 स्कोरिंग: फीचर्स को लेबल्स के साथ मिलाने के लिए, लेखक एक "कैलिब्रेटेड F1" स्कोर ( $F1^c$ ) की गणना करते हैं। यह मीट्रिक लेबल सपोर्ट (फ्रीक्वेंसी) को ध्यान में रखते हुए मानक F1 स्कोर को एडजस्ट करता है, जिससे दुर्लभ या सामान्य लेबल्स के प्रति होने वाले बायस को रोका जा सके। इष्टतम थ्रेशोल्ड $\tau$ को इस स्कोर को मैक्सिमाइज करने के लिए चुना जाता है।
- डीनोइजिंग और सिलेक्शन: उच्च-गुणवत्ता वाले मिलान सुनिश्चित करने के लिए, पाइपलाइन तीन मानदंडों को लागू करती है:
  1. लेबल सपोर्ट थ्रेशोल्ड: वेरिएंस को कम करने के लिए 50 से कम बार आने वाले लेबल्स को फ़िल्टर करता है।
  2. आउटपुट स्कोर प्रॉक्सी: इनहेरेंट स्टीयरिंग क्षमता वाले फीचर्स को फ़िल्टर करने के लिए Arad et al. (2025) के आउटपुट स्कोर पर आधारित एक थ्रेशोल्ड ( $10^{-3}$ ) का उपयोग करता है।
  3. Top-K सिलेक्शन: प्रति श्रेणी शीर्ष 50 फीचर-लेबल पेयर्स को रखता है।
स्टीयरिंग मैकेनिज्म:
- लेखक Templeton et al. (2024) के एक्टिवेशन एडिटिंग दृष्टिकोण का उपयोग करते हैं। इन्फरेंस के दौरान, विशिष्ट फीचर एक्टिवेशन्स ( $z_f$ ) को एक मान $\alpha$ तक क्लैंप किया जाता है। रिकंस्ट्रक्शन एरर को सुरक्षित रखा जाता है, और एडिटेड लेटेंट वेक्टर को डिकोडर के माध्यम से पास किया जाता है।
- मूल्यांकन: विधि का मूल्यांकन AxBench पर किया जाता है, जो जनरेटेड टेक्स्ट को फ्लुएंसी, इंस्ट्रक्शन फॉलोइंग और कॉन्सेप्ट इनकॉर्पोरेशन के आधार पर रेट करता है। लेखक प्रत्येक फीचर-लेबल पेयर के लिए क्रॉस-वैलिडेशन का उपयोग करके व्यक्तिगत रूप से स्टीयरिंग स्ट्रेंथ $\alpha$ को ऑप्टिमाइज़ करते हैं, न कि किसी एक ग्लोबल वैल्यू का उपयोग करते हैं।
एक्सपेरिमेंटल सेटअप:
- मॉडेल्स: प्रयोग Gemma 2 (9B) का उपयोग करके किए गए थे, जिसमें Gemma Scope SAEs (चौड़ाई 131k) को लेयर 17 और 32 में रेसिडुअल स्ट्रीम में डाला गया था।
- बेसलाइन्स: तुलना में "NP रैंडम" बेसलाइन (Neuronpedia लेबल्स के साथ रैंडमली चुने गए फीचर्स) और Wu et al. (2025) का प्रॉम्प्ट स्टीयरिंग बेसलाइन शामिल है।

मुख्य परिणाम

LoRA के साथ प्रदर्शन समानता: जब प्रस्तावित सुपरवाइज्ड पाइपलाइन के माध्यम से फीचर्स को चुना और लेबल किया जाता है, तो SAEs AxBench बेंचमार्क पर स्टीयरिंग प्रदर्शन प्राप्त करते हैं जो LoRA (लो-रैंक एडाप्टेशन) बेसलाइन्स के लगभग बराबर होता है। यह Wu et al. (2025) द्वारा रिपोर्ट किए गए परिणामों से काफी बेहतर है।
कॉज़ल वैलिडिटी (Causal Validity): पाइपलाइन ऐसे फीचर्स चुनती है जो अपने पहचाने गए लेबल्स के आश्चर्यजनक रूप से कॉज़ल (causal) होते हैं। यहाँ तक कि जब "आउटपुट स्कोर" घटक (जो स्टीयरिंग क्षमता का एक प्रॉक्सी है) को सिलेक्शन प्रोसेस से हटा दिया जाता है, तब भी सुपरवाइज्ड लेबलिंग द्वारा चुने गए फीचर्स रैंडम न्यूरोनिपीडिया सिलेक्शन की तुलना में बेहतर स्टीयरिंग प्रदर्शन प्रदर्शित करते हैं।
स्पर्सिटी इंडिपेंडेंस: Wang et al. (2025) के निष्कर्षों के विपरीत, लेखक पाते हैं कि सफल स्टीयरिंग के लिए उच्च स्पर्सिटी (कम $\ell_0$ ) अनिवार्य नहीं है। Gemma Scope मॉडल में लो-और-हाई-स्पर्सिटी दोनों प्रकार के SAEs स्टीयरिंग कार्यों के लिए प्रभावी थे।
प्रॉम्प्टिंग बेसलाइन: हालांकि प्रस्तावित SAE विधि पिछले SAE प्रयासों की तुलना में काफी सुधार करती है, लेखक नोट करते हैं कि सरल प्रॉम्प्टिंग अभी भी एक मजबूत बेसलाइन बनी हुई है, क्योंकि LLMs को स्पष्ट रूप से निर्देशों का पालन करने के लिए प्रशिक्षित किया जाता है।

महत्व और दावे
यह शोध पत्र स्टीयरिंग के लिए SAEs के अप्रभावी होने के दावे के आंशिक खंडन के रूप में कार्य करता है। लेखक तर्क देते हैं कि Wu et al. (2025) के नकारात्मक परिणाम पूर्व-मौजूदा, संभावित रूप से उप-इष्टतम लेबल्स पर निर्भरता और सुपरवाइज्ड फीचर सिलेक्शन की कमी के कारण SAEs को "पूरा न्याय" (full justice) नहीं दे पाए।

प्राथमिक महत्व इस बात को प्रदर्शित करने में है कि:

लेबलिंग महत्वपूर्ण है: SAE फीचर्स को लेबल करने का तरीका महत्वपूर्ण है। कैलिब्रेटेड मेट्रिक्स और सपोर्ट थ्रेशोल्ड का उपयोग करने वाला एक सुपरवाइज्ड दृष्टिकोण ऐसे फीचर्स प्रदान करता है जिनका मॉडल जनरेशन पर वास्तविक कॉज़ल प्रभाव होता है।
SAEs की मजबूती: SAEs पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग विधियों (LoRA) के साथ स्टीयरिंग के लिए प्रतिस्पर्धी हो सकते हैं, जो एक इंटरप्रिटेबिलिटी टूल के रूप में उनकी उपयोगिता को प्रमाणित करता है।
कॉज़ल ग्राउंड ट्रुथ: एक रिसर्च सेटिंग में, सफल फीचर स्टीयरिंग फीचर के लेबल के "ग्राउंड ट्रुथ" की पुष्टि करती है, जो इसे डेटासेट की विसंगतियों (पॉलीसेमेंटिसिटी) के आर्टिफैक्ट से अलग करती है जो कोरिलेशन-आधारित इंटरप्रिटेबिलिटी को गुमराह कर सकते हैं।

लेखक एक विनम्र लहजा बनाए रखते हैं, यह स्वीकार करते हुए कि जबकि SAEs रिसर्च और मॉडल इंटरनल को समझने के लिए शक्तिशाली हैं, प्रॉम्प्टिंग व्यावहारिक अनुप्रयोगों के लिए एक कठिन बेसलाइन बनी हुई है। वे यह भी नोट करते हैं कि फीचर स्टीयरिंग में मॉडल को "कंट्रोल्ड डैमेज" पहुंचाना शामिल है, जो इसे स्टैंडर्ड फाइन-ट्यूनिंग की तुलना में प्रोडक्शन एनवायरनमेंट के लिए कम उपयुक्त बनाता है।