🤖 machine learning

Size Doesn't Matter: Cosine-Scored Sparse Autoencoders

यह शोध पत्र यह तर्क देता है कि स्पार्स ऑटोएन्कोडर्स (sparse autoencoders) में मानक इनर-प्रोडक्ट स्कोरिंग को कोसाइन समानता (cosine similarity) और परिमाण (magnitude) के एक सीखे हुए मिश्रण से बदलने से उच्च-मान (high-norm) वाले टोकन फीचर चयन पर हावी होने से रुक जाते हैं, जिससे सामान्यीकृत निरूपणों (normalized representations) पर अधिक मानव-व्याख्या योग्य अवधारणाओं की खोज सक्षम होती है।

मूल लेखक: Silen Naihin, Lev Stambler

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Silen Naihin, Lev Stambler

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

बड़ी समस्या: "तेज़ आवाज़" की गलती

कल्पना कीजिए कि आप एक भीड़ भरे कमरे में बातचीत समझने की कोशिश कर रहे हैं। आपके पास 65,000 नन्हे जासूसों (जिन्हें फीचर्स कहा जाता है) की एक टीम है जो वक्ताओं को सुन रही है। प्रत्येक जासूस को एक विशिष्ट विचार पहचानने के लिए प्रशिक्षित किया गया है, जैसे कि "राजनीति," "कोडिंग," या "उदासी।"

मानक तरीके में ये जासूस कैसे काम करते हैं (जिसे इनर प्रोडक्ट कहा जाता है), वे दो चीजों के आधार पर उत्साहित होते हैं:

क्या कहा जा रहा है: क्या विषय उनकी विशेषज्ञता से मेल खाता है?
वक्ता कितना ज़ोर से बोल रहा है: क्या वक्ता चिल्ला रहा है या फुसफुसा रहा है?

समस्या यह है कि आधुनिक AI मॉडल में, एक शब्द का "वॉल्यूम" (उसका गणितीय आकार, या नॉर्म) बहुत अधिक बदलता रहता है। कुछ शब्द स्वाभाविक रूप से बहुत बड़े होते हैं, और कुछ बहुत छोटे।

चूंकि मानक जासूस वॉल्यूम (आवाज़) पर भी ध्यान देते हैं, इसलिए एक तेज़ शब्द (जैसे कि एक दुर्लभ, जटिल टोकन) हर जासूस को एक ही समय में चिल्लाने के लिए मजबूर कर देता है कि "मुझे मिल गया!" भले ही विषय उनसे मेल न खाता हो। यह बिल्कुल वैसा ही है जैसे किसी ने आग लगने के कारण नहीं, बल्कि किसी भारी बॉक्स के गिरने के कारण फायर अलार्म बजा दिया हो।

AI मॉडल स्वयं वास्तव में वॉल्यूम की परवाह नहीं करता है; उसे केवल बातचीत की दिशा (अर्थ) की परवाह होती है। लेकिन मानक जासूस वॉल्यूम के बारे में चिल्लाने में अपना समय बर्बाद कर रहे हैं, जिससे उनके पास वास्तविक अर्थ सुनने के लिए कोई जगह नहीं बचती।

समाधान: "कोसाइन" जासूस

लेखक एक नए प्रकार के जासूस का प्रस्ताव देते हैं जो वॉल्यूम को अनदेखा करता है और केवल शब्दों की दिशा (कोण) पर ध्यान देता है। वे इसे कोसाइन स्कोरिंग कहते हैं।

इसे इस तरह समझें:

मानक जासूस: "मैं इसलिए उत्साहित हूँ क्योंकि वक्ता चिल्ला रहा है और वे बिल्लियों के बारे में बात कर रहे हैं!"
कोसाइन जासूस: "मैं केवल इसलिए उत्साहित हूँ क्योंकि वे बिल्लियों के बारे में बात कर रहे हैं। मुझे इस बात से फर्क नहीं पड़ता कि वे फुसफुसा रहे हैं या चिल्ला रहे हैं।"

इसे काम करने के लिए, लेखकों ने एक लचीली प्रणाली बनाई जहाँ जासूस सीख सकता है कि उसे वॉल्यूम की कितनी परवाह करनी चाहिए। उन्होंने जासूसों को एक "वॉल्यूम नॉब" (एक पैरामीटर जिसे $a$ कहा जाता है) दिया।

यदि $a=1$ है, तो वे वॉल्यूम की परवाह करते हैं (पुराना तरीका)।
यदि $a=0$ है, तो वे वॉल्यूम को पूरी तरह से अनदेखा करते हैं (शुद्ध कोसाइन)।

क्या हुआ जब उन्होंने इसे आज़माया?

लेखकों ने इन नए जासूसों को एक विशाल भाषा मॉडल (Qwen3-8B) पर प्रशिक्षित किया और पुराने जासूसों के साथ तुलना की। उन्हें यह पता चला:

1. "वॉल्यूम नॉब" नीचे कर दिया गया
भले ही जासूसों को वॉल्यूम की परवाह करने की अनुमति दी गई थी, लेकिन प्रशिक्षण प्रक्रिया ने वॉल्यूम नॉब को स्वचालित रूप से लगभग शून्य तक नीचे कर दिया। सिस्टम ने सीखा कि दिशा ही मायने रखती है, और वॉल्यूम केवल शोर है। किसी भी अकेले जासूस ने कभी भी वॉल्यूम की 50% से अधिक परवाह करने का निर्णय नहीं लिया।

2. वास्तविक विचारों को खोजने में बेहतर
जब परीक्षण किया गया कि क्या जासूस मानव अवधारणाओं (जैसे "प्रोग्रामिंग" या "भूगोल") को पहचान सकते हैं, तो नए कोसाइन जासूस पुराने वाले की तुलना में 14.9% बेहतर थे।

पुराना तरीका: कई जासूस "वॉल्यूम डिटेक्टर" थे। वे केवल तब सक्रिय होते थे जब कोई शब्द तेज़ होता था, चाहे उस शब्द का अर्थ कुछ भी हो। उन्होंने अपने स्लॉट्स बर्बाद किए।
नया तरीका: क्योंकि उन्होंने वॉल्यूम के बारे में चिल्लाना बंद कर दिया, इसलिए उनके पास वास्तविक अवधारणाओं को खोजने के लिए जगह बन गई। उन्होंने अपने "डिक्शनरी" को केवल शोर के बजाय उपयोगी विचारों से भर दिया।

3. "हाई-नॉर्म" का जाल
पेपर में पाया गया कि पुराना सिस्टम "तेज़" शब्दों (हाई-नॉर्म टोकन) को संभालने में बहुत खराब था। जब एक तेज़ शब्द आता था, तो पुराना सिस्टम वाक्य को वास्तविकता से 9.5 गुना अधिक वॉल्यूम के साथ फिर से बनाता था, जिससे मॉडल की समझ प्रभावी रूप से टूट जाती थी। नया सिस्टम इन तेज़ शब्दों को पूरी तरह से संभालता है, जिससे वॉल्यूम वास्तविक बना रहता है।

4. यह केवल "अधिक डेटा" के बारे में नहीं है
लेखकों ने साबित किया कि यह केवल इसलिए नहीं था क्योंकि नया सिस्टम बड़ा था या इसे लंबे समय तक प्रशिक्षित किया गया था। भले ही उन्होंने पुराने सिस्टम को तीन गुना अधिक जासूस दिए, फिर भी वह अच्छे विचार खोजने में विफल रहा क्योंकि उसका "स्कोरिंग नियम" टूटा हुआ था। समस्या उनके काम करने के तरीके की ज्यामिति (geometry) में थी, न कि उनकी क्षमता में।

मुख्य निष्कर्ष (The Bottom Line)

यह पेपर तर्क देता है कि जो AI मॉडल एक विशिष्ट प्रकार के नॉर्मलाइजेशन (जिसे RMSNorm कहा जाता है) का उपयोग करते हैं, उनके लिए फीचर्स का मानक तरीका दोषपूर्ण है क्योंकि यह लौडनेस (तेज़ी) और मीनिंग (अर्थ) के बीच भ्रम पैदा करता है।

कोसाइन स्कोर (जो संरेखण मापता है न कि परिमाण) पर स्विच करके, हमें फीचर्स का एक ऐसा डिक्शनरी मिलता है जो:

मॉडल की पुनर्निर्माण गुणवत्ता (reconstruction quality) से मेल खाता है (यह मॉडल को तोड़ता नहीं है)।
मानव द्वारा पहचाने जाने योग्य अवधारणाओं को बहुत अधिक बार पाता है।
"वॉल्यूम डिटेक्टर" के रूप में जगह बर्बाद करना बंद करता है।

लेखक निष्कर्ष निकालते हैं कि किसी भी AI मॉडल के लिए जो इन नॉर्मलाइज्ड रिप्रेजेंटेशन का उपयोग करते हैं, कोसाइन स्कोरिंग को डिफॉल्ट सेटिंग होना चाहिए, क्योंकि यह डिक्शनरी लर्निंग को उस चीज़ के साथ संरेखित करता है जिसे मॉडल वास्तव में "पढ़ता" है।

तकनीकी सारांश: आकार मायने नहीं रखता: कोसाइन-स्कोर वाले स्पार्स ऑटोएनकोडर (Cosine-Scored Sparse Autoencoders)

1. समस्या विवरण (Problem Statement)

स्पार्स ऑटोएनकोडर (SAEs) मैकेनिकल इंटरप्रिटेबिलिटी (mechanistic interpretability) के लिए मानक उपकरण हैं, जिन्हें मॉडल एक्टिवेशन को मानव-व्याख्या योग्य फीचर्स के डिक्शनरी में विघटित करने के लिए डिज़ाइन किया गया है। मानक SAEs एक इनर प्रोडक्ट स्कोर, $\langle w_i, x \rangle$ , के माध्यम से फीचर्स का पता लगाते हैं, जो इनपुट $x$ के दिशात्मक संरेखण (directional alignment) और इनपुट के परिमाण (magnitude) $\|x\|$ दोनों के साथ स्केल होता है।

यह स्कोरिंग ज्योमेट्री आधुनिक ट्रांसफार्मर आर्किटेक्चर के साथ मौलिक रूप से असंगत है जो प्री-सबलेयर नॉर्मलाइजेशन (विशेष रूप से RMSNorm) का उपयोग करते हैं। इन मॉडलों में, सबलेयर $x/\|x\|$ जैसे नॉर्मलाइज्ड एक्टिवेशन को पढ़ता है, जिससे कंप्यूटेशन से पहले ही परिमाण की जानकारी हटा दी जाती है। हालांकि, रेसिडुअल स्ट्रीम पर हुक किया गया SAE एनकोडर अभी भी पूर्ण परिमाण को देखता है। परिणामस्वरूप, इनर-प्रोडक्ट स्कोर कंटेंट संरेखण और टोकन नॉर्म (token norm) के बीच भ्रम पैदा करता है।

BatchTopK चयन (मानक स्पर्सिटी मैकेनिज्म) के तहत, यह मिसमैच एक घातक चयन दबाव (pathological selection pressure) बनाता है: हाई-नॉर्म टोकन सभी फीचर्स के लिए प्री-एक्टिवेशंस को एक साथ बढ़ा देते हैं, चाहे उनकी दिशात्मक संरेखण कुछ भी हो। ये टोकन डिक्शनरी स्लॉट्स पर अनुचित रूप से कब्जा कर लेते हैं, जिससे SAE "नॉर्म डिटेक्टर्स" (ऐसे फीचर्स जो टोकन मैग्नीट्यूड के आधार पर फायर होते हैं) सीखने लगता है, न कि "कंटेंट डिटेक्टर्स"। इसके परिणामस्वरूप ऐसे फीचर्स से भरा डिक्शनरी बनता है जो उस मात्रा को एनकोड करते हैं जिसे मॉडल स्वयं अनदेखा करता है, जिससे स्पार्स प्रोबिंग, फीचर स्टीयरिंग और सर्किट विश्लेषण की विश्वसनीयता कम हो जाती है।

2. कार्यप्रणाली (Methodology)

लेखक मानक इनर-प्रोडक्ट एनकोडर स्कोर के स्थान पर एक लर्नड-एक्सपोनेंट कोसाइन स्कोर (learned-exponent cosine score) प्रस्तावित करते हैं। नया प्री-एक्टिवेशन $s_i(x)$ इस प्रकार परिभाषित है:

$s_i(x) = e^b \|x_c\|^a \cdot \cos(x_c, w_i) + b_{enc,i}$

जहाँ:

$x_c = x - b_{dec}$ डिकोडर बायस पर केंद्रित इनपुट है।
$w_i$ यूनिट-नॉर्मलाइज्ड एनकोडर रोज़ (rows) हैं।
$a$ एक लर्नड एक्सपोनेंट है जो इनपुट मैग्नीड्यूट पर निर्भरता को नियंत्रित करता है।
$b$ एक लर्नड स्केल पैरामीटर है।
पद $e^b \|x_c\|^a$ प्योर कोसाइन सिमिलरिटी ( $a=0$ ) और इनर प्रोडक्ट ( $a=1$ ) के बीच इंटरपोलेट करता है।

लेखक दो पैरामीटर रिजीम की जांच करते हैं:

ग्लोबल $a$ : एक एकल स्केलर एक्सपोनेंट जो सभी फीचर्स के लिए साझा है।
पर-फीचर $a_i$ : एक विस्तार जहाँ प्रत्येक फीचर अपना स्वयं का एक्सपोनेंट सीखता है ( $a_i = a_{base} + \delta_i$ ), जो नॉर्म निर्भरता में विषमता (heterogeneity) की अनुमति देता है।

मुख्य डिज़ाइन विकल्प:

यूनिट नॉर्मलाइजेशन: यह सुनिश्चित करने के लिए कि जब $a=0$ हो तो स्कोर एक वास्तविक कोसाइन सिमिलरिटी हो, हर फॉरवर्ड पास में एनकोडर रोज़ को यूनिट-नॉर्मलाइज्ड किया जाता है।
इनिशियलाइजेशन: $a$ को 0 (प्योर कोसाइन) और $b$ को $\log \sqrt{d_{model}}$ के रूप में इनिशियलाइज किया गया है।
स्थिरता (Stability): "विनर-टेक-ऑल" कैस्केड (जहाँ थोड़े अधिक शुरुआती ग्रेडिएंट वाले फीचर्स अपने एक्सपोनेंट्स बढ़ाकर हाई-नॉर्म टोकन पर हावी हो जाते हैं) को रोकने के लिए, पर-फीचर वेरिएंट एक बेस+डेल्टा पैरामीट्राइजेशन ( $a_i = a_{base} + \delta_i$ ) का उपयोग करता है। यह ग्लोबल स्केल को एंकर करता है जबकि व्यक्तिगत फीचर ऑफसेट्स की अनुमति देता है।

3. मुख्य योगदान (Key Contributions)

आर्किटेक्चर

यह पेपर कोसाइन-स्क्वर्ड SAEs पेश करता है, जो मानक एनकोडर का एक ड्रॉप-इन रिप्लेसमेंट है जो फीचर डिटेक्शन के लिए मैग्नीट्यूट को उपयोगी सिग्नल मानने के डिफ़ॉल्ट अनुमान को हटा देता है। $a$ के रूप में इनपुट मैग्नीट्यूट डिपेंडेंस एक्सपोनेंट को सीखने की अनुमति देकर, यह आर्किटेक्चर इनर प्रोडक्ट को रिकवर कर सकता है यदि मैग्नीट्यूट वास्तव में उपयोगी है, अन्यथा यह केवल दिशा-आधारित स्कोरिंग पर डिफॉल्ट करता है।

अनुभवजन्य परिणाम (Empirical Results)

Qwen3-8B (लेयर 18, 500M टोकन) और Gemma-2-2B पर प्रयोगों से पता चलता है कि कोसाइन-स्क्वर्ड SAEs प्राप्त करते हैं:

मैच्ड रिकंस्ट्रक्शन: फ्रैक्शन ऑफ वेरिएंस एग्क्प्लैन्ड (FVE) और मॉडल-बिहेवियर प्रिजर्वेशन (KL/CE स्कोर) मानक SAEs के सांख्यिकीय रूप से अविभेदनीय हैं।
महत्वपूर्ण व्याख्यात्मक लाभ: मैच किए गए रिकंस्ट्रक्शन पर, पर-फीचर कोसाइन वेरिएंट आठ SAEBench डेटासेट्स पर स्पार्स-प्रोबिंग टॉप-1 सटीकता में +14.9% का सुधार करता है।
फीचर डिस्कवरी: यह सुधार साझा फीचर्स के बेहतर एनकोडिंग के कारण नहीं है, बल्कि नए, व्याख्या योग्य फीचर्स की खोज के कारण है। मानक SAEs इन फीचर्स को सीखने में विफल रहते हैं क्योंकि उनके डिक्शनरी स्लॉट्स 'नॉर्म डिटेक्टर्स' द्वारा घेरे जाते हैं।
लर्न्ड ज्योमेट्री: ट्रेनिंग लगातार $a$ को शून्य की ओर ले जाती है। ग्लोबल रिजीम में, $a \approx 0.26$ ; पर-फीचर रिजीम में, औसत $a_i \approx 0.08$ है। कोई भी फीचर इनर-प्रोडक्ट लिमिट ( $a=1$ ) के करीब नहीं पहुँचता, जो पुष्टि करता है कि दिशा, न कि मैग्नीट्यूट, उपयोगी सिग्नल है।

मैकेनिज्म आइडेंटिफिकेशन (Mechanism Identification)

पेपर मानक SAE के नॉर्म इन्फ्लेशन के तहत फॉरवर्ड-पास टॉप-के (TopK) चयन की विफलता को अलग करता है।

ग्रेडिएंट रीवेटिंग विफल रहता है: मानक SAE में ग्रेडिएंट मैग्नीट्यूड को नॉर्म चतुर्थक (quartiles) के बीच समान बनाने के प्रयास (लॉस रीवेटिंग के माध्यम से) प्रदर्शन अंतर का केवल 1.9–6.8% ही कम कर पाते हैं। यह पुष्टि करता है कि समस्या सिलेक्शन ज्योमेट्री (कौन से फीचर्स टॉप-के प्रतियोगिता में जीतते हैं) है, न कि बैकवर्ड-पास ग्रेडिएंट फ्लो।
नॉर्म-कंडीशंड फीचर्स: मानक SAEs अपनी क्षमता का अधिकांश हिस्सा उन फीचर्स को आवंटित करते हैं जो हाई-नॉर्म टोकन पर अत्यधिक फायर होते हैं (टॉप चतुर्थक में 86% एक्टिवेशन)। ये फीचर्स मैग्नीट्यूट को एनकोड करते हैं, कंटेंट को नहीं।
रिकंस्ट्रक्शन पैथोलॉजी: हाई-नॉर्म टोकन पर, मानक SAEs इनपुट के मुकाबले 9.5 $\times$ बड़ा आउटपुट नॉर्म रिकंस्ट्रक्ट करते हैं, जबकि कोसाइन SAEs 1 $\times$ का अनुपात बनाए रखते हैं, जो मॉडल के वास्तविक रीडआउट के अनुरूप है।

4. महत्व और दावे (Significance and Claims)

पेपर का तर्क है कि नॉर्मलाइज्ड रिप्रेजेंटेशन पर डिक्शनरी लर्निंग के लिए कोसाइन स्कोरिंग डिफ़ॉल्ट होनी चाहिए। पहचाना गया फेल मोड—जहाँ इनर-प्रोडक्ट SAEs व्यवस्थित रूप से कंटेंट फीचर्स की गिनती कम करते हैं और नॉर्म डिटेक्टर्स को प्राथमिकता देते हैं—संभवतः किसी भी SAE को प्रभावित करता है जो पोस्ट-RMSNorm साइट्स पर प्रशिक्षित है।

व्यावहारिक प्रभाव: प्रस्तावित परिवर्तन एक न्यूनतम आर्किटेक्चरल संशोधन (एक या दो स्केलर पैरामीटर्स जोड़ना) है जो बिना किसी रिकंस्ट्रक्शन लागत के अधिक व्याख्या योग्य डिक्शनरी प्रदान करता है।
दायरा और सीमाएं:
- इसका लाभ RMSNorm के तहत सबसे अधिक स्पष्ट है। LayerNorm मॉडल्स (जैसे Pythia, Falcon) पर, गहरा होने पर लाभ कम हो जाता है या गायब हो जाता है, जो यह सुझाव देता है कि LayerNorm का मीन सबट्रैक्शन उस संरचना को सुरक्षित रखता है जिसका इनर-प्रोडक्ट स्कोरिंग फायदा उठा सकती है।
- Sentiment एकमात्र ऐसा कार्य है जहाँ मानक SAE को कोसाइन वेरिएंट से बेहतर प्रदर्शन मिलता है, जो इस परिकल्पना के अनुरूप है कि सेंटीमेंट एनालिसिस में मैग्नीट्यूट टास्क-रेलेवेंट सिग्नल ले जाता है।
- परिणाम विभिन्न लेयर्स और मॉडल्स में मजबूत हैं लेकिन सार्वभौमिक नहीं हैं; लाभ का परिमाण मॉडल डायमेंशन और डेप्थ के साथ बदलता है।

लेखक निष्कर्ष निकालते हैं कि "आकार मायने नहीं रखता" (size doesn't matter) का सिद्धांत लागू होता है: नॉर्मलाइज्ड रिप्रेजेंटेशन के लिए, एक्टिवेशन का मैग्नीट्यूट फीचर डिटेक्शन के लिए शोर (noise) है, और फीचर रिकवरी के लिए सार्थक, मानव-पहचान योग्य अवधारणाओं को प्राप्त करने हेतु एनकोडर स्कोर ज्योमेट्री को इसे प्रतिबिंबित करना चाहिए।