💬 NLP

Temporal Sparse Autoencoders: Leveraging the Sequential Nature of Language for Interpretability

यह शोध पत्र टेम्पोरल स्पार्स ऑटोएनकोडर (T-SAEs) प्रस्तुत करता है, जो एक नवीन विधि है जो स्पष्ट सिमेंटिक सुपरविजन की आवश्यकता के बिना, कंट्रास्टिव लॉस के माध्यम से भाषा की अनुक्रमिक प्रकृति का लाभ उठाकर भाषा मॉडलों में अधिक सुचारू, सुसंगत और मानव-व्याख्या योग्य सिमेंटिक फीचर्स को खोजने का कार्य करती है।

मूल लेखक: Usha Bhalla, Alex Oesterling, Claudio Mayrink Verdun, Himabindu Lakkaraju, Flavio P. Calmon

प्रकाशित 2026-02-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Usha Bhalla, Alex Oesterling, Claudio Mayrink Verdun, Himabindu Lakkaraju, Flavio P. Calmon

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जो कहानियाँ लिखता है, सवालों के जवाब देता है और समस्याओं को हल करता है। यह रोबोट एक लार्ज लैंग्वेज मॉडल (LLM) है। लेकिन यहाँ एक पेंच है: अपने दिमाग के अंदर, यह "बिल्ली" या "लोकतंत्र" जैसे शब्दों में नहीं सोचता। इसके बजाय, यह संख्याओं के विशाल, अव्यवस्थित बादलों में सोचता है जिन्हें वेक्टर्स (vectors) कहा जाता है।

लंबे समय से, वैज्ञानिक रोबोट के दिमाग को खोलने और उन संख्या बादलों को मानवीय विचारों में अनुवाद करने की कोशिश कर रहे हैं। वे एक उपकरण का उपयोग करते हैं जिसे स्पार्स ऑटोएनकोडर (Sparse Autoencoder - SAE) कहा जाता है। एक SAE को एक अनुवादक के रूप में समझें जो रोबोट के अव्यवस्थित संख्या बादलों को व्यवस्थित, लेबल किए गए बक्सों में छाँटने की कोशिश करता है।

समस्या: अनुवादक बहुत शोर वाला (Noisy) है

समस्या यह है कि पुराने अनुवादक (मानक SAE) कहानी को समझने में बहुत खराब हैं। वे व्याकरण (Gramma) के प्रति जुनूनी हैं।

कल्पना कीजिए कि आप क्वांटम फिजिक्स पर एक व्याख्यान सुन रहे हैं।

पुराना अनुवादक (मानक SAE): यह चिल्लाता रहता है, "मुझे 'The' शब्द सुनाई दे रहा है!" फिर "मुझे एक पूर्ण विराम (period) सुनाई दे रहा है!" फिर "मुझे एक बड़ा अक्षर (capital letter) सुनाई दे रहा है!" यह विराम चिह्नों और विशिष्ट शब्दों के बारे में इतना उत्साहित हो जाता है कि यह मुख्य बात को पूरी तरह से मिस कर देता है: यह भौतिक विज्ञान (physics) पर एक व्याख्यान है।
परिणाम: अनुवादक आपको "वाक्य की शुरुआत," "बहुवचन संज्ञा," या "'the' शब्द" जैसे 1,000 छोटे, शोर वाले बक्सों की सूची देता है। यह एक फिल्म को केवल स्क्रीन पर मौजूद व्यक्तिगत पिक्सेल को देखकर समझने की कोशिश करने जैसा है। आप रंग तो देखते हैं, लेकिन आप कथानक (plot) नहीं देख पाते।

अंतर्दृष्टि: भाषा एक नदी की तरह बहती है

इस शोध पत्र के लेखक, उषा भल्ला और उनकी टीम ने महसूस किया कि एक चीज़ जो स्पष्ट थी लेकिन अनदेखी कर दी गई थी: भाषा की एक लय होती है।

यदि आप क्वांटम फिजिक्स के बारे में बात कर रहे हैं, तो वह विषय पूरे पैराग्राफ के दौरान एक समान रहता है। यह हर बार नहीं बदलता जब आप एक नया शब्द बोलते हैं।

सिमेंटिक्स (अर्थ/Meaning): सुचारू और स्थिर। एक बहती हुई नदी की तरह।
सिंटैक्स (व्याकरण/Syntax): उछल-कूद वाला और स्थानीय। पानी की सतह पर उठने वाली लहरों की तरह।

पुराने अनुवादकों ने हर शब्द को एक नई, अलग घटना के रूप में माना। उन्होंने इस तथ्य को नजरअंदाज कर दिया कि एक वाक्य का अर्थ आमतौर पर कुछ समय तक बना रहता है।

समाधान: टेम्पोरल स्पार्स ऑटोएनकोडर्स (T-SAEs)

टीम ने एक नया अनुवादक बनाया जिसे टेम्पोरल स्पार्स ऑटोएनकोडर्स (Temporal Sparse Autoencoders - T-SAEs) कहा जाता है।

T-SAEs को एक ऐसे अनुवादक के रूप में सोचें जो व्याकरण के लिए नॉइज़-कैंसलिंग हेडफ़ोन पहनता है और बड़ी तस्वीर (big picture) के लिए सुपर-विज़न रखता है।

यह कैसे काम करता है, एक सरल उपमा का उपयोग करते हुए:

"चिपकने" का नियम (The "Sticky" Rule): नए अनुवादक के पास एक नियम है: "यदि आप शब्द #1 पर 'फिजिक्स' के बारे में बात कर रहे हैं, तो आपको संभवतः शब्द #2, #3 और #4 पर भी 'फिजिक्स' के बारे में ही बात करनी चाहिए।"
विरोध (The Contrast): यह खुद को दंडित करता है यदि वह एक शब्द के लिए "फिजिक्स" के बारे में उत्साहित होता है और फिर तुरंत अगले शब्द के लिए उसे भूल जाता है। यह "फिजिक्स" वाले बॉक्स को पूरे पैराग्राफ के लिए जलते रहने के लिए मजबूर करता है।
पृथक्करण (The Separation): क्योंकि यह "अर्थ" वाले बक्सों को स्थिर रखने के लिए मजबूर करता है, इसलिए "व्याकरण" वाले बक्से (जैसे "पूर्ण विराम" या "बड़े अक्षर") स्वतंत्र रूप से इधर-उधर जाने के लिए मुक्त होते हैं।

जब हम इसका उपयोग करते हैं तो क्या होता है?

इसके परिणाम जादू की तरह हैं।

पहले (पुराना SAE): आप न्यूटन के प्रिंसिपिया (भौतिकी) के बारे में एक टेक्स्ट पढ़ते समय रोबोट के दिमाग को देखते हैं। अनुवादक आपको चमकती रोशनी का एक अराजक ढेर दिखाता है: "The," "Period," "Capital T," "Noun।" यह समझना असंभव है कि रोबोट क्या सोच रहा है।
बाद में (T-SAE): आप उसी टेक्स्ट को देखते हैं। अब, आप एक बड़ी, स्थिर, चमकती हुई रोशनी देखते हैं जिस पर "वैज्ञानिक स्पष्टीकरण" या "भौतिकी" लिखा है। यह पूरे समय चालू रहती है। फिर, यदि टेक्स्ट एक बाइबल की कहानी में बदल जाता है, तो वह रोशनी धीमी हो जाती है, और एक नई, स्थिर रोशनी "आध्यात्मिक उपासना" चमकने लगती है।

अनुवादक अंततः संदर्भ (context) को समझता है। यह आपको बता सकता है, "आह, अभी रोबोट जीव विज्ञान के बारे में सोच रहा है," भले ही विशिष्ट शब्द वाक्य दर वाक्य बदलते रहें।

यह क्यों मायने रखता है?

यह केवल सुंदर चार्ट बनाने के बारे में नहीं है। यह इस बारे में है कि हम AI को कैसे नियंत्रित और विश्वसनीय बना सकते हैं।

सुरक्षा (Safety): यदि आप चाहते हैं कि कोई AI बुरा व्यवहार न करे, तो पहले आपको विशिष्ट "बुरे" शब्दों को खोजना पड़ता था। अब, आप "बुरे इरादे" (Mean Intent) वाले बॉक्स को खोज सकते हैं और उसे बंद कर सकते हैं। यह थर्मोस्टेट पर "गुस्से" के स्विच को बंद करने जैसा है, बजाय इसके कि आप रोबोट द्वारा कहे जाने वाले हर एक गुस्से वाले शब्द को रोकने की कोशिश करें।
स्टीयरिंग (Steering): आप AI को एक विशिष्ट शैली में लिखने के लिए निर्देशित कर सकते हैं (जैसे "एक 1920 के दशक का जासूसी उपन्यास") "जासूसी शैली" वाले बॉक्स को धीरे से धकेल कर। क्योंकि यह बॉक्स सुचारू और स्थिर है, AI पूरी कहानी के दौरान चरित्र में बना रहता है, बजाय इसके कि वह हर कुछ शब्दों के बाद अपनी भूमिका से भटक जाए।

मुख्य निष्कर्ष (The Bottom Line)

लेखकों ने महसूस किया कि किसी इंसान (या रोबोट) को समझने के लिए, आप केवल व्यक्तिगत ईंटों (शब्दों) को नहीं देख सकते; आपको पूरी दीवार (कहानी) को देखना होगा।

AI के अनुवादक को समय के प्रवाह (flow of time) और अर्थ की स्थिरता (stability of meaning) का सम्मान करना सिखाकर, उन्होंने रोबोट के विचारों को स्पष्ट रूप से देखने का एक तरीका खोल दिया है। यह एक फिल्म को कालदर्शी (kaleidoscope) के माध्यम से देखने और उसे हाई डेफिनिशन (high definition) में देखने के बीच का अंतर है।

यहाँ शोध पत्र "Temporal Sparse Autoencoders: Leveraging the Sequential Nature of Language for Interpretability" (ICLR 2026) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) की व्याख्या करने वाली वर्तमान विधियाँ, विशेष रूप से स्पार्स ऑटोएनकोडर्स (SAEs), एक गंभीर सीमा का सामना करती हैं: वे मुख्य रूप से टोकन-विशिष्ट, शोरयुक्त और वाक्यात्मक (syntactic) विशेषताओं (जैसे, "वाक्य की शुरुआत में 'the' शब्द" या "वाक्य के अंत") को रिकवर करती हैं, न कि सुसंगत, उच्च-स्तरीय अर्थ संबंधी अवधारणाओं (semantic concepts) को।

लेखकों का तर्क है कि यह विफलता मौजूदा SAEs के एक मौलिक डिज़ाइन दोष से उत्पन्न होती है: वे टोकन को स्वतंत्र और समान रूप से वितरित (i.i.d.) डेटा पॉइंट्स के रूप में मानते हैं, जिससे भाषा की कालिक संरचना (temporal structure) की अनदेखी होती है। प्राकृतिक भाषा में, अर्थ संबंधी सामग्री (इरादा, विषय, संदर्भ) अनुक्रमों (sequences) में सुचारू रूप से विकसित होती है, जबकि वाक्यात्मक विशेषताएँ अक्सर स्थानीय होती हैं और तेजी से बदलती हैं। इस कालिक निरंतरता (temporal continuity) की उपेक्षा करके, मानक SAEs अर्थ संबंधी चरों (semantic variables) को वाक्यात्मक शोर (syntactic noise) से अलग करने में विफल रहते हैं।

2. कार्यप्रणाली: टेम्पोरल स्पार्स ऑटोएनकोडर्स (T-SAEs)

लेखक टेम्पोरल स्पार्स ऑटोएनकोडर्स (T-SAEs) प्रस्तावित करते हैं, जो एक मानक SAE आर्किटेक्चर में किया गया संशोधन है जो भाषा की क्रमिक प्रकृति को स्पष्ट रूप से मॉडल करता है।

A. सैद्धांतिक ढांचा (Theoretical Framework)

लेखक दो प्रकार के लेटेंट वेरिएबल्स का उपयोग करके भाषा निर्माण को औपचारिक रूप देते हैं:

उच्च-स्तरीय चर ( $h_t$ ): समय-अपरिवर्तनीय विशेषताएँ जो अर्थ (semantics), इरादे (intent) और संदर्भ (context) का प्रतिनिधित्व करती हैं। इन्हें एक अनुक्रम में आस-पास के टोकनों में स्थिर रहना चाहिए।
निम्न-स्तरीय चर ( $l_t$ ): समय-परिवर्तनीय विशेषताएँ जो वाक्य रचना (syntax), विशिष्ट शब्द चयन और स्थानीय निर्भरताओं का प्रतिनिधित्व करती हैं। ये तेजी से उतार-चढ़ाव करती हैं।

मॉडल यह मानता है कि लैंग्वेज मॉडल का लेटेंट रिप्रेजेंटेशन $x_t$ इन चरों का एक प्रतिवर्ती मानचित्र (invertible mapping) है: $x_t = g(h_t, l_t)$ ।

B. आर्किटेक्चर और लॉस फंक्शन (Architecture and Loss Function)

T-SAEs फीचर स्पेस को दो अलग-अलग सेटों में विभाजित करते हैं:

उच्च-स्तरीय विशेषताएँ ( $f_{0:h}$ ): जिनका उद्देश्य अर्थ संबंधी/संदर्भात्मक जानकारी को कैप्चर करना है।
निम्न-स्तरीय विशेषताएँ ( $f_{h:m}$ ): जिनका उद्देश्य वाक्यात्मक/अवशिष्ट (residual) जानकारी को कैप्चर करना है।

प्रशिक्षण उद्देश्य एक रिकंस्ट्रक्शन लॉस और एक नवीन टेम्पोरल कॉन्ट्रास्टिव लॉस (Temporal Contrastive Loss) को जोड़ता है:

पदानुक्रमित रिकंस्ट्रक्शन लॉस ( $L_{matr}$ ):
- उच्च-स्तरीय विशेषताएँ एक छोटे एरर $\epsilon$ तक इनपुट $x_t$ को रिकंस्ट्रक्ट करती हैं।
- निम्न-स्तरीय विशेषताएँ अवशिष्ट (इनपुट $x_t$ और उच्च-स्तरीय रिकंस्ट्रक्शन के बीच का अंतर) को रिकंस्ट्रक्ट करती हैं।
- यह एक Matryoshka SAE संरचना की नकल करता है लेकिन एक विशिष्ट अर्थ/वाक्य रचना विभाजन को लागू करता है।
टेम्पोरल कॉन्ट्रास्टिव लॉस ( $L_{contr}$ ):
- यह मुख्य नवाचार है। यह आस-पास के टोकनों ( $z_t$ और $z_{t-1}$ ) की उच्च-स्तरीय विशेषताओं को समान (उच्च कोसाइन सिमिलैरिटी) होने के लिए प्रोत्साहित करता है।
- साथ ही, यह अलग-अलग अनुक्रमों के टोकनों के बीच समानता को दंडित करता है (नेगेटिव सैंपलिंग) ताकि "स्मूथनेस कोलैप्स" (जहाँ सभी विशेषताएँ स्थिर हो जाती हैं) को रोका जा सके।
- फॉर्मूला:
  $L_{contr} = -\frac{1}{N} \sum_{i=1}^N \log \frac{\exp(s(z^{(i)}_t, z^{(i)}_{t-1}))}{\sum_{j=1}^N \exp(s(z^{(i)}_t, z^{(j)}_{t-1}))} - \dots$
  (जहाँ $s$ कोसाइन सिमिलैरिटी है और $N$ बैच साइज है)।
कुल लॉस (Total Loss): $L = \sum L_{matr} + \alpha L_{contr}$ ।

3. प्रमुख योगदान (Key Contributions)

डेटा-जनरेटिंग प्रोसेस का औपचारिकीकरण: यह पेपर टेम्पोरली सुसंगत अर्थ संबंधी चरों और स्थानीय वाक्यात्मक चरों के बीच अंतर करने वाला एक ढांचा पेश करता है, जो एक सैद्धांतिक आधार प्रदान करता है कि मानक SAEs अर्थपूर्ण अवधारणाओं को कैप्चर करने में क्यों विफल रहते हैं।
T-SAE आर्किटेक्चर: एक नवीन SAE वेरिएंट जो फीचर्स को विभाजित करता है और उच्च-स्तरीय विशेषताओं पर कालिक निरंतरता (temporal consistency) लागू करने के लिए कॉन्ट्रास्टिव लॉस का उपयोग करता है, जिससे अर्थ और वाक्य रचना का स्व-पर्यवेक्षित पृथक्करण (self-supervised disentanglement) संभव होता है।
अनुभवजन्य सत्यापन (Empirical Validation): कई मॉडल्स (Pythia-160m, Gemma2-2b) और डेटासेट्स (MMLU, Wikipedia, FineFineWeb) पर प्रदर्शित किया गया कि T-SAEs रिकंस्ट्रक्शन क्वालिटी से समझौता किए बिना अधिक सुचारू, सुसंगत अर्थ संबंधी अवधारणाओं को रिकवर करते हैं।
व्यावहारिक उपयोगिता: दिखाया गया कि T-SAEs डाउनस्ट्रीम कार्यों जैसे सेफ्टी मॉनिटरिंग (RLHF डेटा में स्प्यूरियस कोरिलेशन का पता लगाना) और मॉडल स्टीयरिंग (टोकन पुनरावृत्ति या असंगतता पैदा किए बिना मॉडल व्यवहार को अर्थपूर्ण रूप से निर्देशित करना) के लिए बेहतर हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

A. फीचर डिसेंटैंगलमेंट और प्रोबिंग (Feature Disentanglement and Probing)

अर्थ संबंधी रिकवरी: MMLU पर प्रोबिंग प्रयोग दिखाते हैं कि T-SAE की उच्च-स्तरीय विशेषताएँ बेसलाइन (BatchTopK) और Matryoshka SAEs की तुलना में प्रश्न श्रेणियों (अर्थ) और सीक्वेंस आईडी (संदर्भ) की भविष्यवाणी करने में काफी अधिक सटीकता प्राप्त करती हैं।
वाक्यात्मक विशेषज्ञता (Syntactic Specialization): T-SAE की निम्न-स्तरीय विशेषताएँ प्रभावी ढंग से वाक्यात्मक जानकारी (Part-of-Speech) को कैप्चर करती हैं, जबकि उच्च-स्तरीय विशेषताएँ काफी हद तक वाक्य रचना के प्रति असंवेदनशील रहती हैं। इसके विपरीत, Matryoshka SAEs इन दोनों को अलग करने में विफल रहते हैं, जहाँ उच्च-स्तरीय विशेषताएँ अभी भी भारी मात्रा में वाक्य रचना को एनकोड करती हैं।
विज़ुअलाइज़ेशन: t-SNE प्लॉट्स दिखाते हैं कि T-SAE उच्च-स्तरीय विशेषताएँ विषय (जैसे, "यूरोपीय इतिहास" बनाम "चिकित्सा") के आधार पर स्पष्ट रूप से क्लस्टर करती हैं, जबकि बेसलाइन विशेषताएँ शोरयुक्त और टोकन-निर्भर होती हैं।

B. टेम्पोरल कंसिस्टेंसी मेट्रिक्स (Temporal Consistency Metrics)

स्मूथनेस (Smoothness): T-SAE उच्च-स्तरीय विशेषताएँ बेसलाइन्स की तुलना में काफी कम "स्मूथनेस स्कोर" (टोकनों के बीच कम उतार-चढ़ाव) प्रदर्शित करती हैं।
रिकंस्ट्रक्शन क्वालिटी: T-SAEs मानक मेट्रिक्स पर प्रतिस्पर्धी प्रदर्शन बनाए रखते हैं: फ्रैक्शन ऑफ वेरिएंस एक्स्प्लेन्ड (FVE), कोसाइन सिमिलैरिटी, और फ्रैक्शन ऑफ अलाइव फीचर्स, Matryoshka और BatchTopK SAEs के तुलनीय हैं।
ऑटो-इंटरप्रिटेबिलिटी: ऑटोमेटेड इंटरप्रिटेशन स्कोर (LLM जजों का उपयोग करके) उच्च बने रहते हैं, जो इंगित करता है कि विशेषताएँ मानव-व्याख्या योग्य (human-interpretable) हैं।

C. केस स्टडीज (Case Studies)

डेटासेट समझ (HH-RLHF):
- T-SAEs ने रिजेक्टेड (rejected) प्रतिक्रियाओं में सुरक्षा-संबंधित विशेषताओं (जैसे, "अपराध," "हिंसा") की पहचान की।
- महत्वपूर्ण रूप से, T-SAEs ने स्प्यूरियस कोरिलेशन (जैसे, "कानूनी/औपचारिक भाषा" और "ट्रांजिशन वर्ड्स") का भी पता लगाया जो डेटासेट की लंबाई (रिजेक्टेड उत्तर लंबे थे) के कारण उत्पन्न हुए थे। बेसलाइन SAEs इन पैटर्न को अलग करने में विफल रहे और इसके बजाय रैंडम नॉइज़ पाया।
मॉडल स्टीयरिंग (Model Steering):
- T-SAE उच्च-स्तरीय विशेषताओं का उपयोग करके LLMs को स्टीयर करने से बेसलाइन्स पर पारेटो डोमिनेंस (Pareto dominance) प्राप्त हुआ।
- T-SAE स्टीयरिंग ने आउटपुट के अर्थ को बदल दिया (जैसे, मेडिकल केस रिपोर्ट की ओर शिफ्ट होना) जबकि सामंजस्य बनाए रखा।
- बेसलाइन SAE स्टीयरिंग अक्सर विनाशकारी विफलता का कारण बनी, जैसे टोकन की पुनरावृत्ति या असंगतता, क्योंकि इसने स्थानीय, टोकन-स्तरीय विशेषताओं को लक्षित किया था।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह पेपर LLMs के लिए डिक्शनरी लर्निंग के प्रतिमान को मौलिक रूप से बदल देता है। यह तर्क देता है कि i.i.d. धारणाओं की अनदेखी करना ही प्राथमिक कारण है कि SAEs गहरे अर्थपूर्ण अर्थ खोजने में विफल रहते हैं।

सैद्धांतिक प्रभाव: यह भाषा विज्ञान (वाक्य रचना और अर्थ के बीच का अंतर) को रिप्रेजेंटेशन लर्निंग के साथ जोड़ता है, और यह सिद्ध करता है कि संरचनात्मक पूर्वधारणाओं (कालिक स्मूथनेस) को शामिल करने से बेहतर डिसेंटैंगलमेंट होता है।
व्यावहारिक प्रभाव: T-SAEs अनसुपरवाइज्ड इंटरप्रिटेबिलिटी के लिए एक मजबूत उपकरण प्रदान करते हैं। वे शोधकर्ताओं को सक्षम बनाते हैं:
- टोकन स्तर के बजाय अनुक्रम स्तर पर मॉडल व्यवहार की निगरानी करने के लिए।
- प्रशिक्षण डेटा में सुरक्षा कमजोरियों और स्प्यूरियस कोरिलेशन को अधिक प्रभावी ढंग से पहचानने के लिए।
- उच्च परिशुद्धता और स्थिरता के साथ मॉडल्स को स्टीयर करने के लिए, जिससे वर्तमान स्टीयरिंग तकनीकों में सामान्य रूप से होने वाली "टोकन पुनरावृत्ति" की विफलता मोड से बचा जा सके।

लेखक निष्कर्ष निकालते हैं कि भविष्य की व्याख्यात्मक विधियों को i.i.d. धारणाओं से आगे बढ़ना चाहिए और मानव भाषा की क्रमिक, विकसित होने वाली प्रकृति को अपनाना चाहिए ताकि LLMs की वास्तविक अर्थपूर्ण क्षमताओं को अनलॉक किया जा सके।