💬 NLP

Turn-Averaged SAEs for Feature Discovery and Long-Context Attribution

यह शोध पत्र टर्न-एवरेज्ड स्पार्स ऑटोएनकोडर (SAEs) को प्रस्तुत करता है जो मानक टोकन-आधारित SAEs की स्केलेबिलिटी सीमाओं को दूर करने के लिए संपूर्ण वार्तालाप टर्नों में औसत मॉडल एक्टिवेशन्स को पुनर्गठित करते हैं, जिससे लंबी-संदर्भ वाली भाषा मॉडल ट्रांसक्रिप्ट्स के लिए अधिक व्यापक फीचर डिस्कवरी और सरलीकृत एट्रिब्यूशन विश्लेषण सक्षम होता है।

मूल लेखक: Kevin Der, Harish Kamath, Ben Thompson

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kevin Der, Harish Kamath, Ben Thompson

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक इंसान और एक AI के बीच हुई एक लंबी, जटिल बातचीत को समझने की कोशिश कर रहे हैं। आप यह जानना चाहते हैं कि AI ने जो कहा, उसने वह क्यों कहा।

AI अनुसंधान की दुनिया में, वैज्ञानिक एक उपकरण का उपयोग करते हैं जिसे स्पार्स ऑटोएनकोडर (Sparse Autoencoder - SAE) कहा जाता है। एक SAE को एक अत्यंत व्यवस्थित लाइब्रेरियन (पुस्तकालयाध्यक्ष) के रूप में समझें जो AI के विचारों को छोटे, विशिष्ट "स्टिकी नोट्स" (sticky notes) में तोड़ देता है।

पुराना तरीका: "टोकन-दर-टोकन" लाइब्रेरियन

पारंपरिक रूप से, यह लाइब्रेरियन बातचीत को एक-एक शब्द (या "टोकन") करके देखता है।

समस्या: यदि बातचीत 1,000 शब्दों की लंबी है, तो लाइब्रेरियन 1,000 स्टिकी नोट्स लिखता है। यदि बातचीत 100,000 शब्दों की है, तो वे 100,000 नोट्स लिखते हैं।
परिणाम: नोट्स अविश्वसनीय रूप से विस्तृत होते हैं। एक नोट कह सकता है "यहाँ 'apple' शब्द आया था।" दूसरा कह सकता है "वहाँ 'run' शब्द आया था।" लेकिन जब आप पूरी कहानी को देखने की कोशिश करते हैं, तो आप स्टिकी नोट्स के समुद्र में डूब जाते हैं। आप पेड़ों को देखकर जंगल नहीं देख पाते। यह बताना असंभव हो जाता है कि AI "अभद्र" (rude) हो रहा था, "रचनात्मक" (creative) था, या "गणित के बारे में" बात कर रहा था, क्योंकि ये बड़े विचार हजारों छोटे नोट्स में बिखरे हुए हैं।

नया विचार: "टर्न-एवरेज्ड" (Turn-Averaged) लाइब्रेरियन

लेखकों ने एक नया तरीका पेश किया जिसे टर्न-एवरेज्ड SAEs कहा जाता है। हर एक शब्द को देखने के बजाय, वे लाइब्रेरियन से कहते हैं कि वह बातचीत के एक पूरे "टर्न" (बातचीत का एक पूरा हिस्सा, जैसे AI या इंसान का एक पूर्ण उत्तर) को देखे और उस टर्न के सभी विचारों का औसत (average) ले।

रचनात्मक उपमा: स्मूदी बनाम फ्रूट सलाद

पुराना तरीका (प्रति-टोकन): कल्पना कीजिए कि एक फ्रूट सलाद है जहाँ आप हर एक बीज, त्वचा का हर छोटा टुकड़ा और चीनी का हर एक कण देख सकते हैं। यह बहुत विस्तृत है, लेकिन यदि आप जानना चाहते हैं कि सलाद "मीठा" है या "खट्टा", तो आपको हर एक टुकड़े को गिनना होगा।
नया तरीका (टर्न-एवरेज्ड): कल्पना कीजिए कि आपने उस फ्रूट सलाद को ब्लेंड करके एक "स्मूदी" बना दिया है। आप उस स्मूदी में विशिष्ट बीज और छिलके खो देते हैं (व्यक्तिगत शब्दों के सूक्ष्म विवरण), लेकिन आपको पूरे स्वाद का एक सटीक और स्पष्ट अनुभव मिलता है। क्या यह एक "स्ट्रॉबेरी स्मूदी" है? हाँ। क्या यह "तीखा" है? नहीं। ब्लेंडर (औसत निकालने की प्रक्रिया) शोर को छान देता है और मुख्य तस्वीर को बनाए रखता है।

उन्होंने क्या पाया

शोधकर्ताओं ने इस नए "स्मूदी" दृष्टिकोण का परीक्षण एक 7-बिलियन-पैरामीटर वाले AI मॉडल (एक बहुत स्मार्ट लेकिन अभी तक "सुपर-इंटेलिजेंट" नहीं होने वाला AI) पर वास्तविक चैट डेटा का उपयोग करके किया। यहाँ उनकी खोजें दी गई हैं:

बड़ी तस्वीर देखने में बेहतर: जब उन्होंने AI से पूछा कि बातचीत का एक टर्न किस बारे में था, तो "टर्न-एवरेज्ड" नोट्स ने "उपयोगकर्ता अभद्र हो रहा है," "विषय कार सुरक्षा के बारे में है," या "AI अत्यधिक उत्साही हो रहा है" जैसे उच्च-स्तरीय विचारों को पकड़ने में बहुत बेहतर प्रदर्शन किया। पुराना "शब्द-दर-शब्द" वाला तरीका ज्यादातर केवल विशिष्ट शब्दों या व्याकरण के पैटर्न को सूचीबद्ध करता था, जिससे समग्र भाव (vibe) छूट जाता था।
लंबी कहानियों को संभालना: क्योंकि वे पूरे टर्न का औसत लेते हैं, इसलिए ये नए नोट्स एक छोटे वाक्य की तरह ही 30,000 शब्दों के दस्तावेज़ के लिए भी उतने ही प्रभावी ढंग से काम करते हैं। पुराना तरीका लंबे टेक्स्ट के साथ अभिभूत और अव्यवस्थित हो जाता।
"मातृका डोल" (Matryoshka Doll) समाधान: उन्होंने एक विशेष "नेस्टेड" (Nested) मॉडल भी बनाया। एक रूसी गुड़िया (Nesting Doll) की कल्पना करें।
- भीतरी गुड़िया में "स्मूदी" वाले नोट्स होते हैं (टर्न की बड़ी तस्वीर)।
- बाहरी गुड़िया में "फ्रूट सलाद" वाले नोट्स होते हैं (व्यक्तिगत शब्दों के विशिष्ट विवरण)।
  यह उन्हें एक ही सिस्टम में बड़े चित्र और सूक्ष्म विवरण दोनों रखने की अनुमति देता है।

"एट्रिब्यूशन" (कारण का पता लगाना) के लिए यह क्यों महत्वपूर्ण है

इन उपकरणों के सबसे प्रमुख उपयोगों में से एक एट्रिब्यूशन ग्राफ (attribution graph) बनाना है, जो यह दिखाता है कि AI के मस्तिष्क का एक हिस्सा दूसरे हिस्से को कैसे प्रभावित करता है।

पुराना मैप: लंबी बातचीत के लिए, इस मैप में लाखों बिंदु और रेखाएं थीं। यह एक उलझा हुआ जाल था जिसे कोई इंसान पढ़ नहीं सकता था।
नया मैप: टर्न-एवरेज्ड SAEs के साथ, मैप सरल हो जाता है। हर शब्द के लिए एक बिंदु होने के बजाय, हर टर्न के लिए एक बिंदु होता है। मैप एक साफ, पठनीय फ्लोचार्ट बन जाता है जो ठीक से दिखाता है कि कैसे एक उपयोगकर्ता के प्रश्न से एक विशिष्ट AI उत्तर तक पहुँचा।

पेपर से एक वास्तविक उदाहरण

शोधकर्ताओं ने इसका परीक्षण एक ऐसी बातचीत पर किया जहाँ AI शुरू में एक सवाल का जवाब देने से मना कर देता है, फिर धीरे-धीरे मान जाता है, और अंत में निरर्थक टेक्स्ट (degenerate text) उगलने लगता है।

पुराने तरीके का उपयोग करके: मैप समझने के लिए बहुत जटिल था। यह "रासायनिक नामों" या "JSON कोड" जैसी यादृच्छिक चीजों की ओर इशारा कर रहा था, जो कारण के रूप में समझ में नहीं आ रहे थे।
नए तरीके का उपयोग करके: मैप ने घटनाओं की एक श्रृंखला को स्पष्ट रूप से दिखाया:
1. शुरुआती टर्न्स में "AI सुरक्षा" और "परमाणु हथियारों" से संबंधित फीचर्स थे।
2. इसने "जेलब्रेक प्रयासों का पता लगाने" (detecting jailbreak attempts) वाले फीचर को सक्रिय किया।
3. वह अंततः "निरर्थक आउटपुट" (degenerate output) की ओर ले गया।
  नए तरीके ने AI के टूटने के पीछे के "क्यों" को सफलतापूर्वक ट्रैक किया, जिसे पुराना तरीका स्पष्ट रूप से नहीं कर सका।

निष्कर्ष

यह पेपर दिखाता है कि AI के विचारों को पूरी बातचीत के टर्न पर "ब्लेंड" (blend) करके, हम ऐसे उपकरण बना सकते हैं जो AI द्वारा किए जा रहे कार्यों के अर्थ, शैली और सुरक्षा को समझने में कहीं अधिक सक्षम हैं, विशेष रूप से लंबी बातचीत में। यह एक अराजक ढेर को एक स्पष्ट, पठनीय कहानी में बदल देता है।

नोट: यह पेपर विशेष रूप से AI मॉडलों का विश्लेषण करने और उन्हें समझने के तरीके में सुधार करने पर केंद्रित है। यह दावा नहीं करता है कि ये उपकरण अभी नैदानिक उपयोग (clinical use), चिकित्सा निदान, या सीधे उपभोक्ता उत्पादों में तैनाती के लिए तैयार हैं।

तकनीकी सारांश: फीचर डिस्कवरी और लॉन्ग-कॉन्टेक्स्ट एट्रिब्यूशन के लिए टर्न-एवरेज्ड SAEs

1. समस्या विवरण (Problem Statement)

स्पार्स ऑटोएनकोडर्स (SAEs) भाषा मॉडल से व्याख्या योग्य फीचर्स (interpretable features) निकालने के लिए एक प्राथमिक उपकरण के रूप में उभरे हैं, जो सर्किट विश्लेषण, व्यवहार संबंधी स्टीयरिंग (behavioral steering) और सुरक्षा निगरानी को सुगम बनाते हैं। हालांकि, मानक SAE आर्किटेक्चर व्यक्तिगत टोकन एक्टिवेशन पर कार्य करते हैं। यह प्रति-टोकन ग्रैनुलैरिटीता (granularity) बड़े पैमाने पर व्याख्यात्मकता (interpretability) के लिए दो महत्वपूर्ण बाधाएं उत्पन्न करती है:

स्केलिंग सीमाएं (Scaling Limitations): सक्रिय फीचर्स की संख्या कॉन्टेक्स्ट लेंथ के साथ रैखिक रूप से बढ़ती है। लॉन्ग-कॉन्टेक्स्ट परिदृश्यों या मल्टी-टर्न बातचीत में, परिणामी डेटा वॉल्यूम डाउनस्ट्रीम विश्लेषण (जैसे एट्रिब्यूशन ग्राफ) को बोझिल और निरीक्षण करने में कठिन बना देता है।
उच्च-स्तरीय संदर्भ का नुकसान (Loss of High-Level Context): कई व्याख्यात्मक लक्ष्य यह समझने से जुड़े होते हैं कि मॉडल ने एक विशिष्ट प्रतिक्रिया क्यों दी, जिसके लिए उच्च-स्तरीय गुणों (जैसे विषय, व्यक्तित्व, सुरक्षा लक्षण) की पहचान करने की आवश्यकता होती है जो कई टोकन में वितरित होते हैं। मानक प्रति-टोकन SAEs अक्सर विशिष्ट शब्दों या सिंटैक्टिक पैटर्न के लिए लो-लेवल डिटेक्टर्स सीख लेते हैं। चूंकि प्रशिक्षण उद्देश्य प्रत्येक स्थिति को स्वतंत्र रूप से पुनर्निर्मित (reconstruct) करना है, इसलिए मॉडल पर इन उच्च-स्तरीय, स्पैन-वाइड विशेषताओं को टोकन-लेवल शोर से अलग करने का कोई दबाव नहीं होता है।

2. कार्यप्रणाली (Methodology)

2.1 टर्न-एवरेज्ड SAEs (Turn-Averaged SAEs)

मुख्य प्रस्ताव यह है कि SAEs को टोकन के स्पैन (विशेष रूप से, एक एकल ह्यूमन या असिस्टेंट टर्न) के माध्यम से मीन हिडन स्टेट (mean hidden state) पर प्रशिक्षित किया जाए, न कि व्यक्तिगत टोकन एक्टिवेशन पर।

इनपुट ट्रांसफॉर्मेशन: एक टर्न $T$ के लिए जिसमें टोकन $x_t$ हैं, इनपुट औसत हिडन स्टेट $\bar{x} = \frac{1}{|T|} \sum_{t \in T} x_t$ है।
आर्किटेक्चर: SAE आर्किटेक्चर मानक कार्यान्वयन (स्पर्सिटी के लिए BatchTopK का उपयोग करके) के समान रहता है। चूंकि $\mathbb{R}^{d_{model}}$ में वेक्टर्स का माध्य उसी डाइमेंशनलिटी को बनाए रखता है जो व्यक्तिगत वेक्टर्स रखते हैं, इसलिए किसी संरचनात्मक परिवर्तन की आवश्यकता नहीं है।
अंतर्ज्ञान (Intuition): एवरेजिंग एक लो-पास फिल्टर के रूप में कार्य करती है। यह उच्च-आवृत्ति (high-frequency), टोकन-विशिष्ट विवरणों (जैसे विशिष्ट शब्द चयन या सिंटैक्टिक मार्कर) को सुचारू (smooth out) कर देती है जबकि कम-आवृत्ति वाले घटकों को सुरक्षित रखती है जो विषय, शैली और व्यवहारिक लक्षणों जैसे व्यापक अवधारणाओं के अनुरूप होते हैं।

2.2 हाइब्रिड आर्किटेक्चर (Hybrid Architectures)

इस सीमा को संबोधित करने के लिए कि एवरेजिंग प्रति-टोकन विवरण को हटा देती है, लेखक उच्च-स्तरीय संरचना और सूक्ष्म-स्तरीय अवशेषों (residuals) दोनों को कैप्चर करने के लिए दो हाइब्रिड दृष्टिकोण प्रस्तावित करते हैं:

डिकपल्ड SAE (Decoupled SAE): दो स्वतंत्र SAEs को प्रशिक्षित करता है। एक टर्न-एवरेज मीन ( $\bar{x}$ ) को पुनर्निर्मित करता है, और दूसरा अवशेष ( $x_t - \bar{x}$ ) को पुनर्निर्मित करता है। हालांकि यह सिग्नल्स को अलग करता है, लेकिन मॉडल कॉज़ली डिस्कनेक्टेड (causally disconnected) होते हैं, जिससे एट्रिब्यूशन विश्लेषण जटिल हो जाता है।
नेस्टेड SAE (Nested SAE - Matryoshka-style): एक साझा एनकोडर और डिकोडर के साथ एक एकल SAE को प्रशिक्षित करता है लेकिन एक विशेष लॉस फंक्शन का उपयोग करता है। फीचर स्पेस को एक आंतरिक विभाजन $[0:h]$ $[0 : h]$ और एक बाहरी विभाजन $[h:d_{sae}]$ $[h : d_{s a e}]$ में विभाजित किया गया है।
- लॉस फंक्शन: $L = \sum_t \| \text{dec}(\text{enc}(x_t)) - x_t \|^2 + \alpha \cdot \| \text{dec}_h(\text{enc}(\bar{x})[0:h]) - \bar{x} \|^2$ ।
- आंतरिक विभाजन को टर्न-एवरेज मीन को पुनर्निर्मित करने के लिए मजबूर किया जाता है, जबकि पूर्ण सेट सेट फीचर्स प्रति-टोकन एक्टिवेशन को पुनर्निर्मित करते हैं। यह एक ही मॉडल को उच्च-स्तरीय टर्न विशेषताओं और टोकन-लेवल विवरणों दोनों को एक साथ सीखने की अनुमति देता है।

2.3 एट्रिब्यूशन ग्राफ अनुकूलन (Attribution Graph Adaptation)

लेखक एट्रिब्यूशन ग्राफ को टर्न स्तर पर अनुकूलित करते हैं। इसके बजाय कि नोड्स विशिष्ट टोकन स्थितियों पर फीचर्स का प्रतिनिधित्व करें, नोड्स एक विशिष्ट टर्न और लेयर पर सक्रिय फीचर्स का प्रतिनिधित्व करते हैं।

एज वेट्स (Edge Weights): सोर्स टर्न पर ग्रेडिएंट एट्रिब्यूशन को औसत करके और टर्न लेंथ ( $1/|T_A|$ और $1/|T_B|$ ) द्वारा नॉर्मलाइज़ करके गणना की जाती है ताकि वेट्स टर्न लेंथ के प्रति उदासीन (agnostic) हों।
इंटरवेंशन वैलिडेशन: एज वेट्स को सोर्स फीचर्स को उनके डिकोडर दिशाओं के साथ सभी टर्न टोकन्स में विक्षेपित (perturb) करके और टारगेट फीचर प्री-एक्टिवेशन्स में परिवर्तन को मापकर वैलिडेट किया जाता है।

3. मुख्य योगदान (Key Contributions)

टर्न-एवरेज्ड SAEs: प्रदर्शित किया कि मीन हिडेंस स्टेट्स पर प्रशिक्षण से ऐसे फीचर्स प्राप्त होते हैं जो प्रति-टोकन फीचर्स की तुलना में उच्च-स्तरीय टर्न विशेषताओं (विषय, शैली, सुरक्षा लक्षण) को अधिक पूर्ण रूप से कैप्चर करते हैं।
नेस्टेड SAE आर्किटेक्चर: एक Matryoshka-जैसे लॉस का उपयोग करके टर्न-एवरेज और प्रति-टोकन फीचर्स को संयुक्त रूप से सीखने वाला एक एकल-मॉडल आर्किटेक्चर पेश किया, जो दोनों सिग्नल घटकों के लिए उच्च पुनर्निर्माण गुणवत्ता प्राप्त करता है।
स्केलेबल एट्रिब्यूशन: मल्टी-टर्न बातचीत के कॉम्पैक्ट विश्लेषण को सक्षम करने के लिए एट्रिब्यूशन ग्राफ को टर्न स्तर पर अनुकूलित किया। लेखकों ने इंटरवेंशन प्रयोगों और पर्याप्तता मेट्रिक्स (पूर्णता और प्रतिस्थापन) के माध्यम से इन ग्राफ्स को वैलिडेट किया।

4. परिणाम (Results)

4.1 फीचर क्वालिटी और रिकंस्ट्रक्शन

पुनर्निर्माण (Reconstruction): नेस्टेड SAE 0.167 का प्रति-टोकन नॉर्मलाइज्ड मीन स्क्वेयर्ड एरर (nMSE) प्राप्त करता है, जो शुद्ध प्रति-टोकन SAE (0.162) के काफी करीब है, जबकि यह 0.116 का टर्न-एवरेज्ड nMSE भी प्राप्त करता है। इसके विपरीत, एक मानक प्रति-टोकन SAE टर्न-एवरेज इनपुट्स पर खराब प्रदर्शन करता है (nMSE 0.355), जो दर्शाता है कि मीन, टोकन-प्रशिक्षित मॉडल्स के लिए आउट-ऑफ-डिस्ट्रीब्यूशन है।
गुणात्मक खोज (Qualitative Discovery): गणितीय त्रुटियों, उत्साही तकनीकी शैलियों और नियामक अनुपालन (regulatory compliance) से संबंधित उदाहरणों पर, टर्न-एवरेज्ड फीचर्स ने उच्च-स्तरीय व्यवहारिक गुणों (जैसे "गलत उत्तर", "उत्साही तकनीकी शैली") को सफलतापूर्वक पहचाना जिन्हें प्रति-टोकन फीचर्स ने मिस कर दिया या केवल आंशिक रूप से कैप्चर किया।
लॉन्ग-कॉन्टेक्स्ट जनरलाइजेशन: चैट टर्न्स (औसत लंबाई ~150 टोकन) पर प्रशिक्षित टर्न-एवरेज्ड SAEs ने LongBench v2 से 150 गुना लंबे दस्तावेज़ों (24k–32k टोकन) में सफलतापूर्वक सामान्यीकरण किया, जिससे "मैक्रोइकॉनॉमिक्स" और "कंप्यूटर ग्राफिक्स" जैसी उच्च-स्तरीय अवधारणाओं की पहचान हुई जिन्हें प्रति-टोकन फीचर्स पहचानने में विफल रहे।

4.2 मात्रात्मक मूल्यांकन (Quantitative Evaluation)

टर्न के स्ट्रक्चर्ड समरी के विरुद्ध फीचर विवरणों की तुलना करने के लिए LLM-as-a-judge फ्रेमवर्क का उपयोग करते हुए:

डिस्क्रिमिनेशन (10-वे मैचिंग): प्रति-टोकन फीचर्स (max-pooled) टर्न-एवरेज्ड फीचर्स (95.0% बनाम 73.9%) से बेहतर प्रदर्शन करते हैं, क्योंकि वे टेक्स्ट को अलग करने के लिए विशिष्ट टोकन-लेवल विवरणों पर भरोसा करते हैं।
कवरेज (पेयरवाइज और 5-वे रैंकिंग): टर्न-एवरेज्ड फीचर्स ने प्रति-टोकन फीचर्स की तुलना में काफी बेहतर प्रदर्शन किया (87.9% पेयरवाइज तुलना में जीत)। उन्होंने टर्न की उच्च-स्तरीय विशेषताओं का अधिक पूर्ण विवरण प्रदान किया।
एम्बेडिंग मेट्रिक: टर्न-एवरेज्ड फीचर्स ने स्ट्रक्चर्ड समरी फील्ड्स के साथ उच्चतम कोसाइन सिमिलरिटी (0.663) प्राप्त की, जो उनकी बेहतर सेमेंटिक कंटेंट कवरेज की पुष्टि करती है।

4.3 एट्रिब्यूशन विश्लेषण (Attribution Analysis)

ग्राफ कॉम्पैक्टनेस: टर्न-एवरेज्ड ग्राफ्स ने 10-टर्न बातचीत के लिए नोड काउंट को ~128K (प्रति-टोकन) से घटाकर ~5K कर दिया, जिससे निरीक्षण संभव हो गया।
केस स्टडीज:
- सिस्टम प्रॉम्प्ट एट्रिब्यूशन: टर्न-एवरेज्ड ग्राफ्स ने सही ढंग से पहचाना कि किन सिस्टम प्रॉम्प्ट पैराग्राफ्स ने विशिष्ट यूजर क्वेरीज को प्रभावित किया, जो प्रति-टोकन ग्राफ्स के समान एट्रिब्यूशन शिफ्ट दिखाता है।
- डिजनरेशन ट्रेसिंग (Degeneration Tracing): एक 14-टर्न की बातचीत में जहाँ मॉडल दोहराव वाली टेक्स्ट में डिग्रेड हो गया, टर्न-एवरेज्ड ग्राफ ने एक सुसंगत कॉज़ल चेन को ट्रैक किया: "AI सुरक्षा डिस्क्लेमर" $\to$ "परमाणु हथियार" $\to$ "एडवर्सरियल प्रॉम्प्ट डिटेक्शन" $\to$ "डिजेनरेट आउटपुट।" प्रति-टोकन ग्राफ एडवर्सरियल डिटेक्शन फीचर को खोजने में विफल रहा, बल्कि अनरिलेटेड कॉन्सेप्ट्स जैसे "केमिकल कंपाउंड्स" की ओर ट्रेस किया।
इंटरवेंशन और पर्याप्तता: एज वेट्स ने इंटरवेंशन प्रभावों के साथ महत्वपूर्ण सहसंबंध दिखाया। नेस्टेड SAE ने उच्चतम "पूर्णता" (completeness) और "प्रतिस्थापन" (replacement) पर्याप्तता स्कोर प्राप्त किया, जो शुद्ध प्रति-टोकन और पोस्ट-हॉक एग्रीगेटेड प्रति-टोकन फीचर्स दोनों से बेहतर था।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि टर्न-एवरेज्ड SAEs लॉन्ग कॉन्टेक्स्ट लेंथ पर व्याख्यात्मकता तकनीकों को व्यावहारिक बनाते हैं। विश्लेषण की इकाई को टोकन से स्पैन में बदलकर, यह पद्धति:

ऐसे फीचर्स बनाती है जो प्रति-टोकन फीचर्स की तुलना में उच्च-स्तरीय विशेषताओं (विषय, व्यक्तित्व, सुरक्षा) को अधिक पूर्ण रूप से वर्णित करते हैं।
मल्टी-टर्न बातचीत के लिए कॉम्पैक्ट, व्याख्या योग्य एट्रिब्यूशन ग्राफ बनाने में सक्षम बनाती है जो अन्यथा विश्लेषण के लिए बहुत बड़े होते।
यह प्रदर्शित करती है कि ट्रेनिंग सिग्नल को संशोधित करना (एवरेजिंग के माध्यम से) SAEs को वांछित ग्रैनुलैरिटी (उच्च-स्तरीय अवधारणाओं) पर फीचर्स सीखने के लिए मजबूर कर सकता है, जो टोकन काउंट से स्वतंत्र है।
दिखाता है कि ये फीचर्स प्रशिक्षण के दौरान देखे गए स्पैन से कहीं अधिक लंबे स्पैन में सामान्यीकरण करते हैं, जो फ्रंटियर मॉडल विश्लेषण के लिए मजबूती का सुझाव देते हैं।

लेखक वर्तमान प्रयोगों के स्केल (7B मॉडल, LMSYS-Chat-1M कॉर्पस) और मूल्यांकन मेट्रिक्स के लिए LLMs पर निर्भरता सहित सीमाओं को नोट करते हैं, और फ्रंटियर मॉडल्स पर अनुप्रयोग और ग्राउंड-ट्रुथ बेंचमार्क के निर्माण को आवश्यक भविष्य के कार्य के रूप में पहचानते हैं।