💬 NLP

VASAE: Naming SAE Dictionary Directions with Vocabulary-Aligned Anchoring

यह शोध पत्र VASAE प्रस्तुत करता है, जो एक ऐसी विधि है जो वोकैबुलरी-अलाइन्ड एंकरिंग (vocabulary-aligned anchoring) के साथ स्पार्स ऑटोएनकोडर्स को प्रशिक्षित करती है ताकि प्रशिक्षण के दौरान फीचर्स को उनके अंतर्निहित टोकन नाम दिए जा सकें, जिससे ट्रांसफॉर्मर मॉडल्स के शैलो (shallow) और मिडिल लेयर्स में पुनर्निर्माण की गुणवत्ता से समझौता किए बिना उच्च संरेखण दर प्राप्त होती है।

मूल लेखक: Kairui Zhang, Ziwen Yu, Zahraa S. Abdallah, Martha Lewis

प्रकाशित 2026-06-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kairui Zhang, Ziwen Yu, Zahraa S. Abdallah, Martha Lewis

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक विशाल, जटिल मशीन की कल्पना करें (जैसे कि एक आधुनिक AI भाषा मॉडल) जो कहानियाँ लिखती है, सवालों के जवाब देती है और समस्याओं को हल करती है। इस मशीन के भीतर, जानकारी "पाइपों" की एक श्रृंखला के माध्यम से बहती है जिसे रेसिड्यूअल स्ट्रीम्स (residual streams) कहा जाता है। जैसे-जैसे मशीन एक वाक्य को प्रोसेस करती है, ये पाइप डेटा की एक लगातार बदलती हुई धारा ले जाते हैं।

मशीन कैसे सोचती है, यह समझने के लिए शोधकर्ता एक उपकरण का उपयोग करते हैं जिसे स्पार्स ऑटोएनकोडर (Sparse Autoencoder - SAE) कहा जाता है। एक SAE को एक उच्च-तकनीकी सूक्ष्मदर्शी (microscope) के रूप में समझें जो डेटा की इस जटिल धारा को सरल, विशिष्ट "सामग्रियों" या "विशेषताओं" (features) की एक सूची में तोड़ देता है।

समस्या: "गुमनाम" सामग्रियाँ
अतीत में, जब शोधकर्ता इन सूक्ष्मदर्शियों का उपयोग करते थे, तो वे सामग्रियों को देख तो सकते थे, लेकिन उनके पास उन सामग्रियों के नाम नहीं होते थे। यह एक मसाला रैक को देखने जैसा था जहाँ हर जार पर केवल एक नंबर से लेबल लगा था (जैसे, "फीचर #4,592")। यह पता लगाने के लिए कि "फीचर #4,592" वास्तव में क्या था, शोधकर्ताओं को बाद में बहुत अधिक जासूसी करनी पड़ती थी: वे मशीन के माध्यम से हजारों वाक्य चलाते थे, देखते थे कि वह विशिष्ट नंबर कब चमकता है, और फिर अनुमान लगाते थे, "ओह, यह फीचर तब सक्रिय होता है जब मशीन बेकरी के बारे में बात करती है।"

यह "पोस्ट-हॉक" (बाद में किया जाने वाला) नामकरण की प्रक्रिया धीमी, मैनुअल और अक्सर अपूर्ण होती है।

समाधान: VASAE (एक "लेबल वाला मसाला रैक")
यह शोध पत्र एक नई विधि पेश करता है जिसे VASAE (वोकैबुलरी-अलाइन्ड स्पार्स ऑटोएनकोडर) कहा जाता है। सामग्रियों को शून्य में सीखने देने के बजाय, VASAE यह सुनिश्चित करता है कि सामग्रियाँ मशीन के अपने शब्दों के आंतरिक शब्दकोश के करीब रहें।

यहाँ इसका एक सादृश्य (analogy) दिया गया है:

पुराना तरीका: कल्पना करें कि एक शेफ रैंडम मिश्रणों को चखकर खाना बनाना सीख रहा है। बाद में, वह यह अनुमान लगाने की कोशिश करता है कि प्रत्येक सामग्री क्या है, यह देखकर कि उसने कौन से व्यंजन बनाए।
VASAE का तरीका: कल्पना करें कि एक शेफ खाना बनाना सीख रहा है, लेकिन हर बार जब वह एक नई सामग्री उठाता है, तो उसे धीरे से मार्गदर्शन किया जाता है कि वह उसे "नमक," "काली मिर्च," या "चीनी" लेबल वाले जार के ठीक बगल में रखे। सामग्री का बिल्कुल वैसा ही होना ज़रूरी नहीं है जैसा कि जार है, लेकिन इसे उस श्रेणी से संबंधित होने के रूप में पहचाने जाने के लिए पर्याप्त करीब रहना चाहिए।

यह कैसे काम करता है

एंकर (The Anchor): मशीन के पास पहले से ही शब्दों के फिक्स्ड 'वर्ड एम्बेडिंग्स' (शब्दों जैसे "बिल्ली," "दौड़ना," या "सड़क" के गणितीय प्रतिनिधित्व) की एक सूची होती है। VASAE इन शब्द निरूपणों को "एंकर" के रूप में उपयोग करता है।
प्रशिक्षण (The Training): जैसे ही मशीन डेटा स्ट्रीम को तोड़ने के लिए सीखती है, उसे एक विशेष नियम दिया जाता है: "सुनिश्चित करें कि आपकी नई 'सामग्रियाँ' मौजूदा शब्द एंकरों में से किसी एक के ज्यामितीय रूप से करीब रहें।"
परिणाम: जब प्रशिक्षण समाप्त हो जाता है, तो प्रत्येक सामग्री (फीचर) को स्वचालित रूप से एक नाम मिल जाता है। इसे बस उस शब्द के नाम से नाम दिया जाता है जिसके सबसे करीब यह है। यदि कोई फीचर "सड़क" शब्द के सबसे करीब है, तो इसे "सड़क" नाम दिया जाता है। यदि यह "स्थित" (located) शब्द के करीब है, तो इसे "स्थित" नाम दिया जाता है।

उन्होंने क्या पाया
शोधकर्ताओं ने दो अलग-अलग AI मॉडलों (GPT-2-small और Llama-3.1-8B) पर इसका परीक्षण किया और पाया:

गुणवत्ता में कोई कमी नहीं: मशीन ने डेटा को उतनी ही अच्छी तरह से समझा और पुनर्गठित किया जितना कि पहले किया था। "सूक्ष्मदर्शी" धुंधला नहीं हुआ; इसे बस लेबल मिल गए।
स्वचालित नामकरण: AI के शुरुआती परतों (उथली परतों) में, लगभग 90% से 93% फीचर्स को एक स्पष्ट, प्रासंगिक नाम मिला। उदाहरण के लिए, एक कैफे के बारे में वाक्य में, जो फीचर्स सक्रिय हुए उन्हें स्वचालित रूप से "स्थित," "सड़क," "कोना," और "आसपास" जैसे नाम दिए गए।
गहराई मायने रखती है: यह विधि AI की शुरुआती और मध्य परतों में सबसे अच्छा काम करती है। बहुत अंतिम परतों में (जहाँ AI अगले शब्द को बोलने के लिए अपना अंतिम निर्णय लेता है), संरेखण थोड़ा अव्यवस्थित था, जिससे पता चलता है कि वहाँ "सामग्रियाँ" अधिक अमूर्त (abstract) हो जाती हैं और उन्हें एक एकल शब्द तक सीमित करना कठिन हो जाता है।

मुख्य निष्कर्ष (The Bottom Line)
VASAE न केवल हमें यह दिखाता है कि AI क्या सोच रहा है; यह AI के आंतरिक विचारों को एक शब्दावली देता है जिसे वह बोल सकता है। यह रहस्यमय नंबरों की एक सूची को शब्दों के एक शब्दकोश में बदल देता है जिसका उपयोग AI आंतरिक रूप से करता है, जिससे बिना घंटों की मैनुअल जासूसी के यह समझना बहुत आसान हो जाता है कि मशीन क्या कर रही है।

नोट: यह शोध पत्र सख्ती से इस नामकरण तंत्र और पुनर्गठन की गुणवत्ता पर केंद्रित है। यह दावा नहीं करता है कि यह विधि AI को सुरक्षित, अधिक सटीक या नैदानिक उपयोग के लिए तैयार बनाती है; यह केवल AI के आंतरिक "मसाला रैक" को लेबल करने और निरीक्षण करने का एक बेहतर तरीका प्रदान करती है।

तकनीकी सारांश: VASAE – शब्दावली-संरेखित एंकरिंग के साथ SAE डिक्शनरी दिशाओं का नामकरण

1. समस्या विवरण (Problem Statement)

स्पार्स ऑटोएनकोडर्स (SAEs) का उपयोग ट्रांसफॉर्मर मॉडलों के उच्च-आयामी रेसिडुअल स्ट्रीम्स को सीखे गए डिक्शनरी ओवर स्पार्स कोड्स में विघटित करने के लिए तेजी से किया जा रहा है, जो मैकेनिस्टिक इंटरप्रिटेबिलिटी (mechanistic interpretability) में सहायता करता है। हालांकि, मानक SAEs की एक महत्वपूर्ण सीमा यह है कि उनके द्वारा सीखी गई विशेषताएं (डिक्शनरी दिशाएं) स्वाभाविक रूप से मॉडल के टोकन वोकैबुलरी (शब्दावली) से जुड़ी नहीं होती हैं।

मानक अभ्यास में, फीचर नेमिंग (विशेषता का नामकरण) एक post hoc (घटना के बाद की) प्रक्रिया है। शोधकर्ताओं को विशिष्ट संदर्भों का निरीक्षण करना पड़ता है जहाँ विशेष विशेषताएं सक्रिय होती हैं या उन्हें नाम देने के लिए अलग से स्वचालित व्याख्या प्रक्रियाओं को चलाना पड़ता है। यह विच्छेद (disconnect) इसलिए उत्पन्न होता है क्योंकि सीखी गई डिक्शनरी की ज्यामिति और टोकन एम्बेडिंग की ज्यामिति आमतौर पर असंबंधित होती है; एक फीचर प्रभावी ढंग से एक्टिवेशन को पुनर्गठित (reconstruct) कर सकता है जबकि वह किसी भी टोकन एम्बेडिंग वेक्टर से दूर स्थित हो सकता है, जिससे वह बिना किसी "आंतरिक" शब्दावली-स्तर के नाम के रह जाता है।

यह शोध प्रश्न पूछता है: क्या हम SAE फीचर्स को इस तरह प्रशिक्षित कर सकते हैं कि वे उच्च-गुणवत्ता वाले पुनर्गठन (reconstruction) के लिए पर्याप्त लचीले बने रहें, लेकिन साथ ही वे टोकन एम्बेडिंग्स के इतने करीब ज्यामितीय रूप से एंकर हों कि प्रशिक्षण के दौरान ही वे आंतरिक टोकन नाम प्राप्त कर सकें, और ऐसा करते समय पुनर्गठन प्रदर्शन से समझौता न हो?

2. कार्यप्रणाली: वोकैबुलरी-अलाइन्ड स्पार्स ऑटोएनकोडर (VASAE)

लेखक VASAE का प्रस्ताव करते हैं, जो एक मानक SAE प्रशिक्षण उद्देश्य में एक संशोधन है जो वोकैबुलरी-अलाइन्ड एंकरिंग तंत्र पेश करता है।

मुख्य आर्किटेक्चर (Core Architecture)

इनपुट: VASAE एक ट्रांसफॉर्मर लेयर $\ell$ के पोस्ट-रेसिडुअल स्ट्रीम वेक्टर्स ( $h^{(\ell)}$ ) पर कार्य करता है।
एनकोडर (Encoder): एक मानक टॉप-k स्पार्स एनकोडर (लीनियर मैप + ReLU + टॉप-K चयन) का उपयोग करके एक स्पार्स कोड $z$ उत्पन्न करता है।
डिकोडर (Decoder): रेसिडुअल स्ट्रीम को पुनर्गठित करने के लिए एक सीखने योग्य डिक्शनरी मैट्रिक्स $W_D$ (जहाँ कॉलम फीचर वेक्टर्स $d_i$ हैं) का उपयोग करता है।
एंकर (Anchors): यह विधि मॉडल के फिक्स्ड इनपुट टोकन एम्बेडिंग्स ( $W_E$ ) को संदर्भ दिशाओं के रूप में उपयोग करती है। ये एम्बेडिंग्स रेसिडुअल स्ट्रीम के समान आयामीता (dimensionality) साझा करते हैं (या उन्हें वहां प्रोजेक्ट किया जाता है)।

एंकरिंग उद्देश्य (The Anchoring Objective)

मुख्य नवाचार मानक पुनर्गठन हानि (reconstruction loss) में एक एंकर लॉस टर्म जोड़ना है।

निकटतम-टोकन संरेखण (Nearest-Token Alignment): प्रत्येक सीखे गए फीचर $d_i$ के लिए, यह विधि सभी फिक्स्ड टोकन एम्बेडिंग्स $w_v$ के साथ कोसाइन समानता (cosine similarity) की गणना करती है।
$s_i = \max_{v \in V} \cos(d_i, w_v)$
अधिकतम प्राप्त करने वाला टोकन $v^*_i$ फीचर $i$ के लिए आंतरिक टोकन नाम को परिभाषित करता है।
एंकर लॉस (Anchor Loss): प्रशिक्षण उद्देश्य फीचर्स को उनके निकटतम टोकन एम्बेडिंग के करीब रहने के लिए प्रोत्साहित करता है:
$L_{anchor} = -\frac{1}{d_{sparse}} \sum_{i=1}^{d_{sparse}} s_i$
इस लॉस को कम करने से फीचर्स और उनके निकटतम शब्दावली टोकन के बीच कोसाइन समानता अधिकतम होती है।
कुल हानि (Total Loss): संयुक्त उद्देश्य है:
$L_{vasae} = L_{recon} + \lambda_{anchor} L_{anchor}$
जहाँ $\lambda_{anchor}$ एलाइनमेंट बाधा (constraint) के नियंत्रण के लिए एक हाइपरपैरामीटर है।

हार्ड-टायिंग से भिन्नता (Distinction from Hard-Tying)

लेखक स्पष्ट रूप से VASAE को एक "हार्ड-टाइड" (hard-tied) डिकोडर बेसलाइन से अलग करते हैं, जहाँ डिकोडर वेट्स को ठीक टोकन एम्बेडिंग मैट्रिक्स ( $W_D = W_E$ ) के बराबर फिक्स कर दिया जाता है। हार्ड-टायिंग फीचर्स को सटीक टोकन एम्बेडिंग्स होने के लिए मजबूर करती है, जो कि इस पेपर के अनुसार उच्च-गुणवत्ता वाले पुनर्गठन के लिए अपर्याप्त है। VASAE डिक्शनरी को सीखने योग्य (learnable) रखता है लेकिन एंकर लॉस के माध्यम से इसे शब्दावली की ज्यामिति की ओर खींचता है।

3. प्रयोगात्मक सेटअप (Experimental Setup)

इस विधि का मूल्यांकन दो डिकोडर-ओनली ट्रांसफॉर्मर मॉडलों पर किया गया:

GPT-2-small: 12 लेयर्स, $d_{model}=768$ , वोकैबुलरी साइज $|V|=50,257$ ।
Llama-3.1-8B: 32 लेयर्स, $d_{model}=4096$ , वोकैबुलरी साइज $|V|=128,256$ ।

बेसलाइन्स (Baselines):

Standard SAE: केवल पुनर्गठन हानि के साथ प्रशिक्षित।
Hard-Tied Decoder: डिकोडर वेट्स टोकन एम्बेडिंग्स पर फिक्स हैं; केवल एनकोडर को प्रशिक्षित किया गया है।

मेट्रिक्स (Metrics):

पुनर्गठन (Reconstruction): मीन स्क्वेर्ड एरर (MSE), वेरिएंस एक्सप्लेंड (VE), और रेसिडुअल स्ट्रीम प्रतिस्थापन के बाद क्रॉस-एन्ट्रॉपी (CE) रिकवरी।
संरेखण (Alignment): ज्यामितीय फीचर-अलाइनमेंट रेट (उन फीचर्स का प्रतिशत जिनका अलाइनमेंट स्कोर $s_i \ge 0.8$ है) और वोकैबुलरी कवरेज।
केस स्टडीज (Case Studies): विशिष्ट संदर्भों में सक्रिय फीचर्स को दिए गए आंतरिक टोकन नामों का गुणात्मक निरीक्षण।

4. मुख्य परिणाम (Key Results)

पुनर्गठन गुणवत्ता (Reconstruction Quality)

VASAE मानक SAE के समान पुनर्गठन मेट्रिक्स प्राप्त करता है, जो हार्ड-टाइड डिकोडर बेसलाइन से काफी बेहतर प्रदर्शन करता है।

GPT-2-small: VASAVE और Standard SAE दोनों ही 0.965 का वेरिएंस एक्सप्लेंड (VE) और 0.975 का CE रिकवरी प्राप्त करते हैं।
Llama-3.1-8B: VASAE और Standard SAE दोनों 0.931 का VE और 0.906 का CE रिकवरी प्राप्त करते हैं।
Hard-Tied Baseline: खराब प्रदर्शन करता है (जैसे, GPT-2-small में नेगेटिव VE), जो पुष्टि करता है कि फीचर्स को सटीक टोकन एम्बेडिंग्स होने के लिए मजबूर करना पुनर्गठन क्षमता को नष्ट कर देता है।

ज्यामितीय संरेखण (Geometric Alignment)

GPT-2-small: $\lambda_{anchor} = 10^{-4}$ के साथ, लेयर्स 0–10 में 89–94% फीचर्स अलाइनमेंट कटऑफ ( $s_i \ge 0.8$ ) से ऊपर हैं। संरेखण मजबूत है और उथले (shallow) एवं मध्यवर्ती लेयर्स में सुसंगत है।
Llama-3.1-8B: संरेखण डेप्थ-डिपेंडेंट (गहराई पर निर्भर) है। उच्च गुणांक ( $\lambda_{anchor} = 5 \times 10^{-3}$ ) पर, उथली लेयर (L0) 92.8% अलाइनमेंट प्राप्त करती है। हालांकि, गहरी लेयर्स (जैसे, L31) में अलाइनमेंट काफी गिर जाता है, जो सुझाव देता है कि शब्दावली एंकरिंग रेसिडुअल स्टेट्स के करीब अधिक अनुकूल है जो एम्बेडिंग स्पेस के निकट होते हैं।

केस स्टडीज (Case Studies)

आंतरिक टोकन नामों का गुणात्मक विश्लेषण अर्थपूर्ण सामंजस्य (semantic coherence) प्रकट करता है:

GPT-2-small में, "Baker Street" के बारे में वाक्य में सक्रिय फीचर्स को located, Street, corner, और around जैसे आंतरिक नाम दिए गए हैं।
अतिरिक्त उदाहरण विशेषणों/क्रिया-विशेषणों (जैसे, perfect, feasible), पुरस्कार संबंधी शब्दों (जैसे, winner, praise), और आत्म-परिचय शब्दों (जैसे, fan, name) के साथ संरेखण दिखाते हैं।
Llama-3.1-8B में, उथली लेयर स्थान-संबंधी संरेखण दिखाती है, जबकि गहरी लेयर्स में कम निरंतरता दिखती है, जो मात्रात्मक अलाइनमेंट मेट्रिक्स को प्रतिबिंबित करती है।

5. योगदान और महत्व (Contributions and Significance)

यह शोध पत्र तीन प्राथमिक योगदान देता है:

VASAE का परिचय: एक सॉफ्ट वोकैबुलरी-एंकरिंग उद्देश्य जो प्रशिक्षण के दौरान ही सीखे गए SAE डिकोडर दिशाओं को निकटतम-टोकन नाम प्रदान करता है, न कि बाद में (post-hoc)।
एन्करिंग का मूल्यांकन: यह प्रदर्शित करना कि वोकैबुलरी-अलाइन्ड एंकरिंग मानक SAEs के समान पुनर्गठन गुणवत्ता बनाए रखती है, जबकि यह सिद्ध करना कि डिकोडर को टोकन एम्बेडिंग्स के साथ हार्ड-टाई करना इस कार्य के लिए अपर्याप्त है।
ज्यामितीय विश्लेषण: एम्बेडिंग-स्पेस फीचर अलाइनमेंट और वोकैबुलरी कवरेज का विश्लेषण करना, जो प्रमाण देता है कि आंतरिक टोकन नाम ज्यामिति-व्युत्पन्न पहचानकर्ता (geometry-derived identifiers) के रूप में कार्य करते हैं।

महत्व:
लेखक तर्क देते हैं कि VASAE मौजूदा पोस्ट-हॉक व्याख्या विधियों के पूरक के रूप में कार्य करता है, जो सीखे गए फीचर्स को मॉडल की शब्दावली से जोड़ता है। यह फीचर्स के लिए एक "वोकैबुलरी-इंडेक्स्ड हैंडल" प्रदान करता है, जो निरीक्षण के लिए एक शुरुआती बिंदु है।

महत्वपूर्ण रूप से, यह शोध पत्र इन नामों के निहितार्थों पर एक मध्यम रुख अपनाता है:

व्याख्या नहीं (Not Explanations): एक आंतरिक टोकन नाम पूर्ण फीचर व्याख्या नहीं है। यह यह स्पष्ट नहीं करता कि कोई फीचर क्यों सक्रिय होता है या मॉडल की गणना में उसकी कारण भूमिका (causal role) क्या है।
इंडेक्सिंग टूल (Indexing Tool): ये नाम प्रारंभिक इंडेक्सिंग टूल के रूप में कार्य करते हैं। वास्तविक समझ के लिए इस बात का आगे विश्लेषण आवश्यक है कि नामित फीचर्स कैसे सर्किट्स में भाग लेते हैं, वे अन्य घटकों से कैसे जुड़ते हैं, और उन पर हस्तक्षेप करने से व्यवहार कैसे प्रभावित होता है।
सीमाएँ (Limitations): संरेखण GPT-2-small और Llama-3.1-8B की उथली/मध्यम लेयर्स में सबसे मजबूत है। वर्तमान में यह केवल इनपुट एम्बेडिंग्स तक ही सीमित है; अनटाइड (untied) इनपुट/आउटपुट एम्बेडिंग्स वाले मॉडलों के लिए, एंकर मैट्रिक्स का चुनाव एक खुला प्रश्न बना हुआ है।

संक्षेप में, VASAE सफलतापूर्वक सीखे गए फीचर्स के ज्यामितीय स्थान और मॉडल के वोकैबुलरी स्पेस के बीच के अंतर को पाटता है, जिससे फीचर्स को पुनर्गठन के उपयोगिता से समझौता किए बिना अपने आंतरिक टोकन नाम प्राप्त करने में सक्षम बनाया जाता है।