🤖 machine learning

Causal Dimensionality of Transformer Representations: Measurement, Scaling, and Layer Structure

यह शोध पत्र "कॉज़ल डाइमेंशनैलिटी" (कप्पा) को एक मॉडल-अंतर्निहित मीट्रिक के रूप में प्रस्तुत करता है जो एक ट्रांसफॉर्मर लेयर के कॉज़ल प्रभाव के प्रभावी रैंक को परिमाणित करता है, यह प्रकट करते हुए कि जहाँ प्रतिनिधित्व क्षमता (representational capacity) स्पार्स ऑटोएन्कोडर की चौड़ाई के साथ रैखिक रूप से बढ़ती है, वहीं कॉज़ल क्षमता उप-रैखिक स्तर पर संतृप्त हो जाती है जो मॉडल के आकार के प्रति अपरिवर्तित रहती है और नेटवर्क की गहराई केAcross विशिष्ट संरचनात्मक पैटर्न प्रदर्शित करती है।

मूल लेखक: Nilesh Sarkar, Dawar Jyoti Deka

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nilesh Sarkar, Dawar Jyoti Deka

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक विशाल, जटिल फैक्ट्री (AI मॉडल) है जो कच्चे माल (टेक्स्ट) को लेती है और एक तैयार उत्पाद (उत्तर) बनाती है। इस फैक्ट्री के अंदर, हजारों कर्मचारी (न्यूरॉन्स) एक-दूसरे को नोट्स पास कर रहे हैं। लंबे समय से, शोधकर्ताओं ने प्रत्येक कर्मचारी को एक नाम टैग देकर इस फैक्ट्री को समझने की कोशिश की है, यह देखने की उम्मीद में कि कौन क्या करता है।

यह शोध पत्र एक नया तरीका पेश करता है जिससे यह गिना जा सके कि फैक्ट्री के आउटपुट के लिए वास्तव में कितने कर्मचारी अनिवार्य (essential) हैं, जो यह खुलासा करता है कि कितने कर्मचारी मौजूद हैं और कितने महत्वपूर्ण हैं, उनके बीच एक आश्चर्यजनक अंतर है।

यहाँ उनके निष्कर्षों का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. "नाम टैग" की समस्या (SAEs)

शोधकर्ता एक उपकरण का उपयोग करते हैं जिसे स्पार्स ऑटोएनकोडर (Sparse Autoencoder - SAE) कहा जाता है। इसे एक विशाल शब्दकोश के रूप में समझें जो AI के हर विशिष्ट "विचार" या "विशेषता" (feature) को एक अनूचा नाम टैग देने की कोशिश करता है।

पुरानी धारणा: यदि आप शब्दकोश को बड़ा (अधिक नाम टैग जोड़ना) बनाते हैं, तो आप यह मान लेते हैं कि आप अधिक महत्वपूर्ण चीजों को खोज रहे हैं जो वास्तव में AI के उत्तर को बदल देती हैं।
वास्तविकता: उन्होंने इसे 64 गुना बड़ा शब्दकोश बनाकर परखा। उन्होंने पाया कि जबकि नाम टैगों (features जो सक्रिय होते हैं) की संख्या 15.6 गुना बढ़ गई, वास्तव में महत्वपूर्ण विशेषताओं (वे जिन्हें हटाने से AI का उत्तर बदल जाता है) की संख्या केवल 4.35 गुना बढ़ी।

उपमा: एक लाइब्रेरी की कल्पना करें। यदि आप लाइब्रेरी का आकार दोगुना करते हैं, तो आप किताबों की संख्या को दोगुना कर देते हैं (प्रतिनिधित्व क्षमता)। लेकिन लेखकों ने पाया कि भले ही आप लाइब्रेरी को 64 गुना बड़ा कर दें, लेकिन उन किताबों की संख्या जो वास्तव में किसी विशिष्ट पहेली को हल करने के लिए "गुप्त कोड" रखती हैं, वह केवल थोड़ी सी बढ़ती है। अधिकांश नई किताबें उसी पुरानी कहानी के रूपांतरण मात्र हैं।

2. "कॉज़ल वेज" (Causal Wedge)

लेखक इस अंतर को रिप्रेजेंटेशनल-कॉज़ल वेज (Representational-Causal Wedge) कहते हैं।

रिप्रेजेंटेशनल (Representational): AI अपने दिमाग में कितने अलग-अलग "विचार" रख सकता है।
कॉज़ल (Causal): उन विचारों में से कितने विचार वास्तव में अंतिम निर्णय को संचालित करते हैं।
निष्कर्ष: AI कई विचार रख सकता है, लेकिन उनमें से बहुत कम हिस्सा "बॉस" है जो अंतिम निर्णय लेने के लिए लीवर खींचता है। बाकी सब केवल "बैकग्राउंड नॉइज़" या दोहराव वाली प्रतियां हैं।

3. "जादुई संख्या" (Causal Dimensionality)

यह पेपर एक विशिष्ट संख्या $\kappa$ (कप्पा) को परिभाषित करता है, जो AI के एक विशिष्ट लेयर में वास्तविक "बॉस" विचारों की संख्या को दर्शाता है।

खोज: उन्होंने एक 2-बिलियन पैरामीटर वाले AI के लिए यह संख्या गिनी और पाया कि यह लगभग 1,990 है।
आश्चर्य: यह संख्या अंतर्निहित (intrinsic) है। इससे कोई फर्क नहीं पड़ता कि आप AI को 3.5 गुना बड़ा (2B से 9B पैरामीटर तक) बनाते हैं। "बॉस" विचारों की संख्या बिल्कुल वैसी ही रहती है।
उपमा: एक 2-सदस्यीय बैंड और एक 100-सदस्यीय ऑर्केस्ट्रा की कल्पना करें जो एक ही गाना बजा रहे हैं। 100-सदस्यीय ऑर्केस्ट्रा के पास अधिक वाद्य यंत्र (पैरामीटर्स) हैं, लेकिन वे बस उसी 3 मुख्य धुन को अधिक जोर और सामंजस्य के साथ बजा रहे हैं। अद्वितीय धुनों की संख्या (causal dimensionality) नहीं बदली है; उन्होंने बस उन्हें बजाने के लिए अधिक संगीतकार लगा दिए हैं।

4. "डीपनिंग" प्रभाव (Deepening Effect)

जैसे-जैसे आप AI में गहराई (पहली लेयर से आखिरी लेयर तक) में जाते हैं, सिग्नल का "वॉल्यूम" गिरता जाता है।

निष्कर्ष: एक महत्वपूर्ण विशेषता को पहचानने के लिए आवश्यक सिग्नल नेटवर्क में गहराई में जाने पर 20 गुना कमजोर हो जाता है।
उपमा: "टेलीफोन" (एक संदेश को आगे बढ़ाने वाला खेल) के खेल की कल्पना करें। पहला व्यक्ति जोर से बोलता है। जब तक संदेश अंतिम व्यक्ति तक पहुँचता है, यह एक फुसफुसाहट बन जाता है। यदि आप अंत में सुनने के लिए "तेज़" सेटिंग वाले माइक्रोफ़ोन का उपयोग करते हैं, तो आप सोचेंगे कि कोई बोल ही नहीं रहा है। आपको गहरी लेयर्स में महत्वपूर्ण हिस्सों को सुनने के लिए अपनी संवेदनशीलता (sensitivity) बहुत बढ़ानी होगी।

5. "फिल्टर" बनाम "सेलेक्टर" (एक बड़ा मोड़)

पेपर में परीक्षण किया गया कि क्या होता है जब आप AI के "एनकोडर" (वह हिस्सा जो तय करता है कि कौन सी विशेषताएं सक्रिय होंगी) को एक रैंडम, अव्यवस्थित एनकोडर से बदल देते हैं।

परिणाम: जब उन्होंने एक रैंडम एनकोडर का उपयोग किया, तो "महत्वपूर्ण" विशेषताओं की संख्या 9 गुना बढ़ गई।
निष्कर्ष: प्रशिक्षित एनकोडर एक "सेलेक्टर" (चुनने वाला) नहीं है जो सबसे अच्छी विशेषताओं को चुनता है। यह एक फिल्टर (या दमन करने वाला/suppressor) है। इसका मुख्य काम बैकग्राउंड नॉइज़ को बंद करना है।
उपमा: एनकोडर को एक क्लब के बाउंसर के रूप में सोचें। आपको लग सकता है कि बाउंसर "कूल" लोगों (विशेषताओं) को अंदर आने देने के लिए वहां है। लेकिन यह पेपर दिखाता है कि बाउंसर वास्तव में भीड़ को बाहर रखने के लिए है। यदि आप बाउंसर को हटा देते हैं (रैंडम एनकोडर का उपयोग करते हैं), तो क्लब अराजक और उन लोगों से भर जाएगा जिनका वहां कोई स्थान नहीं है। "कूल" लोग हमेशा वहीं थे; बाउंसर ने बस यह सुनिश्चित किया कि शोर उन्हें दबा न दे।

सारांश: इसका क्या अर्थ है?

अधिक आकार $\neq$ अधिक जटिलता: AI मॉडल को बड़ा बनाना जरूरी नहीं कि उन्हें सोचने के अधिक "प्रकार" दे; यह बस उन्हें एक ही बात कहने के अधिक तरीके देता है।
"बॉस" की संख्या निश्चित है: एक लेयर कितने स्वतंत्र "बॉस" अवधारणाओं को संभाल सकती है, इसकी एक सख्त सीमा है, चाहे मॉडल कितना भी बड़ा क्यों न हो।
व्याख्यात्मकता (Interpretability) को नए फोकस की आवश्यकता है: यदि आप समझना चाहते हैं कि एक AI कैसे सोचता है, तो केवल "सबसे तेज़" विशेषताओं को न देखें। आपको यह देखने की जरूरत है कि सिस्टम शोर को कैसे फिल्टर करता है, क्योंकि असली संरचना वहीं निहित है।

पेपर का निष्कर्ष है कि हमारे पास AI लेयर की वास्तविक "सोचने की क्षमता" को गिनने का एक नया, मापने योग्य तरीका है, और यह क्षमता उतनी बड़ी और स्थिर नहीं है जितनी कि हम पहले सोचते थे।

तकनीकी सारांश: ट्रांसफॉर्मर रिप्रजेंटेशन की कॉज़ल डाइमेंशनलिटी (Causal Dimensionality)

समस्या विवरण (Problem Statement)

स्पार्स ऑटोएनकोडर (SAEs) ट्रांसफॉर्मर रेसिडुअल स्ट्रीम को व्याख्या योग्य, मोनोसेमेंटिक फीचर डिक्शनरी में विघटित करने के लिए एक मानक उपकरण बन गए हैं। इस क्षेत्र में एक प्रचलित धारणा यह है कि रिप्रजेंटेशनल कैपेसिटी (फीचर्स की संख्या जो किसी भी इनपुट पर सक्रिय होते हैं) कॉज़ल कैपेसिटी (फीचर्स की संख्या जिनका व्यवधान वास्तव में मॉडल के व्यवहार को बदल देता है) के साथ रैखिक रूप से स्केल करती है। यदि यह सत्य है, तो केवल SAE की चौड़ाई (width) बढ़ाने से व्याख्यात्मक यांत्रिकी (mechanistic interpretability) के लिए उपलब्ध कॉज़ल रूप से प्रासंगिक फीचर्स का सेट आनुपातिक रूप से बढ़ जाएगा।

यह शोध पत्र उस धारणा को चुनौती देता है, यह तर्क देते हुए कि जैसे-जैसे SAE स्केल होते हैं, रिप्रजेंटेशनल और कॉज़ल कैपेसिटी महत्वपूर्ण रूप से अलग हो जाते हैं। लेखक प्रतिपादित करते हैं कि क्षेत्र में SAE चौड़ाई और कॉज़ल प्रभाव के बीच संबंध के व्यवस्थित लक्षण वर्णन का अभाव है, जिसके लिए ट्रांसफॉर्मर लेयर्स की अंतर्निहित कॉज़ल संरचना को मापने के लिए एक नए मीट्रिक की आवश्यकता है।

कार्यप्रणाली (Methodology)

1. कॉज़ल डाइमेंशनलिटी ( $\kappa$ ) को परिभाषित करना

लेखक कॉज़ल डाइमेंशनलिटी को परिभाषित करते हैं, जिसे $\kappa(L, M, T)$ द्वारा दर्शाया गया है, जो लेयर $L$ पर अपेक्षित जैकोबियन आउटर प्रोडक्ट (expected Jacobian outer product) के प्रभावी रैंक (effective rank) के रूप में परिभाषित है:
$\kappa(L, M, T) = \text{eff-rank}(\Sigma_L), \quad \text{जहाँ } \Sigma_L = \mathbb{E}_{x \sim T} [J_L(x)^\top J_L(x)]$
यहाँ $J_L(x)$ रेसिडुअल स्ट्रीम के सापेक्ष मॉडल आउटपुट का जैकोबियन है। $\kappa$ रेसिडुअल स्ट्रीम में उन दिशाओं की प्रभावी संख्या को दर्शाता है जो आउटपुट को कॉज़ल रूप से प्रभावित करती हैं। लेखक सिद्ध करते हैं कि $\kappa \le \min(d, |V|)$ है, जहाँ $d$ मॉडल डायमेंशन है और $|V|$ वोकैबुलरी साइज है।

2. SAE विड्थ स्वीप और एट्रिब्यूशन पैचिंग के माध्यम से अनुमान

चूंकि $\Sigma_L$ की सटीक गणना करना कठिन है (प्रत्येक इनपुट के लिए $d$ बैकवर्ड पास की आवश्यकता होती है), लेखक एक सुसंगत अनुमानक (consistent estimator) प्रस्तावित करते हैं जो एट्रिब्यूशन पैचिंग (AtP) को SAE विड्थ स्वीप के साथ जोड़ता है:

एट्रिब्यूशन पैचिंग (AtP): कॉज़ल प्रभाव के प्रथम-क्रम प्रॉक्सी (first-order proxy) के रूप में उपयोग किया जाता है। फीचर $i$ के लिए स्कोर $AtP_i = \mathbb{E} [|\frac{\partial \mathcal{L}}{\partial f_i} \cdot f_i(x)|]$ है, जो लॉस (loss) पर फीचर के प्रभाव को मापता है।
विड्थ स्वीप (Width Sweep): लेखकों ने Gemma-2-2B (लेयर 12) पर 16,384 से 1,048,576 फीचर्स की सात चौड़ाई के बीच SAEs को प्रशिक्षित किया।
मीट्रिक: वे उन फीचर्स की संख्या $N_{causal}(m)$ गिनते हैं जो एक कैलिब्रेटेड एब्सोल्यूट थ्रेशोल्ड $\epsilon$ (जिसे रेफरेंस विड्थ पर AtP स्कोर के 98वें पर्सेंटाइल पर सेट किया गया है) से अधिक हैं।
सुसंगतता (Consistency): स्पैनिंग, फेथफुलनेस और नो डेड फीचर्स की धारणाओं के तहत, $N_{causal}(m)$ , $\kappa$ को लोअर-बाउंड करने वाले स्पेक्ट्रल काउंट की ओर अभिसरित (converge) होता है।

3. प्रयोगात्मक नियंत्रण (Experimental Controls)

अध्ययन कॉज़ल सिग्नल को अलग करने के लिए कठोर नियंत्रणों का उपयोग करता है:

मैच्ड- $\ell_0$ (Matched- $\ell_0$ ): स्पर्सिटी ड्रिफ्ट (sparsity drift) के कारण होने वाले भ्रम को रोकने के लिए विभिन्न चौड़ाई के बीच सक्रिय फीचर्स की औसत संख्या को नियंत्रित करना।
स्केल इनवेरिएंस (Scale Invariance): मैच की गई रिलेटिव डेप्थ पर Gemma-2-2B और Gemma-2-9B की तुलना करना।
आर्किटेक्चर इनवेरिएंस (Architecture Invariance): TopK, JumpReLU, और मानक ReLU SAEs का परीक्षण करना।
एब्लेशन (Ablations): फीचर सिलेक्शन और स्पर्सिटी फिल्टरिंग के बीच अंतर करने के लिए एक चार-सेल एनकोडर/डिकोडर एब्लेशन।
सिंथेटिक ग्राउंड ट्रुथ (Synthetic Ground Truth): एक खिलौना मॉडल (toy model) में ज्ञात कॉज़ल दिशाओं की रिकवरी का परीक्षण करना।

मुख्य परिणाम (Key Results)

1. द रिप्रजेंटेशनल–कॉज़ल वेज (The Representational–Causal Wedge)

Gemma-2-2B लेयर 12 पर, SAE विड्थ को 64× (16k से 1M) बढ़ाने से परिणाम स्वरूप हुआ:

रिप्रजेंटेशनल ग्रोथ: सक्रिय फीचर्स की संख्या ( $N_{repr}$ ) में 15.6× की वृद्धि हुई।
कॉज़ल ग्रोथ: कॉज़ली सक्रिय फीचर्स की संख्या ( $N_{causal}$ ) में केवल 4.35× की वृद्धि हुई।
यह विचलन, जिसे रिप्रजेंटेशनल–कॉज़ल वेज कहा गया है, यह प्रदर्शित करता है कि जबकि रिप्रजेंटेशनल कैपेसिटी रैखिक रूप से बढ़ती है, कॉज़ल कैपेसिटी सब-लीनियर रूप से संतृप्त (saturate) होती है।

2. $\kappa$ का अनुमान

$N_{causal}(m)$ प्रक्षेपवक्र (trajectory) पर एक सैचुरेटिंग कर्व फिट करने से अनुमानित कॉज़ल डाइमेंशनलिटी प्राप्त होती है:

$\hat{\kappa} \approx 1,990$ (हार्डवेयर सीमाओं के कारण एक विस्तृत कॉन्फिडेंस इंटरवल के साथ, लेकिन एक मजबूत अनुपात)।
$\hat{\kappa} / d_{model} \approx 0.86$ : मॉडल जेनेरिक टेक्स्ट पर अपनी लगभग सभी रिप्रजेंटेशनल डायमेंशन्स का कॉज़ल रूप से उपयोग करता है, लेकिन यह संख्या सीमित है और SAE चौड़ाई के साथ नहीं बढ़ती है।
पार्टिसिपेशन रेशियो (Participation Ratio): एक लोअर बाउंड $\kappa_{PR} \approx 280$ एक हेवी-टेल्ड स्पेक्ट्रम की ओर संकेत करता है।

3. इनवेरिएंस और स्ट्रक्चर (Invariance and Structure)

स्केल इनवेरिएंस: मैच की गई रिलेटिव डेप्थ पर समान कॉज़ल काउंट ( $N_{causal} = 328$ ) बनाए रखते हुए, 3.46× पैरामीटर वृद्धि (Gemma-2-2B बनाम 9B) के बावजूद, यह स्थिर रहा। यह सुझाव देता है कि $\kappa$ टास्क विविधता द्वारा निर्धारित होता है, न कि पैरामीटर काउंट द्वारा।
डेप्थ एटेन्यूएशन (Depth Attenuation): आठ लेयर्स में, टॉप 2% फीचर्स को पहचानने के लिए आवश्यक एब्सोल्यूट एट्रिब्यूशन थ्रेशोल्ड लेयर 1 से लेयर 23 तक 20× गिर गया, जो दर्शाता है कि गहराई के साथ कॉज़ल सिग्नल स्ट्रेंथ कम होती जाती है।
आर्किटेक्चर इनवेरिएंस: $N_{causal}$ की सब-लीनियर ग्रोथ TopK, JumpReLU, और मानक ReLU आर्किटेक्चर में बनी रही।

4. मैकेनिस्टिक इनसाइट: एनकोडर एक फिल्टर के रूप में

चार-सेल एब्लेशन से एक महत्वपूर्ण निष्कर्ष निकला कि प्रशिक्षित एनकोडर (trained encoder) को एक रैंडम ऑर्थोगोनल प्रोजेक्शन से बदलने पर $N_{causal}$ में 9.27× की वृद्धि हुई।

निहितार्थ: प्रशिक्षित एनकोडर मुख्य रूप से एक स्पर्सिटी फिल्टर (बैकग्राउंड फीचर्स को दबाने वाला) के रूप में कार्य करता है, न कि एक फीचर सेलेक्टर के रूप में।
परिणाम: एनकोडर फीचर लेबल्स पर केंद्रित व्याख्यात्मक कार्य गलत दिशा में हो सकता है; डिकोडर स्ट्रक्चर और दबाए गए फीचर्स की रूटिंग अधिक महत्वपूर्ण है।

5. वैलिडेशन और कंट्रोल्स

जियोमेट्रिक प्रिविलेज (Geometric Privilege): कॉज़ल फीचर्स ने डिकोडर स्पेस में नॉन-कॉज़ल फीचर्स से कोई ज्यामितीय अंतर (मैग्निट्यूड या कोसाइन सिमिलैरिटी) नहीं दिखाया।
सिंथेटिक रिकवरी: एक खिलौना मॉडल में AtP, ग्राउंड-ट्रुथ कॉज़ल दिशाओं को रिकवर करने में विफल रहा (रिकॉल = 0), जो पुष्टि करता है कि AtP डिकोडर के माध्यम से रूट किए गए एक्टिवेशन पैटर्न को मापता है, न कि सीधे कॉज़ल बेसिस की रिकवरी को।
टास्क-स्पेसिफिक रिकवरी: विशिष्ट टास्क सर्किट्स (Marks et al., 2025) पर, टॉप 5% AtP फीचर्स ने 98.2% ग्राउंड ट्रुथ को रिकवर किया, जो एक "लेयर्ड स्ट्रक्चर" का समर्थन करता है जहाँ एक हाई-AtP कोर साझा किया जाता है, जिसके चारों ओर एक टास्क-स्पेसिफिक हेलो (halo) होता है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र $\kappa$ को एक मापने योग्य, मॉडल-इंट्रिन्सिक प्रॉपर्टी के रूप में स्थापित करता है। इसके प्राथमिक योगदान हैं:

सैद्धांतिक परिभाषा: कॉज़ल डायमेंशनलिटी को कॉज़ल जैकोबियन के प्रभावी रैंक के रूप में परिभाषित करना और इसके ऊपरी स्तरों (upper bounds) को सिद्ध करना।
अनुभवजन्य लक्षण वर्णन (Empirical Characterization): यह प्रदर्शित करना कि कॉज़ल कैपेसिटी SAE चौड़ाई द्वारा सब-लीनियर रूप से रिकवरेबल है और मॉडल स्केलिंग के प्रति इनवेरिएंट है, जो इस धारणा का खंडन करता है कि व्यापक SAEs कॉज़ल व्याख्यात्मकता को रैखिक रूप से बढ़ाते हैं।
मैकेनिस्टिक रिफ्रेमिंग: प्रशिक्षित एनकोडर को एक स्पर्सिटी फिल्टर के रूप में पहचानना, यह सुझाव देते हुए कि "कॉज़ल सेट" विशिष्ट अवधारणाओं के चयन के बजाय बैकग्राउंड शोर को दबाने से परिभाषित होता है।
व्यावहारिक निहितार्थ: वर्तमान SAE चौड़ाई (जैसे, 1M) अनुमानित $\hat{\kappa}$ के केवल ~72% को कैप्चर करती है, जिसका अर्थ है कि पूर्ण कॉज़ल एन्यूमरेशन के लिए, काफी व्यापक SAEs (लगभग 2.6M) की आवश्यकता होगी, जो वर्तमान में कम्प्यूटेशनल रूप से अत्यधिक कठिन है।

लेखक निष्कर्ष निकालते हैं कि "वेज" (wedge) ट्रांसफॉर्मर रिप्रजेंटेशन का एक मौलिक गुण है, जो कॉज़ल सबस्पेस डायमेंशन्स के संतृप्ति (saturation) द्वारा संचालित होता है, और व्याख्यात्मक प्रयासों को इस गैर-रैखिक स्केलिंग और बैकग्राउंड फीचर्स को फिल्टर करने में एनकोडर की विशिष्ट भूमिका को ध्यान में रखना चाहिए।