The Geometric Wall: Manifold Structure Predicts Layerwise Sparse Autoencoder Scaling Laws

तकनीकी सारांश: ज्यामितीय दीवार: मैनिफोल्ड संरचना परतवार स्पार्स ऑटोएन्कोडर स्केलिंग लॉ को निर्धारित करती है

समस्या विवरण
स्पार्स ऑटोएन्कोडर्स (SAEs) लीनियर रिप्रेजेंटेशन हाइपोथेसिस (LRH) को क्रियान्वित करते हैं, जहाँ वे डिक्शनरी एटम्स के स्पारस लीनियर कॉम्बिनेशन के रूप में मॉडल एक्टिवेशन्स का पुनर्निर्माण करते हैं। यह दृष्टिकोण अंतर्निहित रूप से यह मान लेता है कि एक्टिवेशन स्पेस को एक वैश्विक रूप से रैखिक संरचना (globally linear structure) द्वारा अनुमानित किया जा सकता है। हालाँकि, SAE पुनर्निर्माण हानि (reconstruction loss) के मौजूदा स्केलिंग लॉ—विशेष रूप से डिक्शनरी चौड़ाई ($n$) और स्पर्सिटी ($k$) के संबंध में संयुक्त पावर लॉ—केवल एकल परतों (जैसे, GPT-4 लेयर 5/6) पर फिट किए गए हैं और नेटवर्क की विभिन्न परतों में देखे जाने वाले पुनर्निर्माण त्रुटि के तीव्र उतार-चढ़ाव को ध्यान में नहीं रखते हैं।

यह शोध पत्र तर्क देता है कि यह भिन्नता केवल एक संसाधन सीमा नहीं है, बल्कि एक ज्यामितीय बेमेल (geometric mismatch) का अनुभवजन्य निशान है। जबकि SAEs एक सपाट, वैश्विक रूप से रैखिक आधार (basis) मानते हैं, बड़े भाषा मॉडलों के एक्टिवेशन मैनिफोल्ड्स वक्रीय (curved) होते हैं, और उनकी अंतर्निहित विमा (intrinsic dimension) गहराई के साथ व्यवस्थित रूप से बदलती है। फलस्वरूप, कोई भी एकल स्पार्स लीनियर डिक्शनरी इन मैनिफोल्ड्स से समान रूप से मेल नहीं खा सकती, जिससे SAE का चौड़ाई-स्पर्सिटी स्केलिंग, एक सार्वभौमिक नियम के बजाय मैनिफोल्ड की ज्यामिति का एक परत-निर्भर फलन (layer-dependent function) बन जाता है।

कार्यप्रणाली
लेखक Gemma Scope परिवार के 844 रेसिडुअल-स्ट्रीम SAE चेकपॉइंट्स का उपयोग करके पहला क्रॉस-लेयर स्केलिंग अध्ययन आयोजित करते हैं, जो Gemma 2 2B के सभी 26 परतों और Gemma 2 9B के सभी 42 परतों को कवर करता है। विश्लेषण दो चरणों में आगे बढ़ता है:

1. चरण 1: प्रति-परत स्केलिंग सतह फिटिंग (Per-Layer Scaling Surface Fitting)

   • प्रत्येक परत के लिए, लेखक पुनर्निर्माण हानि ($L$) को डिक्शनरी चौड़ाई ($n$) और स्पर्सिटी ($k$) के फलन के रूप में एक "नो-फ्लोर" लॉग-लीनियर स्केलिंग सतह को फिट करते हैं।
   • अधिकांश परतों में सीमित चौड़ाई कवरेज (केवल दो बैकबोन चौड़ाई उपलब्ध) के कारण, वे एक 4-पैरामीटर सतह फिट करते हैं: $\log L = a_0 + \beta_n \log n + \beta_k \log k + \gamma \log n \log k$।
   • इससे, वे प्रति-परत चौड़ाई-स्केलिंग एक्सपोनेंट $\alpha_\ell(k) = -(\beta_{n,\ell} + \gamma_\ell \log k)$ प्राप्त करते हैं।
   • छह "शोकेस" परतों पर, जिनमें समृद्ध चौड़ाई ग्रिड ($\ge3$ चौड़ाई) है, वे एक 6-पैरामीटर "विद-फ्लोर" सतह ($L = A(k)n^{-\alpha(k)} + B(k)$) के संयुक्त गैर-रेखीय फिट को करते हैं ताकि एसिम्प्टोटिक पुनर्निर्माण फ्लोर $B(k)$ की पहचान की जा सके।

2. चरण 2: क्रॉस-लेयर ज्यामितीय प्रतिगमन (Cross-Layer Geometric Regression)

   • लेखक एक्सट्रिंसिक यूक्लिडियन एस्टिमेटर्स (TWO-NN, मल्टी-स्केल PCA, आदि) का उपयोग करके एक्टिवेशन मैनिफोल्ड के चार परतवार ज्यामितीय सारांशों की गणना करते हैं:
     • अंतर्निहित विमा ($d_{int}$): स्थानीय स्वतंत्रता की डिग्री।
     • मल्टी-स्केल कर्वेचर ($\kappa_{ms}$): विभिन्न त्रिज्याओं पर टेंजेंट प्लेन से औसत विचलन।
     • टेंजेंट वेरिएशन ($\kappa_{tv}$): टेंजेंट स्पेस रोटेशन की दर।
     • विषमता ($\nu$): अंतर्निहित विमा में स्थानीय भिन्नता।
   • वे चरण 1 के आउटपुट (विशेष रूप से चौड़ाई एक्सपोनेंट $\alpha_\ell(k)$ और गुणांक $\beta_n, \gamma$) को इन ज्यामितीय सारांशों के विरुद्ध ऑर्डिनरी लीस्ट स्क्वायर्स (OLS) का उपयोग करके प्रतिगमन (regress) करते हैं।
   • परिकल्पना परीक्षण एक ज्यामिति-अपरिवर्तनीय नल मॉडल ($H_0$) बनाम उन मॉडलों की तुलना करता है जहाँ लक्ष्य एकल विशेषताओं, कम-सहसंबंध वाले फीचर जोड़ों, या सभी चार विशेषताओं पर निर्भर है।
   • क्रॉस-मॉडल ट्रांसफर: एक मॉडल (जैसे, 2B) पर सीखे गए गुणांकों का उपयोग दूसरे मॉडल (9B) के प्रति-परत एक्सपोनेंट्स की भविष्यवाणी करने के लिए किया जाता है ताकि एक हस्तांतरणीय ज्यामितीय नियम का परीक्षण किया जा सके।

मुख्य योगदान

1. SAE अवशेषों के लिए ज्यामितीय ढांचा: यह शोध पत्र एक पुलबैक इन्फॉर्मेशन-जियोमेट्रिक विवरण प्रदान करता है जो समझाता है कि क्यों एक्टिवेशन स्पेस शायद वैश्विक रूप से कुशल स्पार्स लीनियर कोड को स्वीकार नहीं कर सकते हैं। यह प्रस्तावित करता है कि एक्टिवेशन स्पेस पर "प्राकृतिक" मेट्रिक पुलबैक फिशर-राओ मेट्रिक है, जबकि SAEs एम्बिएंट यूक्लिडियन दूरी के लिए अनुकूलित होते हैं, जिससे एक बेसिस-मैनिफोल्ड बेमेल उत्पन्न होता है।
2. ज्यामिति-कंडीशनड स्केलिंग लॉ: लेखक मानक चौड़ाई-स्पर्सिटी स्केलिंग लॉ को एक ज्यामिति-कंडीशनड खाते में विस्तारित करते हैं। वे प्रदर्शित करते हैं कि स्केलिंग लॉ के पैरामीटर (विशेष रूप से चौड़ाई एक्सपोनेंट) एक्टिवेशन मैनिफोल्ड की ज्यामिति के परतवार फलन हैं।
3. क्रॉस-मॉडल ज्यामितीय नियम और फ्लोर कपलिंग:
   • वे दिखाते हैं कि एक मॉडल पर फिट किए गए प्रतिगमन गुणांक दूसरे मॉडल के प्रति-परत चौड़ाई-स्केलिंग एक्सपोनेंट्स की उच्च निष्ठा के साथ भविष्यवाणी करते हैं, जो एक हस्तांतरणीय ज्यामितीय नियम का संकेत देता है।
   • शोकेस परतों में, एसिम्प्टोटिक पुनर्निर्माण फ्लोर ($B$) ज्यामितीय क्रम का अनुसरण करता है: उच्च कर्वेचर और उच्च अंतर्निहित विमा वाली परतें उच्च अपरिहार्य फ्लोर्स प्रदर्शित करती हैं।

परिणाम

• स्केलिंग एक्सपोनेंट्स की भविष्यवाणी: मैनिफोल्ड ज्यामिति प्रति-परत चौड़ाई-स्केलिंग एक्सपोनेंट $\alpha_\ell(k=50)$ की मजबूती से भविष्यवाणी करती है। मल्टी-स्केल कर्वेचर ($\kappa_{ms}$) प्रमुख एकल विशेषता है, जो 2B मॉडल में लगभग सभी क्रॉस-लेयर भिन्नता और 9B में अधिकांश भिन्नता की व्याख्या करती है।
• हस्तांतरणीयता: ज्यामितीय नियम हस्तांतरणीय है। Gemma 2 2B पर फिट किए गए प्रतिगमन गुणांक 9B एक्सपोनेंट्स की उच्च सटीकता ($R^2 \approx 0.92-0.93$) के साथ भविष्यवाणी करते हैं, और इसके विपरीत भी, जो यह सुझाव देता है कि यह संबंध किसी विशिष्ट मॉडल आकार का आर्टिफैक्ट नहीं है।
• ज्यामितीय दीवार (The Geometric Wall): उन परतों पर जहाँ एसिम्प्टोटिक फ्लोर की पहचान की जा सकती है, फ्लोर का परिमाण ज्यामितीय जटिलता के साथ सह-संबंधित होता है। उच्च कर्वेचर और उच्च अंतर्निहित विमा उच्च फ्लोर्स के अनुरूप होते हैं। इसे एक अपरिहार्य द्वितीय-क्रम अवशेष (second-order residual) के रूप में व्याख्यायित किया गया है: एक सपाट स्पार्स लीनियर डिक्शनरी वक्रीय मैनिफोल्ड का पूर्णतः अनुमान नहीं लगा सकती, जिससे एक अवशेष त्रुटि रह जाती है जो डिक्शनरी की चौड़ाई अनंत होने पर भी समाप्त नहीं होती।
• यांत्रिक व्याख्या: "ज्यामितीय दीवार" एक सीमित-संसाधन सीलिंग नहीं बल्कि एक ज्यामिति-निर्भर सीमा है। उच्च कर्वेचर टेंजेंट प्लेन से दूसरे क्रम के विचलन को बढ़ाता है, जबकि उच्च अंतर्निहित विमा उस हिस्से को कम करती है जिसे एक सीमित एटम बजट द्वारा कवर किया जा सकता है।

महत्व और दावे
यह शोध पत्र SAE सीमा को एक संसाधन सीलिंग के बजाय एक ज्यामिति-निर्भर दीवार के रूप में पुनर्गठित करने का दावा करता है। यह तर्क देता है कि SAE की निष्ठा (faithfulness) में परतवार भिन्नता सक्रिय मैनिफोल्ड संरचना द्वारा नियंत्रित होती है जिसे वर्तमान एकल-परत स्केलिंग अभ्यास अनमॉडल छोड़ देते हैं।

लेखक यह दावा नहीं करते कि SAEs व्याख्यात्मकता (interpretability) के लिए अनुपयुक्त हैं। इसके बजाय, वे यह दावा करते हैं कि परतवार स्केलिंग व्यवहार मौलिक रूप से उस मैनिफोल्ड संरचना द्वारा बाधित होता है जिसे SAE पुनर्निर्मित करने का प्रयास करता है। निष्कर्ष बताते हैं कि "लीनियर रिप्रेजेंटेशन हाइपोथेसिस" एक मेट्रिक-डिपेंडेंट सन्निकटन है; "सार्थक लीनियर दिशाएं" मेट्रिक-मुक्त नहीं हैं, और एम्बिएंट यूक्लिडियन मेट्रिक (जिसे SAEs द्वारा उपयोग किया जाता है) और प्रेडिक्टिव पुलबैक मेट्रिक के बीच का संरेखण गहराई के साथ व्यवस्थित रूप से बदलता है। यह कार्य यह समझने के लिए एक नैदानिक ढांचा प्रदान करता है कि SAE पुनर्निर्माण कहाँ और क्यों विफल होता है, जो इसे सीधे न्यूरल नेटवर्क के हिडन स्टेट्स के अंतर्निहित ज्यामिति से जोड़ता है।