तकनीकी सारांश: विरल विशेषताओं से विश्वसनीय प्रॉक्सी तक (From Sparse Features to Trustworthy Proxies)

1. समस्या विवरण (Problem Statement)

स्पार्स ऑटोएनकोडर्स (SAEs) का व्यापक रूप से उपयोग सुपरपोजिशन और पॉलीसेमेंटिकिटी (polysemanticity) की समस्याओं को हल करने के लिए फ्रोजन लार्ज लैंग्वेज मॉडल्स (LMs) से व्याख्यात्मक, मानव-निरीक्षण योग्य विशेषताओं को निकालने के लिए किया जाता है। हालाँकि, एक मौलिक अंतराल बना हुआ है: कोई कठोर मानदंड नहीं है जिससे यह निर्धारित किया जा सके कि कब एक SAE-आधारित स्पष्टीकरण अंतर्निहित फ्रोजन LM का एक वफादार (faithful) दृश्य बनाता है। वर्तमान उपयोग अक्सर SAEs को बिना किसी प्रमाण के अनौपचारिक व्याख्यात्मक उपकरणों के रूप में देखते हैं, बिना यह प्रमाणित किए कि क्या स्पार्स प्रॉक्सी पर्याप्त भविष्य कहनेवाला (predictive) जानकारी बनाए रखती है या मूल नेटवर्क के आउटपुट के करीब रहती है।

यह शोध पत्र इस प्रश्न को संबोधित करता है: कब एक SAE-आधारित स्पष्टीकरण को अंतर्निहित फ्रोजन LM पर एक वफादार लेंस माना जा सकता है? लेखक प्रस्तावित करते हैं कि विश्वास (trust) को परिचालन रूप से उपयोगिता (प्रॉक्सी यह प्रमाणित करती है कि मॉडल बेसलाइन के सापेक्ष गैर-तुच्छ है) और व्यवहार संबंधी वफादारी (प्रॉक्सी मूल नेटवर्क के आउटपुट के करीब रहती है) के संयोजन के रूप में परिभाषित किया जाना चाहिए।

2. कार्यप्रणाली (Methodology)

2.1. SAE-प्रेरित स्पार्स प्रॉक्सी (The SAE-Induced Sparse Proxy)

लेखक एक विशिष्ट हिडन लेयर पर फ्रोजन LM ($M$) को संशोधित करके एक प्रॉक्सी प्रेडिक्टर $(S \circ M)$ को परिभाषित करते हैं। इसके बजाय कि वे नेटिव डेंस एक्टिवेशन $h(x)$ का उपयोग करें, प्रॉक्सी इसे SAE पुनर्निर्माण (reconstruction) $\hat{h}(x) = S(h(x))$ से बदल देती है। $M$ की डाउनस्ट्रीम लेयर्स अपरिवर्तित रहती हैं। यह एक ऐसा प्रेडिक्टर बनाता है जो SAE से प्राप्त स्पार्स फीचर रिप्रजेंटेशन पर निर्भर करता है।

2.2. पोस्ट-हॉक प्रमाणन ढांचा (Post-Hoc Certification Framework)

मुख्य योगदान एक पोस्ट-हॉक जनरलाइजेशन फ्रेमवर्क है जो चार मापने योग्य मात्राओं का उपयोग करके मूल मॉडल के अपेक्षित जोखिम ($R(M)$) पर एक ऊपरी सीमा (upper bound) व्युत्पन्न करता है। यह ढांचा SAE और बेस मॉडल को फिक्स्ड ओरैकल्स के रूप में मानता है और कैलिब्रेशन चरण के दौरान देखे गए स्पार्स फीचर्स के आधार पर एक परिमित हाइपोथीसिस क्लास (finite hypothesis class) का निर्माण करता है।

व्युत्पन्न जनरलाइजेशन बाउंड (Eq. 15) है:
$$R(M) \leq \hat{R}_S(h_{G^*}) + \hat{\epsilon}_{loss} + B\left(\hat{\eta} + \sqrt{\frac{\log(2/\delta)}{2N}}\right) + B\sqrt{\frac{P \log(em/P) + \log(2/\delta)}{2N}} + B\sqrt{\frac{\log(4/\delta)}{2N}}$$

चार प्रमुख घटक हैं:

1. प्रॉक्सी रिस्क ($\hat{R}_S$): स्पार्स प्रॉक्सी प्रेडिक्टर का एम्पीरिकल रिस्क।
2. पुनर्निर्माण अंतराल ($\hat{\epsilon}_{loss}$): मूल मॉडल और अनरिस्ट्रिक्टेड SAE प्रॉक्सी के बीच लॉस में अपेक्षित विसंगति।
3. कॉन्सेप्ट-पूल मिसमैच ($\hat{\eta}$): वह संभावना कि मूल्यांकन डेटा पर भविष्यवाणी के लिए आवश्यक सक्रिय फीचर्स (Top-$k$ सपोर्ट) कैलिब्रेशन डेटा से निर्मित कॉन्सेप्ट पूल ($G^*$) से बाहर गिरते हैं।
4. स्पार्स कॉम्प्लेक्सिटी (Sparse Complexity): एक टर्म जो LM के कुल पैरामीटर काउंट के बजाय सक्रिय फीचर पूल ($P$) के आकार द्वारा नियंत्रित होता है, जिसे पूल-प्रतिबंधित प्रेडिक्टर्स के परिमित वर्ग पर ऑकम-शैली (Occam-style) के बाउंड से निकाला गया है।

2.3. विश्वास की परिचालन परिभाषा (Operational Definition of Trust)

एक प्रमाण पत्र (certificate) को तब गैर-रिक्त (non-vacuous) कहा जाता है जब ऊपरी सीमा एक अनभिज्ञ बेसलाइन (रैंडम गेसिंग, $\log_2(V/\alpha)$) के जोखिम से नीचे गिर जाती है। एक गैर-रिक्त बाउंड यह संकेत देता है कि स्पार्स प्रॉक्सी फ्रोजन मॉडल की गैर-तुच्छता को प्रमाणित करने के लिए पर्याप्त सूचनात्मक है। साथ ही, छोटा पुनर्निर्माण अंतराल और मिसमैच टर्म्स यह दर्शाते हैं कि प्रॉक्सी व्यवहार संबंधी रूप से वफादार है।

3. मुख्य योगदान (Key Contributions)

1. सिद्धांतिक विश्वास मानदंड (Principled Trust Criterion): लेखक एक पोस्ट-हॉक प्रमाणन ढांचे को पेश करते हैं जो SAE-आधारित स्पष्टीकरणों की विश्वसनीयता को चार मापने योग्य शब्दों में विभाजित करता है: प्रॉक्सी रिस्क, पुनर्निर्माण अंतराल, कॉन्सेप्ट-पूल मिसमैच और स्पार्स कॉम्प्लेक्सिटी।
2. गैर-रिक्त प्रमाण पत्र (Non-Vacuous Certificates): वे प्रदर्शित करते हैं कि यह ढांचा GPT-2 Small, Gemma-2B, और Llama-3-8B के लिए व्यावहारिक सैंपल साइज पर गैर-रिक्त जनरलाइजेशन बाउंड प्रदान करता है, जिससे यह सिद्ध होता है कि जटिलता के लिए प्रासंगिक मीट्रिक स्पार्स प्रॉक्सी है, न कि कच्चा पैरामीटर काउंट।
3. लेयरवाइज विश्लेषण (Layerwise Analysis): Llama-3-8B पर एक केस स्टडी के माध्यम से, यह शोध पत्र एक मजबूत गहराई निर्भरता (depth dependence) को प्रकट करता है। बाद की लेयर्स को शुरुआती या मध्यवर्ती लेयर्स की तुलना में प्रमाणित करना काफी आसान है। इसे दो कारकों के कारण जिम्मेदार ठहराया गया है:
   • मजबूत स्थानीय निष्ठा (Stronger Local Fidelity): बाद की लेयर्स बेहतर स्थानीय SAE पुनर्निर्माण गुणवत्ता प्रदर्शित करती हैं।
   • कमजोर त्रुटि प्रवर्धन (Weaker Error Amplification): बाद की लेयर्स में SAE बॉटलनेक द्वारा उत्पन्न त्रुटियां शुरुआती लेयर्स की तुलना में डाउनस्ट्रीम कंप्यूटेशन द्वारा कम एम्प्लीफाई की जाती हैं।
4. सिमेंटिक बनाम सांख्यिकीय स्पर्सिटी (Semantic vs. Statistical Sparsity): फीचर-शफलिंग एब्लेशन के माध्यम से, लेखक दिखाते हैं कि प्रमाण पत्र वास्तविक सिमेंटिक अलाइनमेंट और केवल सांख्यिकीय स्पर्सिटी के बीच अंतर करता है। फीचर इंडेक्स को रैंडमली परम्यूट (permute) करने से (जो स्पर्सिटी काउंट को सुरक्षित रखते हुए सिमेंटिक अर्थ को नष्ट कर देता है) पुनर्निर्माण अंतराल नाटकीय रूप से बढ़ जाता है, जिससे प्रमाण पत्र विफल हो जाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

• जनरलाइजेशन बाउंड्स: GPT-2 Small, Gemma-2B, और Llama-3-8B पर, बाउंड्स ~25k से ~223k टोकन के सैंपल साइज पर गैर-रिक्त होते हैं। Gemma-2B, अधिक पैरामीटर होने के बावजूद GPT-2 Small की तुलना में इस रेजीम में जल्दी पहुँच जाता है, जबकि Llama-3-8B को बड़े सैंपल की आवश्यकता होती है लेकिन फिर भी यह गैर-रिक्तता प्राप्त करता है।
• लेयरवाइज डिपेंडेंस (Llama-3-8B):
  • शुरुआती लेयर्स (जैसे, 4, 8, 12): बाउंड्स अनंत सैंपल्स के साथ भी रिक्त (vacuous) रहते हैं क्योंकि एसिम्प्टोटिक फ्लोर (प्रॉक्सी रिस्क + पुनर्निर्माण अंतराल) रैंडम बेसलाइन से अधिक होता है।
  • बाद की लेयर्स (जैसे, 24, 28, 30): बाउंड्स गैर-रिक्त हो जाते हैं। सक्रिय कॉन्सेप्ट पूल का आकार ($P$) गहराई के साथ बढ़ता है, फिर भी बाउंड टाइट हो जाता है क्योंकि पुनर्निर्माण अंतराल और प्रॉक्सी रिस्क तेजी से घटते हैं।
  • फिडेलिटी मेट्रिक्स: बेस मॉडल और प्रॉक्सी के बीच KL डाइवर्जेंस (divergence) बाद की लेयर्स में काफी गिर जाता है (जैसे, लेयर 4 पर ~8.35 से लेयर 30 पर ~0.77 तक), और टॉप-1 एग्रीमेंट ~0.8% से बढ़कर ~67% हो जाता है।
• डाउनस्ट्रीम टास्क: लेयरवाइज पैटर्न डाउनस्ट्रीम टास्क प्रदर्शन (WinoGrande, PIQA, HellaSwag) के साथ सह-संबंधित है। वे लेयर्स जिन्हें प्रमाणित करना आसान है (बाद की लेयर्स), प्रॉक्सी के रूप में उपयोग किए जाने पर काफी कम सटीकता गिरावट (accuracy drop) का सामना करती हैं।
• सिमेंटिक स्पेसिफिसिटी: फीचर-शफलिंग एब्लेशन में, फीचर आइडेंटिटी को रैंडमाइज करते हुए स्पर्सिटी पैटर्न को सुरक्षित रखने से पुनर्निर्माण अंतराल लगभग 6.5–9.5 बिट्स बढ़ गया, जिससे प्रमाण पत्र रिक्त हो गया। यह पुष्टि करता है कि बाउंड केवल फीचर्स की स्पर्सिटी पर नहीं, बल्कि उनके सिमेंटिक उपयोगिता पर निर्भर करता है।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र SAE-आधारित व्याख्यात्मकता के लिए एक स्ट्रक्चरल सर्टिफिकेशन फ्रेमवर्क और संबंधित डायग्नोस्टिक्स प्रदान करने का दावा करता है, न कि भाषा मॉडल सीखने का एक पूर्ण सिद्धांत।

• परिचालन विश्वास (Operational Trust): लेखक जोर देते हैं कि यहाँ "विश्वास" एक न्यूनतम, रिस्क-फेथफुल अवधारणा है। यह दावा नहीं करता कि सक्रिय SAE फीचर्स एक पूर्ण सिमेंटिक या कॉज़ल स्पष्टीकरण बनाते हैं। इसके बजाय, यह स्थापित करता है कि स्पार्स प्रॉक्सी विशिष्ट स्थितियों के तहत विश्वसनीय व्याख्या का समर्थन करने के लिए पर्याप्त सूचनात्मक और कम-विकृति (low-distortion) वाला है।
• डायग्नोस्टिक उपयोगिता (Diagnostic Utility): यह ढांचा एक डायग्नोस्टिक टूल के रूप में कार्य करता है जिससे यह निर्धारित किया जा सके कि SAE-आधारित स्पष्टीकरण कब और कहाँ (कौन सी लेयर्स) विश्वसनीय हैं। परिणाम बताते हैं कि पैच लोकेशन महत्वपूर्ण है; Llama-3-8B जैसे मॉडल्स में बाद की लेयर्स बेहतर स्थानीय प्रतिनिधित्व और कम एरर प्रोपेगेशन के कारण अधिक विश्वसनीय स्पार्स लेंस प्रदान करती हैं।
• सीमाएं (Limitations): शोध पत्र स्पष्ट रूप से नोट करता है कि प्रमाण पत्र वितरण-निर्भर (distribution-dependent) है। सिंथेटिक इनपुट करप्शन (रैंडम टोकन रिप्लेसमेंट) के तहत, बाउंड खराब हो जाता है और अनइंफॉर्मेटिव हो जाता है, जो यह दर्शाता है कि SAE-व्युत्पन्न व्याख्याओं में प्रशिक्षण वितरण के बाहर औपचारिक गारंटी का अभाव है। इसके अलावा, Llama-3-8B में देखी गई मजबूत गहराई निर्भरता सार्वभौमिक नहीं थी (उदाहरण के लिए, GPT-2 Small ने कमजोर लेयर संवेदनशीलता दिखाई), जो बताता है कि यह घटना मॉडल-विशिष्ट है।

संक्षेप में, यह कार्य गुणात्मक SAE विश्लेषण से मात्रात्मक, जोखिम-आधारित प्रमाणन की ओर विमर्श को स्थानांतरित करता है, जो एक ठोस मानदंड प्रदान करता है कि कब एक स्पार्स प्रॉक्सी को फ्रोजन लैंग्वेज मॉडल के एक वफादार लेंस के रूप में विश्वसनीय माना जा सकता है।