🤖 machine learning

C $^{2}$ R: Cross-sample Consistency Regularization Mitigates Feature Splitting and Absorption in Sparse Autoencoders

यह शोध पत्र C $^2$ R को प्रस्तुत करता है, जो एक क्रॉस-सैंपल कंसिस्टेंसी रेगुलराइजेशन विधि है जो नमूनों (samples) के बीच सुसंगत लेटेंट असाइनमेंट को लागू करके स्पार्स ऑटोएनकोडर्स (Sparse Autoencoders) में फीचर स्प्लिटिंग और एब्जॉर्प्शन को कम करती है, जिससे पुनर्निर्माण निष्ठा (reconstruction fidelity) से समझौता किए बिना व्याख्यात्मकता (interpretability) में सुधार होता है।

मूल लेखक: Haoran Jin, Xiting Wang, Shijie Ren, Hong Xie, Defu Lian

प्रकाशित 2026-06-30

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haoran Jin, Xiting Wang, Shijie Ren, Hong Xie, Defu Lian

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "C2R: Cross-sample Consistency Regularization Mitigates Feature Splitting and Absorption in Sparse Autoencoders" शोध पत्र का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी तस्वीर: यह किस बारे में है?

कल्पना कीजिए कि आपके पास एक विशाल, जटिल मशीन (एक लार्ज लैंग्वेज मॉडल, या LLM) है जो टेक्स्ट लिखती है, सवालों के जवाब देती है और कोड बनाती है। इस मशीन के अंदर, अरबों छोटे स्विच (न्यूरॉन्स) हैं जो तब सक्रिय होते हैं जब मशीन "सोचती" है।

इस मशीन के काम करने के तरीके को समझने के लिए, वैज्ञानिक एक टूल का उपयोग करते हैं जिसे स्पार्स ऑटोएनकोडर (Sparse Autoencoder - SAE) कहा जाता है। एक SAE को एक अनुवादक (translator) के रूप में समझें जो मशीन के जटिल विचारों को सरल, मानव-पठनीय अवधारणाओं (जैसे "गणित," "विनम्रता," या "Base64 एन्कोडिंग") की एक सूची में तोड़ने की कोशिश करता है।

आदर्श रूप से, SAE में एक स्विच को ठीक से एक ही अवधारणा का प्रतिनिधित्व करना चाहिए। हालाँकि, शोध पत्र का तर्क है कि वर्तमान अनुवादक अव्यवस्थित हैं। वे दो मुख्य समस्याओं से जूझते हैं: स्प्लिटिंग (Splitting) और एब्जॉर्प्शन (Absorption)।

दो समस्याएँ: स्प्लिटिंग और एब्जॉर्प्शन

1. फीचर स्प्लिटिंग (Feature Splitting): "टूटी हुई पेंसिल" की समस्या

कल्पना कीजिए कि आपके पास "गणित" (Mathematics) नामक एक अवधारणा है। एक आदर्श दुनिया में, आपके अनुवादक में एक स्विच तब जलना चाहिए जब मशीन गणित के बारे में सोच रही हो।

लेकिन वास्तव में, अनुवादक भ्रमित हो जाता है। यह "गणित" को तीन अलग-अलग, छोटे स्विचों में विभाजित कर सकता है:

स्विच A "बीजगणित" (Algebra) के लिए जलता है।
स्विच B "ज्यामिति" (Geometry) के लिए जलता है।
स्विच C "कलन" (Calculus) के लिए जलता है।

उपमा: यह एक पूरी पेंसिल का वर्णन करने की कोशिश करने जैसा है, लेकिन आपका अनुवादक ज़िद करता है कि वह "लकड़ी," "ग्रेफाइट," और "इरेज़र" को तीन पूरी तरह से अलग, असंबंधित वस्तुओं के रूप में वर्णित करे। यह बड़े चित्र को देखना कठिन बना देता है क्योंकि अवधारणा को बहुत सारे छोटे, दोहराव वाले टुकड़ों में विभाजित कर दिया जाता है।

2. फीचर एब्जॉर्प्शन (Feature Absorption): "छतरी में छेद" की समस्या

कल्पना कीजिए कि आपके पास "S अक्षर से शुरू होने वाले शब्द" के लिए एक स्विच है। इसे "Snake," "Sun," और "Short" के लिए जलना चाहिए।

लेकिन कभी-कभी, "Short" शब्द के लिए एक विशिष्ट, अजीब स्विच बहुत शक्तिशाली हो जाता है। यह सिग्नल को "चुरा" लेता है। अब, आपका "S से शुरू होने वाले शब्द" वाला स्विच "Short" के लिए नहीं जलता है। यह केवल "Snake" और "Sun" के लिए जलता है।

उपमा: यह एक छतरी की तरह है जिसमें छेद है। छतरी को आपको बारिश (सभी S-शब्दों) से बचाने के लिए होनी चाहिए, लेकिन क्योंकि एक विशिष्ट हिस्सा (शब्द "Short") गायब है, इसलिए छतरी उस एक जगह पर आपकी सुरक्षा करने में विफल रहती है। अवधारणा विकृत हो जाती है क्योंकि इसमें मनमाने अपवाद होते हैं।

यह क्यों हो रहा है?

शोध पत्र कहता है कि इन अनुवादकों को प्रशिक्षित करने के तरीके वर्तमान में व्यक्तिगत क्षणों (एक समय में एक वाक्य) पर बहुत अधिक केंद्रित हैं।

वर्तमान दृष्टिकोण: एक एकल वाक्य को देखते समय, सिस्टम ऊर्जा बचाने के लिए कम से कम स्विचों का उपयोग करने की कोशिश करता है। यदि यह "गणित" को केवल "बीजगणित" स्विच का उपयोग करके वर्णित कर सकता है, तो यह स्थान बचाने के लिए "गणित" स्विच को अनदेखा कर देता है।
परिणाम: क्योंकि यह वाक्यों के पूरे बैच को एक साथ नहीं देखता है, इसलिए इसे यह एहसास नहीं होता कि "बीजगणित" और "ज्यामिति" वास्तव में एक ही "गणित" परिवार के हिस्से हैं। यह उन्हें अलग, प्रतिस्पर्धी विकल्पों के रूप में मानता है।

समाधान: C2R (Cross-sample Consistency Regularization)

लेखकों ने C2R नामक एक नया नियम प्रस्तावित किया है।

उपमा: "ग्रुप फोटो" का नियम
कल्पना कीजिए कि आप एक स्पोर्ट्स टीम की ग्रुप फोटो आयोजित कर रहे हैं।

पुराना तरीका: आप प्रत्येक खिलाड़ी से व्यक्तिगत रूप से पूछते हैं, "तुम कौन हो?" खिलाड़ी A कहता है "फॉरवर्ड," खिलाड़ी B कहता है "स्ट्राइकर," और खिलाड़ी C कहता है "गोल स्कोरर।" आप एक ही भूमिका के लिए तीन अलग-अलग श्रेणियां बना देते हैं।
C2R तरीका: आप एक बार में पूरे समूह को देखते हैं। आप महसूस करते हैं कि खिलाड़ी A, B और C सभी एक ही काम कर रहे हैं। आप सिस्टम को मजबूर करते हैं कि, "अरे, आप तीनों 'फॉरवर्ड' हैं। आइए आप सभी को एक ही लेबल के तहत रखें।"

तकनीकी रूप से यह कैसे काम करता है (सरलीकृत):
C2R टेक्स्ट के पूरे बैच को एक साथ देखता है। यदि यह देखता है कि दो अलग-अलग स्विच बहुत समान चीजों (जैसे "बीजगणित" और "ज्यामिति") के लिए जल रहे हैं, तो यह एक "पेनल्टी" लागू करता है। यह सिस्टम को बताता है: "इस अवधारणा को टुकड़ों में बांटना बंद करो। इन दो स्विचों को एक मजबूत, सुसंगत स्विच में मिला दो।"

यह मिंकोव्स्की असमानता (Minkowski inequality) के एक गणितीय सिद्धांत का उपयोग करता है जो मूल रूप से कहता है: दो हल्के बक्सों के बजाय एक भारी बॉक्स ले जाना अधिक कुशल है जिनमें एक ही तरह का सामान हो।

उन्होंने क्या पाया?

शोध पत्र ने कई AI मॉडलों पर इस नए नियम का परीक्षण किया और पाया:

इसने अव्यवस्था को ठीक कर दिया: इसने सफलतापूर्वक "स्प्लिटिंग" (टूटी हुई पेंसिल के हिस्सों को वापस जोड़ना) और "एब्जॉर्प्शन" (छतरी के छेदों को ठीक करना) को रोका।
इसने मशीन को खराब नहीं किया: कभी-कभी, जब आप किसी सिस्टम को अधिक व्यवस्थित होने के लिए मजबूर करते हैं, तो वह अपना काम उतनी अच्छी तरह से नहीं कर पाता है। लेकिन C2R ने स्विचों को व्यवस्थित किया बिना AI को उसके काम में कमजोर बनाए (इसने "रिकंस्ट्रक्शन फिडेलिटी" को उच्च रखा)।
यह पिछले सुधारों से बेहतर है: अन्य तरीकों ने स्विचों को एक-दूसरे से गणितीय रूप से भिन्न बनाने के लिए मजबूर करके इसे ठीक करने की कोशिश की, लेकिन C2R स्वच्छ, स्पष्ट और विश्वसनीय अवधारणाएं बनाने में अधिक प्रभावी था।

सारांश

यह शोध पत्र AI अनुवादकों (SAEs) को प्रशिक्षित करने का एक नया तरीका पेश करता है ताकि वे भ्रमित न हों। एक समय में एक वाक्य को देखने के बजाय, वे वाक्यों के पूरे समूह को देखते हैं ताकि यह सुनिश्चित हो सके कि अवधारणाएं अखंड रहें और उन्हें छोटे टुकड़ों में विभाजित न किया जाए या विशिष्ट अपवादों द्वारा छीना न जाए। यह AI के आंतरिक "विचारों" को मनुष्यों के लिए समझना और उन पर भरोसा करना बहुत आसान बनाता है।

तकनीकी सारांश: C2R (क्रॉस-सैंपल कंसिस्टेंसी रेगुलराइजेशन)

1. समस्या विवरण (Problem Statement)

स्पार्स ऑटोएन्कोडर्स (SAEs) डेंस एक्टिवेशन्स को स्पार्स, मानव-समझने योग्य फीचर्स में विघटित करके लार्ज लैंग्वेज मॉडल्स (LLMs) की व्याख्या करने के लिए एक प्राथमिक उपकरण हैं। हालांकि, जैसे-जैसे SAEs बड़े डिक्शनरी स्केल तक बढ़ते हैं, वे दो व्यापक विकृतियाँ (pathologies) प्रदर्शित करते हैं जो सीखे गए लेटेंट्स (latents) की विश्वसनीयता से समझौता करती हैं:

फीचर स्प्लिटिंग (Feature Splitting): सुसंगत, उच्च-स्तरीय अवधारणाओं (concepts) को कई गैर-परमाणु (non-atomic), रेडंडेंट लेटेंट्स में विभाजित कर दिया जाता है (उदाहरण के लिए, एक एकल "गणित" अवधारणा "बीजगणित" और "ज्यामिति" के अलग-अलग लेटेंट्स में विभाजित हो जाती है)। यह मॉडल द्वारा उपयोग किए जाने वाले वास्तविक कार्यात्मक अवधारणाओं को अस्पष्ट करता है और डिक्शनरी क्षमता को बर्बाद करता है।
फीचर एब्जॉर्प्शन (Feature Absorption): विशिष्ट लेटेंट्स उन एक्टिवेशन्स पर कब्जा कर लेते हैं जो सामान्य फीचर्स के होने चाहिए, जिससे मनमाने अपवाद उत्पन्न होते हैं (उदाहरण के लिए, एक "S से शुरू होने वाला" लेटेंट "short" या "small" पर सक्रिय होने में विफल रहता है क्योंकि टोकन-विशिष्ट लेटेंट्स सिग्नल को सोख लेते हैं)। यह इच्छित सिमेंटिक पैटर्न को विकृत करता है।

लेखक तर्क देते हैं कि ये मुद्दे क्रॉस-सैंपल असंगतता से उत्पन्न होते हैं। मानक स्पर्सिटी ऑब्जेक्टिव्स (जैसे कि $\ell_1$ रेगुलराइजेशन या TopK बाधाएं) प्रति-सैंपल (per-sample) आधार पर कार्य करते हैं। क्रॉस-सैंपल बाधाओं के बिना, ऑप्टिमाइज़र एक एकल सिमेंटिक अवधारणा को कई अलग-अलग लेटेंट्स में वितरित करके या विशिष्ट लेटेंट्स को सामान्य वाले से एक्टिवेशन "चुराने" की अनुमति देकर स्पर्सिटी पेनल्टी को कम कर सकता है, जब तक कि उस विशिष्ट सैंपल के लिए रिकंस्ट्रक्शन एरर कम रहता है।

2. कार्यप्रणाली: C2R

इन विफलताओं को संबोधित करने के लिए, यह पेपर C2R (क्रॉस-सैंपल कंसिस्टेंसी रेगुलराइजेशन) पेश करता है। यह विधि सुनिश्चित करती है कि प्रत्येक सिमेंटिक फीचर को पूरे बैच में एक एकीकृत लेटेंट द्वारा सुसंगत रूप से दर्शाया जाए।

सैद्धांतिक आधार (Theoretical Foundation)

C2R, मिंकोव्स्की असमानता (Minkowski inequality) और $\ell_2$ नॉर्म की स्ट्रिक्ट कॉन्वेक्सिटी पर आधारित है। मुख्य अंतर्दृष्टि यह है कि गैर-संरेखित (non-aligned) वेक्टर्स $u$ और $v$ के लिए, उनके नॉर्म का योग उनके योग के नॉर्म से काफी अधिक होता है:
$\|u\|_2 + \|v\|_2 > \|u + v\|_2$
SAEs के संदर्भ में, यदि एक सिमेंटिक फीचर कई लेटेंट्स में विभाजित है, तो एक बैच में उनके एक्टिवेशन्स के $\ell_2$ नॉर्म का योग, यदि फीचर को एक एकल लेटेंट में समेकित किया जाता, तो उससे अधिक होगा। C2R सिमेंटिक जानकारी के विभाजन को दंडित करने के लिए इसका लाभ उठाता है।

C2R ऑब्जेक्टिव (The C2R Objective)

यह विधि रेडंडेंट लेटेंट जोड़ों की पहचान करके और उनके सह-सक्रियण (co-activation) को दंडित करके पूर्ण डिक्शनरी के लिए युग्मवार विश्लेषण (pairwise analysis) का विस्तार करती है।

रेडंडेंसी डिटेक्शन (Redundancy Detection): प्रत्येक लेटेंट $i$ के लिए, एल्गोरिदम को कोसाइन सिमिलरिटी के आधार पर डिकोडर वेट स्पेस में उसके निकटतम पड़ोसी $j^*(i)$ की पहचान करने के लिए डिज़ाइन किया गया है। यह उन जोड़ों को लक्षित करता है जो संभवतः विभाजित अंशों या अवशोषित विविधताओं का प्रतिनिधित्व करते हैं।
गेटेड पेनल्टी (Gated Penalty): रेगुलराइजेशन लॉस को जोड़े के डिकोडर वेट्स के बीच स्क्वेर्ड रेक्टिफाइड कोसाइन सिमिलरिटी ( $\rho^2$ $ρ^{2}$ ) द्वारा भारित किया जाता है। यह एक गेट के रूप में कार्य करता है:
- यदि लेटेंट्स अलग (ऑर्थोगोनल) हैं, $\rho \approx 0$ , और कोई पेनल्टी लागू नहीं होती है।
- यदि लेटेंट्स रेडंडेंट (उच्च संरेखित) हैं, $\rho$ बड़ा है, और पेनल्टी लागू की जाती है।
लॉस फॉर्मूलेशन (Loss Formulation):
$L_{C2R}(X) = \frac{1}{k} \sum_{i=1}^{k} \rho_{i, j^*(i)}^2 \cdot \left( \|Z_{:,i}\|_2 + \|Z_{:,j^*(i)}\|_2 \right)$
जहाँ $Z_{:,i}$ लेटेंट $i$ के लिए एक्टिवेशन का बैच है। कुल प्रशिक्षण ऑब्जेक्टिव इस टर्म को मानक SAE लॉस में जोड़ता है:
$L(X) = L_{SAE}(X) + \lambda_{C2R} L_{C2R}(X)$

ग्रेडिएंट डायनेमिक्स (Gradient Dynamics)

C2R का ग्रेडिएंट दो साथ-साथ बलों (forces) को प्रदान करता है:

कंसिस्टेंसी प्रेशर (Consistency Pressure): समानता ( $\rho^2$ ) के साथ स्केल होता है ताकि नॉर्म के योग को कम किया जा सके, जो विभाजित एक्टिवेशन्स को एक एकल लेटेंट में धकेलता है।
इम्प्लिसिट ऑर्थोगोनैलिटी (Implicit Orthogonality): एक्टिवेशन मैग्नीट्यूड ( $S$ ) के साथ स्केल होता है ताकि डिकोडर वेट्स के बीच कोसाइन सिमिलरिटी को कम किया जा सके। यूनिफॉर्म ऑर्थोगोनैलिटी बाधाओं के विपरीत, यह पेनल्टी को फीचर फ्रीक्वेंसी द्वारा स्केल करता है, जिससे दुर्लभ या विकसित हो रहे फीचर्स के समयपूर्व विनाश को रोका जा सके।

3. प्रमुख योगदान (Key Contributions)

पेपर तीन प्राथमिक योगदानों को रेखांकित करता है:

सैद्धांतिक निदान (Theoretical Diagnosis): एक एकीकृत औपचारिक विश्लेषण जो प्रति-सैंपल स्पर्सिटी ऑब्जेक्टिव्स में क्रॉस-सैंपल कंसिस्टेंसी की कमी को फीचर स्प्लिटिंग और एब्जॉर्प्शन के मूल कारण के रूप में पहचानता है।
सिद्धांतिक ऑब्जेक्टिव (Principled Objective): C2R का प्रस्ताव, जो एक नया रेगुलराइजेशन है जो सुसंगत लेटेंट चयन को लागू करने के लिए डिकोडर ज्योमेट्री और बैच-लेवल स्टैटिस्टिक्स का उपयोग करता है, जो वास्तविक पॉलीसेमेनेसिटी (polysemanticity) और हानिकारक रेडंडेंसी के बीच अंतर करता है।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शन करना कि C2R रिकंस्ट्रक्शन फिडेलिटी बनाए रखते हुए फीचर एब्जॉर्प्शन और स्प्लिटिंग को महत्वपूर्ण रूप से कम करता है, और यह Matryoshka SAEs एवं OrtSAE जैसे स्टेट-ऑफ-द-आर्ट बेसलाइन्स से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग Gemma-2-2B (और Qwen3-8B एवं Llama-3-8B पर मान्य) का उपयोग करके SAEBench फ्रेमवर्क के माध्यम से किए गए।

विकृतियों का शमन (Mitigation of Pathologies): C2R ने उन विधियों के बीच सबसे कम फीचर एब्जॉर्प्शन और स्प्लिटिंग दर प्राप्त की जिन्होंने उच्च रिकंस्ट्रक्शन फिडेलिटी बनाए रखी। जबकि Matryoshka SAEs ने कम स्प्लिटिंग/एब्जॉर्प्शन स्कोर दिखाया, वे रिकंस्ट्रक्शन क्वालिटी में महत्वपूर्ण गिरावट का शिकार हुए।
रिकंस्ट्रक्शन फिडेलिटी (Reconstruction Fidelity): Matryoshka SAEs के विपरीत, C2R-एन्हांस्ड मॉडल्स ने उच्च "Loss Recovered" और "KL Divergence" स्कोर बनाए रखा, जो दर्शाता है कि LLM का मूल व्यवहार संरक्षित था।
व्याख्यात्मकता और डिसेंटैंगलमेंट (Interpretability & Disentanglement): C2R ने "AutoInterp" स्कोर (फीचर्स की मानव-समझने योग्य क्षमता) या "Disentanglement" स्कोर (एट्रीब्यूट्स का कॉज़ल कंट्रोल) पर नकारात्मक प्रभाव नहीं डाला।
फीचर कंपोजिशन (Feature Composition): C2R ने डिकोडर वेट्स के बीच सबसे कम अधिकतम कोसाइन सिमिलरिटी प्रदान की, जो एक अधिक परमाणु (atomic) और विशिष्ट फीचर सेट का संकेत देती है।
डाउनस्ट्रीम टास्क (Downstream Tasks): कॉज़ल इंटरवेंशन कार्यों (Spurious Correlation Removal और Targeted Probe Perturbation) में, C2R ने TopK, Batch TopK, और OrtSAE को पछाड़ते हुए Matryoshka SAEs के समान प्रदर्शन हासिल किया।
मजबूती (Robustness): विधि विभिन्न रैंडम सीड्स, मॉडल स्केल्स (8B), लेयर्स, और ट्रेनिंग डेटा कंपोजिशन (OpenWebText बनाम The Pile) में प्रभावी बनी रही।

5. महत्व और दावे (Significance and Claims)

पेपर दावा करता है कि C2R फीचर एटोमिकिटी (atomicity) और मॉडल फिडेलिटी के बीच के ट्रेड-ऑफ के लिए एक सिद्धांतिक समाधान प्रदान करता है। क्रॉस-सैंपल कंसिस्टेंसी को लागू करके, यह SAEs में प्रति-सैंपल ऑप्टिमाइजेशन की मौलिक सीमा को संबोधित करता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण:

लेटेंट व्याख्यात्मकता को बढ़ाता है: खंडित अवधारणाओं को समेकित करके और मनमाने अपवादों को हटाकर, परिणामी डिक्शनरी भाषा मॉडल के फीचर्स की पदानुक्रमित (hierarchical) प्रकृति को बेहतर ढंग से दर्शाती है।
प्रदर्शन को सुरक्षित रखता है: महत्वपूर्ण रूप से, ये सुधार पिछले स्ट्रक्चरल SAE प्रयासों के एक सामान्य विफलता बिंदु—मूल एक्टिवेशन्स को पुनर्गठित करने की क्षमता में गिरावट—के बिना प्राप्त किए गए हैं।
सैद्धांतिक गारंटी प्रदान करता है: विशिष्ट स्थितियों के तहत (जो 88.1% एब्जॉर्प्शन पेयर्स में अनुभवजन्य रूप से संतुष्ट हैं), विधि मिंकोव्स्की असमानता से प्राप्त स्प्लिटिंग और एब्जॉर्शन के विरुद्ध एक सैद्धांतिक गारंटी प्रदान करती है।

यह कार्य C2R को एक सामान्य-उद्देश्य रेगुलराइज़र के रूप में स्थापित करता है जो विभिन्न SAE आर्किटेक्चर (TopK, Batch TopK, OrtSAE, AbsTopK) के साथ संगत है, जो लार्ज लैंग्वेज मॉडल के आंतरिक भाग के विश्लेषण के लिए एक मजबूत मार्ग प्रदान करता है।