💬 NLP

Compressed Sensing for Capability Localization in Large Language Models

यह शोधपत्र प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स (large language models) में विशिष्ट क्षमताएं अटेंशन हेड्स (attention heads) के विरल उपसमुच्चयों (sparse subsets) तक अत्यधिक स्थानीयकृत होती हैं, जो इन घटकों को कुशलतापूर्वक पहचानने के लिए एक कंप्रेस्ड सेंसिंग-आधारित विधि पेश करता है और एक मॉड्यूलर संगठनात्मक सिद्धांत को प्रकट करता है जिसके मॉडल की व्याख्यात्मकता (interpretability), संपादन (editing) और सुरक्षा के लिए महत्वपूर्ण निहितार्थ हैं।

मूल लेखक: Anna Bair, Yixuan Even Xu, Mingjie Sun, J. Zico Kolter

प्रकाशित 2026-03-05

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Anna Bair, Yixuan Even Xu, Mingjie Sun, J. Zico Kolter

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक लार्ज लैंग्वेज मॉडल (LLM) एक विशाल, हलचल भरे ऑर्केस्ट्रा की तरह है जिसमें हजारों संगीतकार ("अटेंशन हेड्स") हैं। प्रत्येक संगीतकार एक विशिष्ट वाद्य यंत्र बजाता है, और साथ मिलकर वे मानव जैसी बातचीत, कोड और गणित का सुंदर संगीत रचते हैं।

लंबे समय तक, शोधकर्ताओं को लगा था कि किसी विशिष्ट कौशल को प्राप्त करने के लिए—जैसे गणित की समस्या को हल करना या कविता लिखना—आपको पूरे ऑर्केस्ट्रा को एक जटिल, उलझे हुए जाल में एक साथ बजाने की आवश्यकता होगी।

यह पेपर, "कंप्रेस्ड सेंसिंग फॉर कैपेबिलिटी लोकलाइजेशन" (Compressed Sensing for Capability Localization), इस विचार को पूरी तरह से उलट देता है। यह खोज करता है कि ऑर्केस्ट्रा हमारी सोच से कहीं अधिक व्यवस्थित है।

बड़ी खोज: "विशेषज्ञ संगीतकार" (Specialist Musicians)

लेखकों ने पाया कि विशिष्ट कौशल अक्सर केवल मुट्ठी भर विशेषज्ञ संगीतकारों द्वारा संभाले जाते हैं।

गणित का उदाहरण: यदि आप चाहते हैं कि ऑर्केस्ट्रा एक जटिल गणितीय सोलो बजाए, तो आपको सभी की आवश्यकता नहीं है। आपको केवल पीछे की पंक्ति में बैठे पाँच विशिष्ट वायलिन वादकों की आवश्यकता है।
प्रयोग: शोधकर्ताओं ने इन गणित-विशेषज्ञ संगीतकारों में से केवल पाँच को "मौन" (जीरो आउट) करके परीक्षण किया।
- परिणाम: ऑर्केस्ट्रा गणित करना पूरी तरह से भूल गया (प्रदर्शन में 65% तक की गिरावट आई)।
- ट्विस्ट: बाकी ऑर्केस्ट्रा ने पूरी तरह से बजाना जारी रखा! वे अभी भी चुटकुले सुना सकते थे, कोड लिख सकते थे या सामान्य प्रश्न पूछ सकते थे। गणित खेलने वालों को चुप कराने से पूरा शो खराब नहीं हुआ।

यह सिद्ध करता है कि AI मॉडल मॉड्यूलर (Modular) हैं। उनके पास अलग-अलग कौशलों के लिए समर्पित "विभाग" हैं, न कि एक विशाल मस्तिष्क जो सब कुछ एक साथ करता है।

समस्या: घास के ढेर में सुई ढूँढना

तो, यदि हम जानते हैं कि ये विशेषज्ञ मौजूद हैं, तो हम उन्हें कैसे ढूँढें?

कल्पना कीजिए कि आपके पास 1,000 संगीतकारों का एक ऑर्केस्ट्रा है। आप उन 5 गणित विशेषज्ञों को खोजना चाहते हैं।

पुराना तरीका (ग्रीडी सर्च - Greedy Search): आपको हर एक संगीतकार से पूछना होगा, "क्या तुम गणित के खिलाड़ी हो?" उन्हें एक-एक करके चुप कराकर और ऑर्केस्ट्रा का परीक्षण करके। आपको ऐसा हजारों बार करना पड़ेगा। यह धीमा, महंगा और थका देने वाला है।
नया तरीका (कंप्रेस्ड सेंसिंग - Compressed Sensing): लेखकों ने एक चतुर शॉर्टकट का आविष्कार किया है। एक-एक करके परीक्षण करने के बजाय, वे कंप्रेस्ड सेंसिंग नामक तकनीक का उपयोग करते हैं।

रचनात्मक सादृश्य: "ग्रुप टेस्ट" (Group Taste Test)
कल्पना कीजिए कि आप जानना चाहते हैं कि एक बड़े सूप में कौन सी सामग्री "तीखी" (Spicy) है।

पुराना तरीका: सूप का स्वाद लें, एक सामग्री निकालें, फिर से स्वाद लें। 1,000 बार दोहराएं।
नया तरीका: आप सूप का एक चम्मच लेते हैं जिसमें यादृच्छिक रूप से (Randomly) 10 सामग्रियां कम की गई हैं। आप उसका स्वाद लेते हैं। फिर आप एक दूसरा चम्मच लेते हैं जिसमें 10 अलग सामग्रियां कम की गई हैं। आप इसे केवल 100 बार करते हैं।

क्योंकि आप जानते हैं कि प्रत्येक चम्मच में कौन सी सामग्रियां गायब थीं, आप गणित (जैसे पहेली सुलझाना) का उपयोग करके ठीक से पता लगा सकते हैं कि कौन सी सामग्रियां "तीखेपन" के लिए जिम्मेदार थीं।

यह पेपर इसी तर्क का उपयोग करता है। वे यादृच्छिक समूहों में अटेंशन हेड्स को चुप कराते हैं, मॉडल के प्रदर्शन में होने वाले बदलाव को मापते हैं, और यह अनुमान लगाने के लिए गणित का उपयोग करते हैं कि कौन से हेड्स "मैथ हेड्स" या "कोड हेड्स" हैं। उन्होंने पाया कि यह तरीका पुराने तरीके की तुलना में 50 गुना तेज़ है।

अन्य दिलचस्प निष्कर्ष

1. "कंडक्टर्स" (यूनिवर्सल हेड्स)
जबकि अधिकांश हेड्स विशेषज्ञ होते हैं (या तो केवल गणित में अच्छे होते हैं या केवल तुकबंदी में), शोधकर्ताओं ने कुछ "कंडक्टर्स" (Conductors) भी पाए।

यदि आप एक विशेषज्ञ (Specialist) को चुप कराते हैं, तो ऑर्केस्ट्रा गणित भूल जाता है लेकिन गाना जारी रखता है।
यदि आप एक कंडक्टर (Conductor) को चुप कराते हैं, तो पूरा ऑर्केस्ट्रा बिखर जाता है। वे एक ही नोट दोहराने लगते हैं, बेतुकी आवाजें निकालने लगते हैं, या पूरी तरह से रुक जाते हैं। ये हेड्स बुनियादी रूप से बोलने और सोचने की क्षमता के लिए आवश्यक हैं।

2. "आकार मायने रखता है" का नियम
शोधकर्ताओं ने मॉडल के आकार के बारे में एक दिलचस्प बात देखी:

बड़े मॉडल (प्रो ऑर्केस्ट्रा): इनमें बहुत स्पष्ट, विशिष्ट विशेषज्ञ होते हैं। गणित के खिलाड़ी कोड के खिलाड़ियों से अलग होते हैं।
छोटे मॉडल (गैरेज बैंड): ये थोड़े अराजक होते हैं। कभी-कभी, वही कुछ संगीतकार सब कुछ करने के लिए मजबूर होते हैं। उदाहरण के लिए, छोटे मॉडल्स में, जो हेड्स बहुविकल्पीय प्रश्नों (Multiple-choice questions) के उत्तर देते हैं, वे जीव विज्ञान या साइबर सुरक्षा के बारे में सभी ज्ञान संबंधी प्रश्नों को संभालते हैं। जैसे-जैसे मॉडल बड़े होते हैं, वे अधिक विशेषज्ञ नियुक्त करने में सक्षम होते हैं।

यह क्यों मायने रखता है?

यह खोज तीन कारणों से गेम-चेंजर है:

AI सुरक्षा (AI Safety): यदि कोई मॉडल खतरनाक सामग्री (जैसे बम कैसे बनाया जाए) उत्पन्न कर रहा है, तो हम उस विशिष्ट "खतरनाक हेड" को ढूंढ सकते हैं और उसे चुप करा सकते हैं बिना मॉडल की होमवर्क करने या ईमेल लिखने की क्षमता को बाधित किए।
मॉडल एडिटिंग (Model Editing): किसी खामी को ठीक करने के लिए एक विशाल AI को फिर से प्रशिक्षित करने के बजाय, हमें शायद केवल कुछ विशिष्ट "संगीतकारों" को बदलने या हटाने की आवश्यकता है।
AI को समझना: यह हमें समझने में मदद करता है कि AI कोई रहस्यमय 'ब्लैक बॉक्स' नहीं है। यह एक संरचित मशीन है जिसके पास विशिष्ट भाग हैं, जिससे इसका अध्ययन करना और इस पर भरोसा करना आसान हो जाता है।

संक्षेप में: लार्ज लैंग्वेज मॉडल्स केवल विशाल, अव्यवस्थित दिमाग नहीं हैं। वे अत्यधिक संगठित टीमें हैं जहाँ विशिष्ट कार्यों को छोटी, समर्पित टोलियों द्वारा संभाला जाता है। और इस नए "कंप्रेस्ड सेंसिंग" तरीके के कारण, हम अंततः उन टोलियों को तेज़ी से और कुशलता से ढूंढ सकते हैं।

यहाँ अन्ना बेयर और अन्य द्वारा लिखित शोध पत्र "Compressed Sensing for Capability Localization in Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) विविध क्षमताएं (जैसे, गणितीय तर्क, कोड जनरेशन, भाषाई व्यवहार) प्रदर्शित करते हैं। AI अनुसंधान में एक केंद्रीय चुनौती यह समझना है कि ये क्षमताएं मॉडल के आर्किटेक्चर के भीतर कैसे प्रदर्शित और निष्पादित होती हैं।

प्रश्न: क्या विशिष्ट कार्य-क्षमताएं (task capabilities) ट्रांसफॉर्मर मॉडल्स के विशिष्ट घटकों (न्यूरॉन्स या अटेंशन हेड्स) तक स्थानीयकृत (localized) की जा सकती हैं?
अंतराल (The Gap): जबकि पिछले कार्यों ने तथ्यात्मक ज्ञान को विशिष्ट न्यूरॉन्स तक स्थानीयकृत किया है, यह स्पष्ट नहीं है कि जटिल व्यवहारिक कौशल भी इसी तरह स्थानीयकृत होते हैं या नहीं। इसके अलावा, प्रत्येक हेड के एब्लेशन (ablation) के माध्यम से गहन खोज (exhaustive search) द्वारा इन घटकों की पहचान करना, हजारों अटेंशन हेड्स वाले मॉडल्स के लिए कम्प्यूटेशनल रूप से अत्यधिक कठिन है।
लक्ष्य: उन "कार्य-विशिष्ट" (task-specific) अटेंशन हेड्स के स्पार्स सेट (sparse sets) की पहचान करना, जिन्हें हटाने से लक्षित कार्य पर प्रदर्शन गिर जाता है, जबकि असंबंधित कार्यों पर प्रदर्शन सुरक्षित रहता है, और इसके लिए एक कुशल विधि का उपयोग करना जो गहन खोज (exhaustive search) से बचती है।

2. कार्यप्रणाली: हेड पहचान के लिए कंप्रेस्ड सेंसिंग (Methodology: Compressed Sensing for Head Identification)

लेखक एक नया तरीका प्रस्तावित करते हैं जो हेड की पहचान कुशलतापूर्वक करने के लिए कंप्रेस्ड सेंसिंग (CS) पर आधारित है, जो इस धारणा का लाभ उठाता है कि ये हेड्स अत्यंत स्पार्स (sparse) हैं (अर्थात, किसी विशिष्ट कार्य के लिए केवल कुछ ही हेड्स महत्वपूर्ण हैं)।

मुख्य धारणाएं (Core Assumptions)

स्पैरसिटी (Sparsity): किसी भी दिए गए कार्य के लिए, कुल $N$ अटेंशन हेड्स में से केवल एक छोटा उपसमूह $k$ प्रदर्शन में महत्वपूर्ण योगदान देता है ( $k \ll N$ )।
एडिटिविटी (Additivity): कई हेड्स के एब्लेशन का संचयी प्रभाव उनके व्यक्तिगत मार्जिनल योगदान के योग के लगभग बराबर होता है (स्थानीय स्तर पर प्रथम-क्रम एडिटिव प्रभाव प्रभावी होते हैं)।

एल्गोरिदम (The Algorithm)

हेड्स को एक-एक करके टेस्ट करने (ग्रिडी अप्रोच जिसमें $O(N)$ मूल्यांकन की आवश्यकता होती है) के बजाय, यह विधि हेड महत्व को एक लीनियर मेजरमेंट से पुनर्गठित किए जाने वाले स्पार्स सिग्नल के रूप में मानती है।

मेजरमेंट मैट्रिक्स ( $\Phi$ ): एक बाइनरी मैट्रिक्स का निर्माण करें जहाँ पंक्तियाँ विशिष्ट एब्लेशन कॉन्फ़िगरेशन (हेड्स के वे उपसमूह जिन्हें शून्य पर सेट किया गया है) का प्रतिनिधित्व करती हैं। लेखक दो रणनीतियाँ प्रस्तावित करते हैं:
- बर्नौली सैंपलिंग (Bernoulli Sampling): एक निश्चित प्रायिकता के साथ हेड्स को रैंडमली एब्लेट करना।
- स्ट्रैटिफाइड सैंपलिंग (Stratified Sampling): एक संतुलन प्रतिबंध लागू करना ताकि प्रत्येक हेड को विभिन्न मूल्यांकनों में लगभग समान संख्या में एब्लेट किया जाए (इसे अधिक स्थिर पाया गया)।
ऑब्जर्वेशन वेक्टर ( $y$ ): $\Phi$ द्वारा परिभाषित प्रत्येक एब्लेशन कॉन्फ़िगरेशन के लिए लक्षित कार्य पर मॉडल का प्रदर्शन (सटीकता) मापें।
स्पार्स रिग्रेशन (Sparse Regression): लेटेंट इम्पैक्ट वेक्टर $x$ को रिकवर करने के लिए लासो (Lasso) ऑप्टिमाइज़ेशन समस्या को हल करें:
$\hat{x} = \arg \min_{x} \frac{1}{2M} \| y - (\beta_0 + \Phi x) \|_2^2 + \lambda \| x \|_1$
यहाँ, $\hat{x}_j$ हेड $j$ के एब्लेशन के कारण होने वाली अनुमानित प्रदर्शन गिरावट को दर्शाता है।
चयन (Selection): $\hat{x}$ में सबसे नकारात्मक गुणांकों (coefficients) के अनुरूप शीर्ष $k$ हेड्स की पहचान करें।

दक्षता (Efficiency): यह दृष्टिकोण आवश्यक मॉडल मूल्यांकनों की संख्या को $O(N)$ (ग्रिडी) से घटाकर $O(k \log(N/k))$ कर देता है, जिससे ग्रिडी सर्च की तुलना में 50 $\times$ कम मूल्यांकन के साथ तुलनीय सटीकता प्राप्त होती है।

3. मुख्य योगदान (Key Contributions)

चरम स्थानीयकरण की खोज (Discovery of Extreme Localization): प्रदर्शित किया कि LLMs में उच्च-स्तरीय क्षमताएं अटेंशन हेड्स के छोटे, स्पार्स उपसमूहों में अत्यधिक स्थानीयकृत होती हैं।
कुशल पहचान विधि: एक कंप्रेस्ड सेंसिंग-आधारित एल्गोरिदम पेश किया जो गहन खोज की तुलना में बहुत कम कम्प्यूटेशनल लागत के साथ उच्च निष्ठा (fidelity) के साथ कार्य-विशिष्ट हेड्स की पहचान करता है।
यूनिवर्सल बनाम टास्क-स्पेसिफिक हेड्स: अंतर स्पष्ट किया:
- टास्क-स्पेसिफिक हेड्स (Task-Specific Heads): विशिष्ट कौशलों (जैसे, गणित) के लिए महत्वपूर्ण हैं लेकिन उन्हें हटाने से अन्य कार्यों पर कोई नुकसान नहीं होता।
- यूनिवर्सल हेड्स (Universal Heads): सामान्य भाषाई सुसंगतता (coherence) के लिए महत्वपूर्ण हैं; इन्हें हटाने से सभी कार्यों में पैथोलॉजिकल व्यवहार (दोहराव, डिजेनरेट आउटपुट) उत्पन्न होता है।
स्केल-डिपेंडेंट लोकलाइजेशन (Scale-Dependent Localization): यह भी प्रकट किया कि स्थानीयकरण की डिग्री और तंत्र की प्रकृति मॉडल के आकार के साथ बदल जाती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने पाँच मॉडल्स (Llama 3.1 8B, Llama 3.2 3B/1B, Qwen 2.5 7B/3B) और चार क्षमताओं (Math, Code, Swearing, Rhyming) में अपने निष्कर्षों को मान्य किया।

प्रदर्शन में गिरावट (Performance Degradation): पहचाने गए केवल पाँच टास्क-स्पेसिफिक हेड्स को शून्य करने से लक्षित बेंचमार्क (जैसे, गणित के लिए GSM8K, कोड के लिए MBPP) पर प्रदर्शन में 65% तक की गिरावट आई।
विशिष्टता (Specificity): इन एब्लेशन्स का असंबंधित सामान्य भाषा बेंचमार्क (HellaSwag, MMLU, BoolQ) पर न्यूनतम प्रभाव पड़ा, जहाँ सटीकता में गिरावट आमतौर पर 3% से कम थी।
सामान्यीकरण (Generalization): एक डेटासेट (जैसे, GSM8K) पर पहचाने गए हेड्स ने संबंधित डेटासेट्स (जैसे, Arithmetic) पर सफलतापूर्वक प्रदर्शन को कम किया, जो पुष्टि करता है कि वे डेटासेट आर्टिफैक्ट्स के बजाय अंतर्निहित तंत्रों को कैप्चर करते हैं।
दक्षता तुलना (Efficiency Comparison):
- ग्रिडी सर्च (Greedy Search): 8B मॉडल के लिए लगभग 5,120 मूल्यांकनों की आवश्यकता थी।
- कंप्रेस्ड सेंसिंग (स्ट्रैटिफाइड): समान या बेहतर कार्य-विशिष्ट गिरावट प्राप्त करने के लिए केवल ~100–200 मूल्यांकनों की आवश्यकता थी।
यूनिवर्सल हेड्स: विशिष्ट हेड्स की पहचान की (अक्सर शुरुआती लेयर्स में, जैसे, लेयर 0 या 1) जिन्हें एब्लेट करने पर सभी कार्यों में विनाशकारी विफलता (catastrophic failure) हुई, जिसमें सामान्य भाषा समझ भी शामिल है।
स्केल डिपेंडेंस (Scale Dependence):
- बड़े मॉडल्स (8B): विशिष्ट क्षमताओं के अधिक मजबूत, स्पष्ट स्थानीयकरण को दिखाया।
- छोटे मॉडल्स (1B/3B): अलग पैटर्न दिखाए। उदाहरण के लिए, छोटे मॉडल्स में, "नॉलेज-बेस्ड मल्टीपल-चॉइस" हेड्स विभिन्न ज्ञान डोमेन (WMDP और MMLU) के बीच साझा किए गए थे, जबकि बड़े मॉडल्स अधिक विशिष्ट, कार्य-विशिष्ट हेड्स प्रदर्शित करते थे।

5. महत्व और निहितार्थ (Significance and Implications)

मॉड्यूलर संगठन (Modular Organization): निष्कर्ष बताते हैं कि ट्रांसफॉर्मर मॉडल्स मॉड्यूलर रूप से व्यवस्थित हैं, जहाँ विशिष्ट क्षमताएं विशिष्ट, स्पार्स कम्प्यूटेशनल इकाइयों (अटेंशन हेड्स) द्वारा कार्यान्वित की जाती हैं, न कि समान रूप से वितरित होकर।
व्याख्यात्मकता (Interpretability): यह "मैकेनिस्टिक इंटरप्रिटेबिलिटी" (mechanistic interpretability) के लिए एक स्केलेबल टूल प्रदान करता है, जिससे शोधकर्ता नए मॉडल को प्रशिक्षित किए बिना विशिष्ट कौशल के लिए जिम्मेदार सटीक सर्किट की पहचान कर सकते हैं।
मॉडल एडिटिंग और सुरक्षा (Model Editing & Safety):
- लक्षित एडिटिंग (Targeted Editing): यह सामान्य बुद्धिमत्ता को नुकसान पहुँचाए बिना या पुनः प्रशिक्षण के बिना विशिष्ट क्षमताओं (जैसे, गणितीय तर्क या सुरक्षा संरेखण को हटाना) को सटीक रूप से हटाने या संशोधित करने में सक्षम बनाता है।
- AI सुरक्षा (AI Safety): यूनिवर्सल हेड्स बनाम टास्क-स्पेसिफिक हेड्स को समझना सुरक्षित मॉडल डिजाइन करने और विफलता मोड (जैसे, मॉडल क्यों भ्रमित होता है या टेक्स्ट को दोहराता है) को समझने में मदद करता है।
दक्षता (Efficiency): कंप्रेस्ड सेंसिंग दृष्टिकोण हजारों हेड्स वाले विशाल मॉडल्स के विश्लेषण को कम्प्यूटेशनल रूप से व्यवहार्य बनाता है, जिससे बड़े पैमाने पर मैकेनिस्टिक अध्ययनों के द्वार खुलते हैं।

निष्कर्षतः, यह शोध पत्र स्थापित करता है कि क्षमता स्थानीयकरण (capability localization) LLMs में एक सामान्य संगठनात्मक सिद्धांत है और यह इन क्षमताओं को विशिष्ट वास्तुशिल्प घटकों (architectural components) से मैप करने के लिए एक अत्यंत कुशल, इन्फरेंस-ओनली फ्रेमवर्क प्रदान करता है।