Neurons Speak in Ranges: Breaking Free from Discrete Neuronal Attribution

यहाँ शोध पत्र "Neurons Speak in Ranges: Breaking Free from Discrete Neuronal Attribution" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) की व्याख्यात्मकता (interpretability) में एक मौलिक सीमा को संबोधित करता है: न्यूरॉन पॉलीसेमेंटिसिटी (neuron polysemanticity)।

• समस्या: पारंपरिक न्यूरॉन व्याख्या विधियाँ एक विविक्त (discrete), एक-से-एक मैपिंग मानती हैं जहाँ एक एकल न्यूरॉन एक एकल अर्थपूर्ण अवधारणा (semantic concept) को एनकोड करता है। हालाँकि, LLMs में न्यूरॉन्स अक्सर पॉलीसेमेंटिक होते हैं, जिसका अर्थ है कि एक ही न्यूरॉन कई, स्पष्ट रूप से असंबंधित अवधारणाओं के लिए सक्रिय हो सकता है।
• परिणाम: वर्तमान हस्तक्षेप तकनीकें (जैसे, एक विशिष्ट अवधारणा को हटाने के लिए एक विशिष्ट न्यूरॉन को मास्क करना या एब्लेट करना) "कुंद औजारों" (blunt instruments) की तरह हैं। क्योंकि एक न्यूरॉन कई अवधारणाओं को एनकोड करता है, इसलिए एक अवधारणा को दबाने के लिए पूरे न्यूरॉन को अक्षम करने से अनिवार्य रूप से उसी न्यूरॉन द्वारा एनकोड की गई अन्य अवधारणाओं पर भी प्रतिकूल प्रभाव पड़ता है, जिससे कोलेटरल डैमेज (collateral damage) और मॉडल नियंत्रण में उप-इष्टतम परिणाम मिलते हैं।
• अंतराल (Gap): यह भेद करने के लिए सूक्ष्म तरीकों की कमी है कि एक न्यूरॉन के सक्रियण स्पेक्ट्रम (activation spectrum) का कौन सा हिस्सा एक विशिष्ट अवधारणा के अनुरूप है बनाम अन्य के।

2. मुख्य अवलोकन और परिकल्पना (Core Observation & Hypothesis)

एन्कोडर (BERT, DistilBERT) और डिकोडर (GPT-2, Llama-3) दोनों मॉडलों के विविध डेटासेट्स पर व्यवस्थित विश्लेषण के माध्यम से, लेखकों ने एक सुसंगत सांख्यिकीय पैटर्न की खोज की:

• गॉसियन-समान वितरण (Gaussian-Like Distributions): एक दिए गए प्रमुख (salient) न्यूरॉन के लिए, एक विशिष्ट अर्थपूर्ण अवधारणा पर आधारित सक्रियण परिमाण (activation magnitudes) एक विशिष्ट, लगभग गॉसियन (सामान्य) वितरण बनाते हैं।
• सीमित ओवरलैप (Limited Overlap): हालांकि एक एकल न्यूरॉन कई अवधारणाओं के लिए प्रतिक्रिया दे सकता है (पॉलीसेमेंटिसिटी), लेकिन उसी न्यूरॉन के भीतर विभिन्न अवधारणाओं के लिए सक्रियण वितरणों में न्यूनतम ओवरलैप होता है। वे उसी न्यूरॉन के सक्रियण स्पेक्ट्रम के भीतर विशिष्ट "बैंड्स" या श्रेणियों (ranges) को घेरते हैं।
• परिकल्पना: एक संपूर्ण न्यूरॉन को एक अवधारणा के लिए आरोपित करने के बजाय, अवधारणाओं को उस न्यूरॉन के भीतर विशिष्ट सक्रियण श्रेणियों (activation ranges) के रूप में आरोपित किया जाना चाहिए। केवल इन विशिष्ट श्रेणियों में हस्तक्षेप करने से लक्षित अवधारणा का सटीक हेरफेर संभव होता है, जबकि अन्य अवधारणाओं के लिए न्यूरॉन के कार्य को सुरक्षित रखा जा सकता है।

3. कार्यप्रणाली: NeuronLens

लेखक रेंज-आधारित एट्रिब्यूशन और हस्तक्षेप के लिए NeuronLens नामक एक फ्रेमवर्क पेश करते हैं।

A. रेंज-आधारित एट्रिब्यूशन (Range-Based Attribution)

1. डेटा संग्रह: मॉडल विशिष्ट अवधारणाओं ($c$) के लेबल वाले प्रशिक्षण नमूनों को प्रोसेस करता है।
2. सांख्यिकीय मॉडलिंग: एक चयनित प्रमुख न्यूरॉन $j$ के लिए, लेयर $l$ पर, लेखक विशेष रूप से अवधारणा $c$ से संबंधित नमनों के लिए सक्रियण मानों के माध्य ($\mu$) और मानक विचलन ($\sigma$) की गणना करते हैं।
3. रेंज को परिभाषित करना: एक एट्रिब्यूशन रेंज ($AR$) को इस प्रकार परिभाषित किया जाता है:
   $$AR(l, j, c) = [\mu - \tau \times \sigma, \mu + \tau \times \sigma]$$
   जहाँ $\tau$ एक हाइपरपैरामीटर है (जिसे 2.5 पर सेट किया गया है, जो ~98.76% वितरण को कवर करता है)। यह रेंज अवधारणा-विशिष्ट सक्रियणों के बहुमत को कैप्चर करती है।

B. कारण संबंधी हस्तक्षेप (Causal Intervention: Range-Based Masking)

पूरे न्यूरॉन आउटपुट को शून्य करने के बजाय, NeuronLens एक रेंज-गेटेड ऑपरेटर ($\phi$) लागू करता है:

• यदि न्यूरॉन का सक्रियण $h_j(x)$ गणना की गई $AR$ के भीतर आता है, तो हस्तक्षेप लागू किया जाता है (जैसे, मान को शून्य करना)।
• यदि सक्रियण रेंज के बाहर है, तो मान बिना किसी परिवर्तन के पास भेज दिया जाता है।
• सूत्र:
  $$h'_j(x) = \begin{cases} \phi(h_j(x)) & \text{यदि } h_j(x) \in AR(l, j, c) \\ h_j(x) & \text{अन्यथा} \end{cases}$$

C. वैकल्पिक हस्तक्षेप (Alternative Interventions)

शोध पत्र Adaptive Dampening का भी अन्वेषण और प्रस्ताव करता है, जहाँ दमन की शक्ति (suppression strength) माध्य से सक्रियण की दूरी के समानुपाती होती है, जो मॉडल की प्राकृतिक गतिशीलता में व्यवधान को और कम करती है।

4. मुख्य योगदान (Key Contributions)

1. वितरण संरचना की अनुभवजन्य खोज: प्रदर्शित किया कि अवधारणा-शर्तित न्यूरॉन सक्रियण, अत्यधिक पॉलीसेमेंटिक न्यूरॉन्स में भी, विशिष्ट माध्यों और सीमित ओवरलैप के साथ गॉसियन-समान वितरणों का पालन करते हैं।
2. NeuronLens फ्रेमवर्क: एक नया तरीका प्रस्तावित किया जो अवधारणाओं को विविक्त न्यूरॉन्स के बजाय सक्रियण श्रेणियों से मैप करता है, जिससे सूक्ष्म व्याख्यात्मकता (fine-grained interpretability) सक्षम होती है।
3. कारण सत्यापन (Causal Validation): दिखाया कि रेंज-आधारित हस्तक्षेप, पूर्ण न्यूरॉन मास्किंग की तुलना में, सहायक अवधारणाओं और सामान्य मॉडल क्षमताओं को काफी हद तक संरक्षित करते हुए लक्षित अवधारणाओं को सफलतापूर्वक मिटा देता है।
4. SAEs के साथ पूरकता: प्रदर्शित किया कि NeuronLens को स्पार्स ऑटोएनकोडर (SAE) फीचर्स पर लागू किया जा सकता है, जो यह सुझाव देता है कि यह SAEs द्वारा सीखे गए निरूपणों (representations) को और अधिक अलग करने में मदद कर सकता है।

5. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने AG-News, Emotions, DBPedia-14, IMDB, और SST2 सहित विभिन्न डेटासेट्स पर BERT, GPT-2, और Llama-3.2-3B जैसे मॉडलों पर NeuronLens का मूल्यांकन किया।

• लक्षित अवधारणा दमन (Target Concept Suppression): रेंज-आधारित मास्किंग, पूर्ण न्यूरॉन मास्किंग के तुलनीय लक्षित अवधारणा का दमन प्राप्त करती है (जैसे, DBPedia पर Llama के लिए $\Delta$Acc ड्रॉप्स ~0.90)।
• कम कोलेटरल डैमेज (Reduced Collateral Damage):
  • सहायक अवधारणाएं (Auxiliary Concepts): रेंज-आधारित मास्किंग गैर-लक्षित अवधारणाओं के क्षरण को काफी कम करती है। उदाहरण के लिए, Llama-3 पर, पूर्ण न्यूरॉन मास्किंग के कारण ~0.91 की गिरावट आई, जबकि रेंज मास्किंग के कारण केवल ~0.66 की गिरावट आई (कुछ सेटिंग्स में कोलेटरल डैमेज में ~25 प्रतिशत अंकों की कमी)।
  • सामान्य क्षमताएं (General Capabilities): पूर्ण न्यूरॉन मास्किंग सामान्य भाषा मॉडलिंग (उच्च Perplexity वृद्धि) और तर्क (MMLU स्कोर गिरावट) को गंभीर रूप से बाधित करती है। रेंज-आधारित मास्किंग MMLU प्रदर्शन को बनाए रखती है (अक्सर स्थिर रहती है या सुधार करती है) और न्यूनतम Perplexity वृद्धि (जैसे, पूर्ण मास्किंग के +7 से +12 के मुकाबले +0.5 से +0.8) दर्ज करती है।
• मजबूती (Robustness): रेंज-आधारित मास्किंग का लाभ तब अधिक स्पष्ट हो जाता है जब मास्क किए गए न्यूरॉन्स का प्रतिशत बढ़ता है, जिससे यह विविक्त मास्किंग में देखे जाने वाले "परफॉर्मेंस क्लिफ" (performance cliff) से बच जाता है।

6. महत्व और प्रभाव (Significance and Impact)

• प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र "विविक्त न्यूरॉन" प्रतिमान को चुनौती देता है, यह तर्क देता है कि व्याख्यात्मकता और नियंत्रण को सक्रियण वितरणों (activation distributions) के स्तर पर संचालित होना चाहिए।
• मॉडल सुरक्षा और नियंत्रण (Model Safety & Control): मॉडल की सामान्य उपयोगिता को तोड़े बिना "अवधारणा विलोपन" (जैसे, विषाक्त या पक्षपाती अवधारणाओं को हटाना) के लिए एक सटीक उपकरण प्रदान करता है, जो सुरक्षित LLMs को तैनात करने के लिए एक महत्वपूर्ण आवश्यकता है।
• दक्षता (Efficiency): SAEs की तरह पुन: प्रशिक्षण या नए आधारों को प्रशिक्षित करने की आवश्यकता वाले तरीकों के विपरीत, NeuronLens न्यूनतम कम्प्यूटेशनल ओवरहेड के साथ मौजूदा मॉडल निरूपणों पर कार्य करता है।
• भविवी दिशाएं (Future Directions): यह सुझाव देता है कि भविष्य के व्याख्यात्मकता उपकरणों को बाइनरी न्यूरॉन अवस्थाओं के बजाय सक्रियण के निरंतर स्पेक्ट्रम (continuous spectrum) पर ध्यान केंद्रित करना चाहिए, जो संभावित रूप से रिप्रेजेंटेशन इंजीनियरिंग और स्टीयरिंग तकनीकों के साथ एकीकृत हो सकते हैं।

संक्षेप में, NeuronLens सिद्ध करता है कि हालांकि न्यूरॉन्स पॉलीसेमेंटिक होते हैं, लेकिन विभिन्न अवधारणाओं को व्यक्त करने के तरीके सांख्यिकीय रूप से अलग किए जा सकते हैं। इन विशिष्ट सक्रियण श्रेणियों को लक्षित करके, शोधकर्ता अभूतपूर्व सटीकता के साथ LLM व्यवहार को सर्जिकल रूप से संपादित कर सकते हैं।