💬 NLP

Embracing Anisotropy: Turning Massive Activations into Interpretable Control Knobs for Large Language Models

यह शोध पत्र पारंपरिक पूर्ण-आयामी स्टीयरिंग (whole-dimension steering) की तुलना में लार्ज लैंग्वेज मॉडल्स में बेहतर डोमेन अनुकूलन (domain adaptation) और जेलब्रेकिंग प्रदर्शन प्राप्त करने के लिए "डोमेन-क्रिटिकल डाइमेंशन्स" (Domain-Critical Dimensions)—जो विशाल सक्रियणों (massive activations) द्वारा अभिलक्षित व्याख्या योग्य फीचर इकाइयों (interpretable feature units) द्वारा पहचाने जाते हैं—की पहचान करने और उन्हें निर्देशित करने का प्रस्ताव करता है।

मूल लेखक: Youngji Roh, Hyunjin Cho, Jaehyung Kim

प्रकाशित 2026-03-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Youngji Roh, Hyunjin Cho, Jaehyung Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक लार्ज लैंग्वेज मॉडल (LLM) एक विशाल, हलचल भरे ऑर्केस्ट्रा की तरह है जिसमें हजारों संगीतकार (न्यूरॉन्स) एक साथ बज रहे हैं। लंबे समय तक, शोधकर्ताओं ने सोचा कि संगीत अच्छा सुनने के लिए हर एक संगीतकार को अपना हिस्सा समान रूप से बजाने की आवश्यकता है, और यदि कोई व्यक्ति बहुत ज़ोर से बजा रहा था, तो वह एक गलती थी जिसे ठीक करने की आवश्यकता थी।

इस शोध पत्र का शीर्षक, "एम्ब्रेसिंग एनिसोट्रॉपी" (Embracing Anisotropy), इस विचार को पूरी तरह उलट देता है। लेखक तर्क देते हैं कि "ज़ोर से" बजने वाले संगीतकार गलतियाँ नहीं हैं; वे ऑर्केस्ट्रा के कंडक्टर और विशेषज्ञ हैं।

यहाँ सरल उपमाओं का उपयोग करके उनकी खोज का विवरण दिया गया है:

1. "ज़ोर से" बजने वाले संगीतकार (विशाल सक्रियण/Massive Activations)

AI के डिजिटल मस्तिष्क में, अधिकांश "संगीतकार" (न्यूरॉन्स) बहुत धीरे बजते हैं। लेकिन कुछ बहुत ही कम संगीतकार अत्यंत ज़ोर से बजते हैं।

पुराना दृष्टिकोण: शोधकर्ता पहले सोचते थे कि ये तेज़ स्वर "शोर" या त्रुटियाँ थे। उन्होंने संगीत को संतुलित (आइसोट्रोपिक) बनाने के लिए उन पर आवाज़ कम करने की कोशिश की थी।
नया दृष्टिकोण: लेखक कहते हैं, "ठहरिए! ये तेज़ स्वर वास्तव में AI का तरीका हैं यह कहने का कि, 'मैं अभी गणित के बारे में सोच रहा हूँ!' या 'मैं जीव विज्ञान (Biology) के बारे में सोच रहा हूँ!'"
उपमा: एक पुस्तकालय की कल्पना करें। अधिकांश पुस्तकें शेल्फ पर शांति से रखी हैं। लेकिन यदि आप एक विशाल, चमकता हुआ नियॉन साइन देखते हैं जिस पर लिखा है "जीव विज्ञान", तो वह साइन कोई गलती नहीं है। वह आपको तुरंत यह बताने का एक अत्यधिक कुशल तरीका है कि आप लाइब्रेरी के किस अनुभाग में हैं। AI इन "नियॉन संकेतों" (विशाल सक्रियण) का उपयोग जानकारी को तुरंत वर्गीकृत करने के लिए करता है।

2. "नियंत्रण नॉब" खोजना (डोमेन-क्रिटिकल डायमेंशन)

शोधकर्ताओं ने बिना AI को फिर से प्रशिक्षित किए या जटिल प्रश्न पूछे, इन "नियॉन संकेतों" को खोजने का एक सरल तरीका विकसित किया।

विधि: उन्होंने बस उन न्यूरॉन्स को देखा जो किसी विशिष्ट विषय (जैसे हाई स्कूल बायोलॉजी) को पढ़ते समय सबसे ज़ोर से चिल्ला रहे थे।
परिणाम: उन्होंने पाया कि ये विशिष्ट न्यूरॉन्स विशेषज्ञ डिटेक्टरों की तरह कार्य करते हैं।
- एक न्यूरोन केवल तभी चमक सकता है जब वह $x$ या $\pi$ जैसे गणितीय प्रतीकों को देखता है।
- दूसरा केवल तभी चमक सकता है जब वह "माइटोकॉन्ड्रिया" या "ATP" जैसे शब्दों को देखता है।
- तीसरा केवल यह बताने के लिए चमक सकता है कि, "हे, हम अभी एक बहुविकल्पीय प्रश्न (multiple-choice question) कर रहे हैं।"

3. "स्टीयरिंग व्हील" (क्रिटिकल डायमेंशन स्टीयरिंग)

यह सबसे रोमांचक हिस्सा है। एक बार जब उन्होंने इन विशिष्ट "ज़ोर से बजने वाले" न्यूरॉन्स को ढूंढ लिया, तो उन्होंने उन्हें AI के व्यवहार को बदलने के लिए कंट्रोल नॉब के रूप में उपयोग करने का तरीका खोज निकाला।

पुराना तरीका (पूरे डायमेंशन की स्टीयरिंग): एक विशाल जहाज को उसके पूरे ढांचे पर धक्का देकर मोड़ने की कोशिश करने की कल्पना करें। आप जहाज को मुड़ने में मदद तो कर सकते हैं, लेकिन आप पानी, हवा और इंजन के खिलाफ भी धक्का दे रहे हैं। यह अव्यवस्थित है और अक्सर अन्य चीजों को खराब कर देता है (जैसे AI को रोबोटिक बना देना या गणित करना भुला देना)।
नया तरीका (क्रिटिकल डायमेंशन स्टीयरिंग): उस जहाज के विशिष्ट पतवार (rudder) या स्टीयरिंग व्हील को खोजने की कल्पना करें। आप केवल उसी एक हिस्से को छूते हैं।
- व्यवहार में: शोधकर्ताओं ने AI को लिया और केवल उन विशिष्ट न्यूरॉन्स को "हल्का सा धकेला" (nudge) जो "जीव विज्ञान" के लिए जिम्मेदार थे।
- परिणाम: AI अचानक जीव विज्ञान के सवालों के जवाब देने में बहुत बेहतर हो गया। आश्चर्यजनक रूप से, जब उन्होंने AI को "जेलब्रेक" करने की कोशिश की (उसे सुरक्षा नियमों को अनदेखा करने के लिए मजबूर करना), तो उन्हें केवल इन विशिष्ट "सुरक्षा न्यूरॉन्स" को ही धकेलना पड़ा। यह पुराने, अव्यवस्थित तरीके की तुलना में बेहतर था और इसने AI के व्यक्तित्व को कम नुकसान पहुँचाया।

यह क्यों महत्वपूर्ण है

AI को एक स्विस आर्मी नाइफ (Swiss Army Knife) के रूप में सोचें।

पहले: लोग सोचते थे कि चाकू बहुत भारी और बेडौल है, इसलिए उन्होंने इसे हल्का बनाने के लिए पूरे चाकू को घिसने की कोशिश की, इस उम्मीद में कि यह बेहतर काम करेगा।
अब: यह शोध पत्र कहता है, "नहीं! भारी हिस्सा ब्लेड (धार) है। अन्य हिस्से पेचकस और कैंची हैं। यदि आप कुछ काटना चाहते हैं, तो बस ब्लेड का उपयोग करें। पूरे उपकरण का एक साथ उपयोग करने की कोशिश न करें।"

निष्कर्ष:
AI अराजक शोर का ढेर नहीं है। इसमें एक बहुत ही व्यवस्थित, कुशल आंतरिक संरचना है जहाँ विशिष्ट भाग विशिष्ट कार्यों को संभालते हैं। इन "विशेषज्ञ" भागों को खोजने और केवल उन्हें बदलने से, हम बाकी सिस्टम को तोड़े बिना AI को स्मार्ट, सुरक्षित और अधिक नियंत्रणीय बना सकते हैं। यह पूरे ऑर्केस्ट्रा को ठीक करने के बजाय केवल उन विशिष्ट वाद्ययंत्रों को ट्यून करने की ओर एक बदलाव है जो सबसे अधिक मायने रखते हैं।

यहाँ शोध पत्र "Embracing Anisotropy: Turning Massive Activations into Interpretable Control Knobs for Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) एनिसोट्रोपिक आंतरिक प्रतिनिधित्व (anisotropic internal representations) प्रदर्शित करते हैं, जो "विशाल सक्रियणों" (massive activations) द्वारा पहचाने जाते हैं। यह घटना तब होती है जब फीचर आयामों (feature dimensions) का एक छोटा उपसमुच्चय, शेष आयामों की तुलना में कई गुना अधिक सक्रियता परिमाण (activation magnitudes) रखता है।

वर्तमान दृष्टिकोण: पूर्ववर्ती शोध मुख्य रूप से इन चरम आयामों को आर्टिफैक्ट्स या शोर (noise) के रूप में देखते हैं जो सार्थक भाषाई अंतरों को अस्पष्ट कर देते हैं। फलस्वरूप, कई कार्य इन आयामों को दबाने या नियमित करने का प्रस्ताव देते हैं ताकि प्रतिनिधित्व की आइसोट्रॉपी (isotropy) को बढ़ावा दिया जा सके।
अंतराल (The Gap): ये दृष्टिकोण इन चरम आयामों को समझने योग्य कार्यात्मक विशेषताओं के बजाय सुधारने योग्य समस्याओं के रूप में देखते हैं। ऐसे शोध की कमी है जो यह जांच सके कि क्या ये विशाल सक्रियण विशिष्ट, व्याख्या योग्य डोमेन ज्ञान को एनकोड करते हैं जिसे मॉडल नियंत्रण के लिए उपयोग किया जा सकता है।

2. कार्यप्रणाली (Methodology)

लेखक एक नया दृष्टिकोण प्रस्तावित करते हैं: डोमेन-क्रिटिकल डायमेंशन (DCDs) डोमेन विशेषज्ञता से उत्पन्न होने वाली अंतर्निहित, व्याख्या योग्य कार्यात्मक इकाइयाँ हैं। वे इन आयामों की पहचान करने और हेरफेर करने के लिए एक ट्रेनिंग-फ्री फ्रेमवर्क पेश करते हैं।

A. डोमेन-क्रिटिकल डायमेंशन की पहचान

महंगे इटरेटिव मास्किंग या स्पार्स ऑटोएनकोडर (SAEs) को प्रशिक्षित करने के बजाय, लेखक एक सरल मैग्निट्यूड-आधारित मानदंड प्रस्तावित करते हैं:

परिकल्पना: किसी विशिष्ट डोमेन के लिए कार्यात्मक रूप से महत्वपूर्ण आयाम सांख्यिकीय चरमता (उच्च सक्रियता परिमाण) प्रदर्शित करते हैं।
प्रक्रिया:
- एक लक्षित डोमेन डेटासेट (जैसे, MMLU विषय) से हिडन स्टेट्स निकालें।
- प्रत्येक आयाम $j$ के लिए एक महत्व स्कोर ( $s_j$ ) की गणना करें, जो सभी टोकन, लेयर्स और क्वेरीज़ में उसके सक्रियण के पूर्ण परिमाण (absolute magnitude) का औसत है।
- उच्चतम स्कोर वाले शीर्ष- $k$ आयामों को डोमेन-क्रिटिकल डायमेंशन ( $I_{dcd}$ ) के रूप में चुनें।
सत्यापन: लेखकों ने इटरेटिव मास्किंग के माध्यम से पाए गए ग्राउंड-ट्रुथ डायमेंशन के विरुद्ध इसका सत्यापन किया, जिससे शीर्ष-10 क्रिटिकल डायमेंशन के लिए 89.39% रिकॉल प्राप्त हुआ, जो सिद्ध करता है कि सरल सांख्यिकी प्रभावी रूप से कार्यात्मक महत्व की पहचान करती है।

B. सिमेंटिक विश्लेषण (Semantic Analysis)

शोध पत्र टोकन स्तर पर पहचाने गए DCDs की सिमेंटिक भूमिकाओं का विश्लेषण करता है:

डायमेंशन 334: एक डोमेन/विषय मार्कर के रूप में कार्य करता है, जो स्पष्ट डोमेन कीवर्ड्स (जैसे, _biology, _mathematics) पर अत्यधिक सक्रिय होता है।
डायमेंशन 1046 (Math): क्वांटिटेटिव/सिम्बोलिक कंटेंट में विशेषज्ञता रखता है, जो संख्याओं, ऑपरेटरों और वेरिएबल्स पर सक्रिय होता है।
डायमेंशन 2106 (Bio): डोमेन-विशिष्ट शब्दावली में विशेषज्ञता रखता है, जो जैविक शब्दों जैसे _ATP, _NAD, और _phosphorylation पर सक्रिय होता है।
निष्कर्ष: ये डायमेंशन अत्यधिक व्याख्या योग्य सिमेंटिक डिटेक्टरों की तरह व्यवहार करते हैं, जो मॉडल के लेटेंट स्पेस के भीतर विशिष्ट अवधारणाओं को अलग करते हैं।

C. क्रिटिकल डायमेंशन स्टीयरिंग (Critical Dimension Steering - CDS)

लेखक एक इन्फरेंस-टाइम इंटरवेंशन विधि, क्रिटिकल डायमेंशन स्टीयरिंग पेश करते हैं:

तंत्र: मानक एक्टिवेशन स्टीयरिंग के विपरीत, जो पूरे लेटेंट स्पेस को संशोधित करता है, CDS केवल पहचाने गए शीर्ष- $k$ DCDs पर एक स्टीयरिंग वेक्टर लागू करता है।
सूत्र: $\tilde{h}_l = h_l + \alpha \cdot (m \odot v_l)$ , जहाँ $m$ एक बाइनरी मास्क है जो केवल क्रिटिकल डायमेंशन को चुनता है, $v_l$ स्टीयरिंग वेक्टर है, और $\alpha$ स्ट्रेंथ है।
लक्ष्य: सामान्य तर्क या नेगेटिव ट्रांसफर के कारण होने वाले व्यवधान के बिना, डोमेन-विशिष्ट क्षमताओं या सुरक्षा व्यवहारों पर सटीक नियंत्रण प्राप्त करना।

3. प्रमुख योगदान (Key Contributions)

पैराडाइम शिफ्ट: "मासिव एक्टिवेशन" को आर्टिफैक्ट्स (जिन्हें दबाया जाना चाहिए) के बजाय व्याख्या योग्य कार्यात्मक इकाइयों (जो डोमेन-विशिष्ट ज्ञान को एनकोड करती हैं) के रूप में पुनर्गठित करता है।
ट्रेनिंग-फ्री आइडेंटिफिकेशन: अतिरिक्त प्रशिक्षण या जटिल डिकंपोज़िशन (SAEs के विपरीत) के बिना क्रिटिकल डायमेंशन की पहचान करने के लिए एक कम्प्यूटेशनल रूप से कुशल, सांख्यिकीय विधि प्रस्तावित करता है।
व्याख्यात्मकता (Interpretability): यह प्रदर्शित करता है कि विशिष्ट डायमेंशन गणितीय प्रतीकों, जैविक शब्दों और डोमेन मार्कर्स के लिए समर्पित डिटेक्टर के रूप में कार्य करते हैं।
क्रिटिकल डायमेंशन स्टीयरिंग (CDS): केवल प्रासंगिक सबस्पेस का हेरफेर करके पूरे-स्पेस स्टीयरिंग से बेहतर प्रदर्शन करने वाली एक लक्षित हस्तक्षेप तकनीक पेश करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

A. डोमेन अनुकूलन (MMLU बेंचमार्क)

सेटअप: STEM, ह्यूमैनिटीज और सोशल साइंसेज के 57 विषयों पर परीक्षण किया गया।
प्रदर्शन: CDS ने होल-डायमेंशन स्टीयरिंग (WDS) की तुलना में 57 में से 34 विषयों में सटीकता में सुधार किया।
- STEM लाभ: सटीक ज्ञान पुनर्प्राप्ति कार्यों में महत्वपूर्ण सुधार (जैसे, हाई स्कूल बायोलॉजी में +6%, क्लिनिकल नॉलेज में +12%)।
- नेगेटिव ट्रांसफर शमन: जबकि WDS ने तर्क-प्रधान कार्यों (जैसे, फॉर्मल लॉजिक में -8%, हाई स्कूल मैथ में -2%) में प्रदर्शन को कम कर दिया, CDS ने इस हस्तक्षेप को रोका, और अक्सर प्रदर्शन को बेसलाइन तक वापस लाने या सकारात्मक लाभ प्राप्त करने में सफल रहा।

B. सेफ्टी जेलब्रेकिंग (AdvBench)

सेटअप: हानिकारक प्रश्नों के लिए मॉडल को रिफ्यूजल स्टेट से कंप्लायंट स्टेट में स्टीयर करने का प्रयास किया गया।
अटैक सक्सेस रेट (ASR): CDS ने 92% का पीक Aseachieve किया, जो WDS बेसलाइन (84%) से अधिक है।
दक्षता: CDS ने रैंडम या फुल-स्पेस स्टीयरिंग की तुलना में कम स्टीयरिंग स्ट्रेंथ ( $\alpha$ ) के साथ उच्च ASR प्राप्त किया।
टेक्स्ट क्वालिटी: CDS ने समान ASR स्तरों पर WDS की तुलना में उच्च टेक्स्ट क्वालिटी बनाए रखी, जो दर्शाता है कि स्पार्स क्रिटिकल सबस्पेस का हेरफेर करना अधिक कुशल और कम विघटनकारी है।

5. महत्व और प्रभाव (Significance and Impact)

दक्षता: प्रस्तावित विधि जटिल व्याख्यात्मकता उपकरणों जैसे SAEs के लिए एक ट्रेनिंग-फ्री, लो-कंप्यूट विकल्प प्रदान करती है, जो बड़े मॉडल्स के लिए स्केलेबल है।
सटीक नियंत्रण: डोमेन ज्ञान या सुरक्षा तंत्र के लिए जिम्मेदार विशिष्ट डायमेंशन को अलग करके, CDS सूक्ष्म नियंत्रण (fine-grained control) की अनुमति देता है जो उस "कोलैटरल डैमेज" (नेगेटिव ट्रांसफर) से बचता है जो अक्सर पूरे-स्पेस हस्तक्षेपों में देखा जाता है।
सुरक्षा और संरेखण (Safety & Alignment): निष्कर्ष बताते हैं कि सुरक्षा गार्डरेल्स और डोमेन विशेषज्ञता स्पार्स सबस्पेस में केंद्रित होती है। यह मॉडल्स को जेलब्रेक के खिलाफ कठोर बनाने (इन डायमेंशन को सुदृढ़ करके) और रिट्रेनिंग के बिना मॉडल्स को विशिष्ट मानवीय मूल्यों या डोमेन के साथ संरेखित करने के लिए एक नया मार्ग प्रदान करता है।
सैद्धांतिक अंतर्दृष्टि: यह कार्य एनिसोट्रॉपी के प्रचलित दृष्टिकोण को चुनौती देता, यह सुझाव देते हुए कि "मासिव एक्टिवेशन" वास्तव में LLMs में कार्यात्मक विशेषज्ञता का एक स्वाभाविक और लाभकारी बायप्रोडक्ट है।