💬 NLP

The Tell-Tale Norm: $\ell_2$ Magnitude as a Signal for Reasoning Dynamics in Large Language Models

यह शोध पत्र हिडन स्टेट्स (hidden states) के $\ell_2$ नॉर्म को लार्ज लैंग्वेज मॉडल्स में रीजनिंग इंटेंसिटी (reasoning intensity) के लिए एक सिद्धांतगत, मॉडल-अंतर्निहित सिग्नल के रूप में पहचानता है, जो स्पार्स ऑटोएनकोडर (Sparse Autoencoder) फीचर एक्टिवेशन्स के साथ इसके सैद्धांतिक संबंध को प्रदर्शित करता है और तीन ट्रेनिंग-मुक्त, टेस्ट-टाइम स्केलिंग तकनीकों को प्रस्तुत करता है जो विभिन्न बेंचमार्क्स पर रीजनिंग प्रदर्शन में महत्वपूर्ण सुधार करते हैं।

मूल लेखक: Jinyang Zhang, Hongxin Ding, Yue Fang, Weibin Liao, Muyang Ye, Junfeng Zhao, Yasha Wang

प्रकाशित 2026-06-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jinyang Zhang, Hongxin Ding, Yue Fang, Weibin Liao, Muyang Ye, Junfeng Zhao, Yasha Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक विशाल, बहु-मंजिला कारखाने के रूप में करें। जब आप इससे कोई प्रश्न पूछते हैं, तो "कच्चा माल" (आपका प्रॉम्प्ट) भूतल (ग्राउंड फ्लोर) से प्रवेश करता है और अंतिम उत्तर ऊपर से स्टैम्प होकर निकलने से पहले 30, 40, या यहाँ तक कि 80 अलग-अलग मंजिलों (लेयर्स) से होकर गुजरता है।

लंबे समय तक, शोधकर्ता यह समझने में उलझे रहे: मॉडल को कैसे पता चलता है कि वह वास्तव में "गहराई से सोच" रहा है बनाम केवल एक त्वरित, स्वचालित उत्तर दे रहा है?

"The Tell-Tale Norm" नामक यह शोध पत्र एक सरल, अंतर्निहित संकेत की खोज करता है जो हमें ठीक-ठीक बताता है कि मॉडल कब "उच्च-तीव्रता वाले तर्क मोड" (high-intensity reasoning mode) में है। वह संकेत है $\ell_2$ norm, जिसे आप मॉडल के आंतरिक विचारों का "ऊर्जा स्तर" या "मांसपेशियों का तनाव" समझ सकते हैं।

इस खोज का विवरण सरल उपमाओं (analogies) के माध्यम से यहाँ दिया गया है:

1. समस्या: हम "सोच" को देख नहीं पा रहे थे

पहले, यह देखने के लिए कि क्या एक मॉडल तर्क कर रहा है, वैज्ञानिकों को स्पार्स ऑटोएन्कोडर्स (SAEs) जैसे जटिल और महंगे उपकरणों का उपयोग करना पड़ता था।

उपमा: कल्पना करें कि आप एक कार के इंजन को समझने के लिए उसे खोल रहे हैं और हर एक पिस्टन पर एक कस्टम, महंगा सेंसर लगा रहे हैं। यह काम तो करता है, लेकिन यह धीमा है, इसके लिए हर विशिष्ट कार मॉडल के लिए एक मैकेनिक की आवश्यकता होती है, और आप इसे कार चलते समय नहीं कर सकते।
शोध पत्र का लक्ष्य: वे यह देखना चाहते थे कि बिना कार को खोले या नए सेंसर लगाए इंजन कैसे काम कर रहा है। वे एक ऐसा संकेत चाहते थे जो मॉडल खुद स्वाभाविक रूप से उत्पन्न करता हो।

2. खोज: "ऊर्जा का उछाल" (The Energy Spike)

शोधकर्ताओं ने पाया कि जब मॉडल गहन तर्क कर रहा होता है (जैसे कि गणित की समस्या को चरण-दर-चरण हल करना), तो उसके आंतरिक विचारों की "ऊर्जा" अचानक बढ़ जाती है, विशेष रूप से कारखाने की ऊपरी 25% मंजिलों (बाद की लेयर्स) में।

उपमा: एक धावक के बारे में सोचें। जब वे सामान्य रूप से जॉगिंग कर रहे होते हैं (जैसे एक सरल तथ्य का उत्तर देना: "फ्रांस की राजधानी क्या है?"), तो उनकी हृदय गति स्थिर रहती है। लेकिन जब वे एक खड़ी चढ़ाई पर पहुँचते हैं और स्प्रिंट करना शुरू करते हैं (एक जटिल तर्क पहेली को हल करना), तो उनकी हृदय गति ( $\ell_2$ norm) नाटकीय रूप से बढ़ जाती है।
निष्कर्ष: यह शोध पत्र गणितीय रूप से सिद्ध करता है कि यह "हृदय गति" (हिडन स्टेट वेक्टर का आकार) सीधे तौर पर इस बात से जुड़ी है कि मॉडल कितनी कड़ी मेहनत कर रहा है। जब संख्या बड़ी होती है, तो मॉडल गहरे विचार में होता है। जब यह छोटी होती है, तो वह बस सहजता से काम चला रहा होता है।

3. प्रमाण: "वॉल्यूम कम करना" (Turning Down the Volume)

यह सिद्ध करने के लिए कि यह "ऊर्जा का उछाल" वास्तव में सोचने वाला हिस्सा था न कि केवल शोर (noise), उन्होंने एक "कॉज़ल इंटरवेंशन" (causal intervention) किया।

उपमा: कल्पना करें कि कारखाना चल रहा है। शोधकर्ताओं ने उन क्षणों की पहचान की जहाँ "ऊर्जा मीटर" उच्चतम थे और कृत्रिम रूप से उन विशिष्ट मशीनों की शक्ति को 10% तक कम कर दिया।
परिणाम: कारखाने ने तुरंत सही उत्तर देना बंद कर दिया। तर्क की श्रृंखला टूट गई।
नियंत्रण (Control): जब उन्होंने ऊर्जा मीटरों को नजरअंदाज करते हुए रैंडमली मशीनों को कम किया, तो कारखाना सामान्य रूप से काम करता रहा। इससे यह सिद्ध हुआ कि उच्च-ऊर्जा वाले क्षण ही महत्वपूर्ण "सोचने वाले" चरण थे।

4. समाधान: तीन नई तरकीबें (बिना किसी ट्रेनिंग के)

क्योंकि उन्होंने इस सरल "ऊर्जा मीटर" की खोज कर ली थी, इसलिए उन्होंने मॉडल को फिर से प्रशिक्षित (retrain) किए बिना या नया डेटा दिए बिना इसे स्मार्ट बनाने के तीन नए तरीके बनाए। वे केवल मॉडल के काम करते समय ऊर्जा संकेत का उपयोग करके मार्गदर्शन करते हैं।

तरकीब 1: "गहरी डुबकी" (Adaptive Layer-wise Reasoning Recursion)
- यह कैसे काम करता है: जब ऊर्जा मीटर बढ़ता है (जो एक कठिन चरण का संकेत देता है), तो मॉडल आगे बढ़ने से पहले उस विशिष्ट चरण पर कुछ अतिरिक्त बार "पुनः विचार" (re-think) करता है।
- उपमा: यदि एक धावक खड़ी चढ़ाई पर पहुँचता है, तो केवल आगे बढ़ने के बजाय, वह रुकता है, अपनी सांस नियंत्रित करता है, और चढ़ाई के लिए गति सुनिश्चित करने के लिए कुछ अतिरिक्त कदम लेता है।
तरकीक 2: "मोमेंटम बूस्ट" (Endogenous Reasoning State Steering)
- यह कैसे काम करता है: जब मॉडल गहराई से सोचना शुरू करता है, तो सिस्टम पिछले "उच्च-ऊर्जा" वाले क्षणों को देखता है और वर्तमान विचार को उन सफल क्षणों के अधिक समान बनाने के लिए धीरे से प्रेरित करता है।
- उपमा: यदि एक धावक चढ़ाई पर संघर्ष कर रहा है, तो एक कोच चिल्लाकर कहता है, "याद करो तुमने पिछली पहाड़ी कैसे चढ़ी थी? वैसा ही करो!" यह धावक के जूते बदले बिना सफल पैटर्न को सुदृढ़ करता है।
तरकीक 3: "सर्वश्रेष्ठ अनुमान" चयनकर्ता ( $\ell_2$ -guided Response Selection)
- यह कैसे काम करता है: मॉडल कई अलग-अलग उत्तर उत्पन्न करता है। पहले उत्तर को चुनने के बजाय, सिस्टम यह जांचता है कि किस उत्तर के निर्माण के दौरान सबसे अधिक "ऊर्जा" (सबसे तीव्र तर्क) थी और उसी को चुनता है।
- उपमा: यदि आप एक छात्र को एक समस्या को तीन अलग-अलग तरीकों से हल करने के लिए कहते हैं, तो आप उस समाधान को चुनते हैं जहाँ वे सबसे अधिक पसीना बहा रहे थे और सबसे कठिन परिश्रम कर रहे थे, यह मानते हुए कि उस प्रयास से बेहतर परिणाम मिले।

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र दावा करता है कि मॉडल के आंतरिक विचारों के "आकार" (magnitude) को देखकर, हम ठीक-तरतीब से जान सकते हैं कि वह कब गहराई से सोच रहा है। यह हमें निम्नलिखित क्षमता देता है:

पहचानना (Detect): कि मॉडल कब तर्क कर रहा है।
हस्तक्षेप करना (Intervene): उन सटीक क्षणों पर इसे बेहतर सोचने में मदद करने के लिए।
सुधारना (Improve): कठिन गणित और तर्क कार्यों पर प्रदर्शन को औसतन 4.5% (और बहुत कठिन कार्यों पर 9% तक) बढ़ाना, और यह सब बिना मॉडल को फिर से प्रशिक्षित किए या नया डेटा जोड़े।

यह AI तर्क के "ब्लैक बॉक्स" को एक सरल, अंतर्निहित ऊर्जा मीटर का उपयोग करके देखने योग्य और नियंत्रित करने योग्य बनाता है।

तकनीकी सारांश: द टेल-टेल्ड नॉर्म: लार्ज लैंग्वेज मॉडल्स में रीजनिंग डायनेमिक्स के संकेत के रूप में $\ell_2$ मैग्नीट्यूड

1. समस्या विवरण (Problem Statement)

हाल के लार्ज लैंग्वेज मॉडल्स (LLMs) ने महत्वपूर्ण रीजनिंग क्षमताएं प्रदर्शित की हैं, जो अक्सर विस्तृत चेन-ऑफ-थॉट (CoT) अनुक्रमों के रूप में प्रकट होती हैं। हालांकि, इन रीजनिंग प्रक्रियाओं को चलाने वाले आंतरिक तंत्र काफी हद तक अपारदर्शी बने हुए हैं। रीजनिंग को समझने या नियंत्रित करने के मौजूदा दृष्टिकोणों के सामने दो प्राथमिक सीमाएं हैं:

पूर्वव्यापी आउटपुट विश्लेषण (Retrospective Output Analysis): आउटपुट टोकन (जैसे एंट्रॉपी, शुद्धता के साथ म्यूचुअल इंफॉर्मेशन) या ह्यूरिस्टिक्स पर निर्भर करने वाली विधियां स्वाभाविक रूप से पूर्वव्यापी (retrospective) होती हैं। वे डिकोडिंग के बाद ही हस्तक्षेप कर सकती हैं, जिससे हिडन स्पेस के भीतर मध्यवर्ती गणनाओं या डायनेमिक्स को पकड़ना विफल हो जाता है।
प्रोब-निर्भर मैकेनिस्टिक इंटरप्रिटेबिलिटी (Probe-Dependent Mechanistic Interpretability): हालांकि स्पार्स ऑटोएनकोडर (SAEs) आंतरिक फीचर्स के लिए एक लेंस प्रदान करते हैं, वे बाहरी प्रॉक्सी हैं। प्रत्येक मॉडल के प्रत्येक लेयर के लिए SAEs को प्रशिक्षित करना कम्प्यूटेशनल रूप से महंगा, डेटा-विशिष्ट और सामान्यता का अभाव रखने वाला है। इसके अलावा, अधिकांश SAE शोध व्यक्तिगत फीचर्स के हेरफेर के बजाय लेयर-वाइज रीजनिंग इंटेंसिटी के डायनेमिक्स को चरित्रित करने पर केंद्रित है।

यह शोध पत्र बिना किसी बाहरी प्रोब के, लेयर-वाइज रीजनिंग डायनेमिक्स को कैप्चर करने के लिए एक सिद्धांतिक, मॉडल-अंतर्निहित (model-intrinsic), और ट्रेनिंग-फ्री सिग्नल की पहचान करने के अंतराल को संबोधित करता है।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र $\ell_2$ नॉर्म को रीजनिंग इंटेंसिटी के एक विश्वसनीय संकेतक के रूप में स्थापित करने के लिए एक बहु-चरणीय जांच प्रस्तावित करता है।

2.1. SAEs के माध्यम से प्रोबिंग डायनेमिक्स

रीजनिंग डायनेमिक्स की प्रकृति को समझने के लिए, लेखकों ने Qwen-3 परिवार और LLaMA-3 के मॉडल्स पर डायग्नोस्टिक प्रोब्स के रूप में SAEs का उपयोग किया।

फीचर आइडेंटिफिकेशन: उन्होंने "सोचने" (CoT) और "न सोचने" वाले रिस्पॉन्स के हिडन स्टेट्स का उपयोग करके प्रत्येक ट्रांसफॉर्मर लेयर के लिए स्वतंत्र SAEs प्रशिक्षित किए। यदि फीचर्स ने सेमैंटिक्स को स्थिर रखते हुए, नॉन-थिंकिंग रिस्पॉन्स की तुलना में थिंकिंग रिस्पॉन्स में काफी उच्च एक्टिवेशन दिखाया, तो उन्हें "रीजनिंग फीचर्स" के रूप में पहचाना गया।
अवलोकन: विश्लेषण ने एक विशिष्ट लेयर-वाइज प्रक्षेपवक्र (trajectory) का खुलासा किया: रीजनिंग फीचर एक्टिवेशन शुरुआती-से-मध्यम लेयर्स में अपेक्षाकृत कम रहता है लेकिन अंतिम लेयर्स (लगभग नेटवर्क के अंतिम 25%) में तेजी से बढ़ता है। यह सुझाव देता है कि रीजनिंग मध्यवर्ती-से-गहरे डेप्थ में एक विशिष्ट उच्च-तीव्रता वाली अवस्था में केंद्रित होती है।

2.2. सैद्धांतिक लिंक: एंडोजेनस सिग्नल के रूप में $\ell_2$ नॉर्म

SAE निष्कर्षों से प्रेरित होकर, लेखकों ने एक अंतर्निहित गुण खोजने का प्रयास किया जो इन डायनेमिक्स के साथ सह-संबंधित हो। उन्होंने सैद्धांतिक रूप से सिद्ध किया कि हिडन स्टेट्स का $\ell_2$ नॉर्म, SAE रीजनिंग फीचर्स की एक्टिवेशन स्ट्रेंथ को बाउंड (bound) करता है।

मान्यताएं (Assumptions): यह प्रमाण चार प्रमुख मान्यताओं पर आधारित है: (1) SAE डिकोडर बेसिस वेक्टर्स लगभग ऑर्थोनॉर्मल हैं; (2) SAE रिकंस्ट्रक्शन निष्ठावान (faithful) है; (3) रीजनिंग डायनेमिक्स मूल सेमैटिक रिप्रेजेंटेशन के लगभग ऑर्थोगोनल हैं; और (4) SAEs रीजनिंग फीचर्स को बेस सेमैटिक फीचर्स से अलग (disentangle) करते हैं।
प्रमेय (Theorem): इन शर्तों के तहत, पेपर सिद्ध करता है कि रीजनिंग फीचर्स का डिफरेंशियल एक्टिवेशन ( $\Delta z$ ), हिडन स्टेट के $\ell_2$ नॉर्म में दृश्य विस्तार ( $\Delta_{obs} = \|\bar{h}_{think}\|_2^2 - \|\bar{h}_{non}\|_2^2$ ) द्वारा सीमित है। विशेष रूप से, $\sum \Delta z_i = \Theta(\sqrt{\Delta_{obs}})$ ।
सहज बोध (Intuition): जब कोई मॉडल रीजनिंग मोड में प्रवेश करता है, तो बेस सेमantics के ऑर्थोगोनल अतिरिक्त लेटेंट कंपोनेंट्स सक्रिय होते हैं। ऑर्थोगोनैलिटी के कारण, ये एक्टिवेशन हिडन स्टेट वेक्टर में "ऊर्जा" जोड़ते हैं, जिससे इसके $\ell_2$ मैग्नीट्यूड में मापने योग्य विस्तार होता है।

2.3. अनुभवजन्य सत्यापन (Empirical Validation)

लेखकों ने इस सैद्धांतिक लिंक को मान्य करने के लिए व्यापक अनुभवजन्य विश्लेषण किए:

सहसंबंध (Correlation): स्पियरमैन कोरिलेशन विश्लेषण ने दिखाया कि लेयर-वाइज़ $\ell_2$ नॉर्म्स का SAE रीजनिंग फीचर एक्टिवेशन और फाइनल आउटपुट एंट्रॉपी के साथ मजबूत सकारात्मक सहसंबंध (84–87%) है, जो अन्य अंतर्निहित मेट्रिक्स जैसे लेयर हिडन एंट्रॉपी या अटेंशन एंट्रॉपी से बेहतर प्रदर्शन करता है।
कॉज़ल इंटरवेंशन (Causal Intervention): कार्य-कारणता (causality) को सत्यापित करने के लिए, लेखकों ने इन्फरेंस के दौरान लेट लेयर्स में उच्च $\ell_2$ नॉर्म वाले हिडन स्टेट्स को दबाया (suppress किया)। इस लक्षित दमन के कारण रैंडम सप्रेशन की तुलना में रीजनिंग बेंचमार्क्स पर प्रदर्शन में भारी गिरावट आई, जिससे पुष्टि हुई कि हाई-नॉर्म स्टेट्स रीजनिंग के लिए कार्यात्मक रूप से आवश्यक हैं।

2.4. टेस्ट-टाइम कंट्रोल तकनीकें

$\ell_2$ नॉर्म को एक सिग्नल के रूप में उपयोग करते हुए, पेपर टेस्ट-टाइम रीजनिंग कंट्रोल के लिए तीन ट्रेनिंग-फ्री, डेटा-फ्री तकनीकें पेश करता है:

एडैप्टिव लेयर-वाइज़ रीजनिंग रिकर्सन (ALRR): $\ell_2$ नॉर्म पीक्स (लोकल कॉन्टेक्स्ट के सापेक्ष आउटलेयर्स) का पता लगाता है और अगले लेयर पर जाने से पहले रीजनिंग को गहरा करने के लिए उसी लेयर के भीतर हिडन स्टेट को रिकर्सिवली री-प्रोसेस करता है।
एंडोजेनस रीजनिंग स्टेट स्टीयरिंग (ERSS): ऐतिहासिक हाई-नॉर्म हिडन स्टेट्स का एक कैश बनाए रखता है। जब एक नया पीक डिटेक्ट होता है, तो वर्तमान स्टेट को सबसे अधिक सेमैटिकली एलाइनड कैश्ड हाई-नॉर्म स्टेट जोड़कर स्टीयर किया जाता है, जो बाहरी वेक्टर्स के बिना रीजनिंग इंटेंसिटी को बढ़ाता है।
$\ell_2$ -गाइडेड रिस्पॉन्स सिलेक्शन (LRS): मिडिल-टू-लेट लेयर्स में उनके हिडन स्टेट्स के $\ell_2$ नॉर्म्स को एग्रीगेट करके कई कैंडिडेट आउटपुट्स को रैंक करता है, और उच्चतम निरंतर रीजनिंग इंटेंसिटी वाले कैंडिडेट का चयन करता है।

3. मुख्य परिणाम (Key Results)

प्रदर्शन लाभ (Performance Gains): विविध बेंचमार्क्स (AIME, GSM8K, GPQA, और MMLU-Pro सहित) और मॉडल आर्किटेक्चर (Qwen-3 सीरीज़ और DeepSeek-R1-Distill-LLaMA) में, प्रस्तावित तकनीकों ने निरंतर सुधार दिए।
- औसत लाभ: सभी बेंचमार्क्स पर +4.51% सापेक्ष सुधार।
- चुनौतीपूर्ण कार्य: कठिन रीजनिंग कार्यों (जैसे AIME) पर +9.13% सुधार।
मजबूती (Robustness): विधियाँ उन्नत इन्फरेंस इंजनों के साथ संगत हैं और इनके लिए किसी अतिरिक्त ट्रेनिंग या डेटा की आवश्यकता नहीं है।
मॉडल अंतर: अध्ययन ने नोट किया कि जबकि Qwen और Llama दोनों मॉडल्स में लेट-लेयर $\ell_2$ नॉर्म सर्ज दिखाई देता है, Qwen मॉडल्स में यह सेपरेशन गहराई में पहले दिखाई देता है, जबकि Llama मॉडल्स (डिस्टिलेशन के बाद भी) टर्मिनल लेयर्स में रीजनिंग फीचर्स को अधिक सघनता से केंद्रित करते हैं। यह सुझाव देता है कि प्रीट्रेनिंग डिस्ट्रीब्यूशन इस बात को प्रभावित करता है कि रीजनिंग सबस्पेस सेपरेशन किस गहराई पर होता है।

4. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि यह LLM रीजनिंग को समझने और नियंत्रित करने के लिए एक सरल, सिद्धांतिक और एंडोजेनस लेंस प्रदान करता है। इसका महत्व निम्नलिखित में है:

प्रोब्स से आगे बढ़ना: यह प्रदर्शित करता है कि रीजनिंग इंटेंसिटी को पहचानने के लिए जटिल, ट्रेनिंग-इंटेंसिव प्रोब्स (जैसे SAEs) पूरी तरह आवश्यक नहीं हैं; मॉडल के अपने ज्योमेट्री का एक सरल स्केलर प्रॉपर्टी ( $\ell_2$ norm) पर्याप्त है।
सैद्धांतिक आधार: यह हिडन स्टेट्स के अवलोकन योग्य मैग्नीट्यूड और लेटेंट एक्टिवेशन ऑफ रीजनिंग फीचर्स के बीच एक औपचारिक सैद्धांतिक लिंक प्रदान करता है, जो केवल ह्यूरिस्टिक अवलोकनों से आगे जाता है।
व्यावहारिक दक्षता: प्रस्तावित टेस्ट-टाइम स्केलिंग मेथड्स लाइटवेट हैं, जिनमें किसी अतिरिक्त डेटा या मॉडल वेट की आवश्यकता नहीं है, जिससे वे मौजूदा इन्फरेंस पाइपलाइन्स के लिए तुरंत लागू करने योग्य बन जाते हैं।
इंटरप्रिटेबिलिटी: यह $\ell_2$ नॉर्म को केवल एक मैग्नीट्यूड मेट्रिक के रूप में नहीं, बल्कि "रिप्रेजेंटेशनल एनर्जी" के माप के रूप में पुनर्गठित करता है, जहाँ पीक्स यह संकेत देते हैं कि मॉडल महत्वपूर्ण रीजनिंग स्टेप्स के लिए कंप्यूटेशनल रिसोर्सेज आवंटित कर रहा है।

लेखक निष्कर्ष निकालते हैं कि हालांकि $\ell_2$ नॉर्म रीजनिंग का पूर्ण लक्षण वर्णन नहीं है (क्योंकि यह कार्य की कठिनाई और डोमेन से प्रभावित होता है), यह एक मजबूत, स्केलेबल और आर्किटेक्चर-एग्नोस्टिक इंडिकेटर के रूप में कार्य करता है जो मैकेनिस्टिक इंटरप्रिटेबिलिटी और कुशल रीजनिंग एन्हांसमेंट के लिए नए रास्ते खोलता है।