💻 computer science

Reliable Control-Point Selection for Steering Reasoning in Large Language Models

यह शोधपत्र एक विश्वसनीयता-संचालित पद्धति प्रस्तुत करता है जो स्थिरता फ़िल्टरिंग और सामग्री-उपस्थान प्रक्षेपण (content-subspace projection) का उपयोग करके कीवर्ड-लक्षित तर्क सीमाओं की उच्च अस्थिरता को दूर करते हुए बड़े भाषा मॉडलों को निर्देशित करती है, जिससे MATH-500 पर अत्याधुनिक प्रदर्शन प्राप्त होता है और मजबूत क्रॉस-मॉडल हस्तांतरणीयता प्रदर्शित होती है।

मूल लेखक: Haomin Zhuang, Hojun Yoo, Xiaonan Luo, Kehan Guo, Xiangliang Zhang

प्रकाशित 2026-04-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haomin Zhuang, Hojun Yoo, Xiaonan Luo, Kehan Guo, Xiangliang Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: अत्यधिक सोचने वाले को वश में करना

कल्पना कीजिए कि आपके पास एक अत्यंत बुद्धिमान, अति-प्रतिभाशाली रोबोट (एक लार्ज लैंग्वेज मॉडल) है जो एक जटिल गणित की समस्या को हल करने की कोशिश कर रहा है। सही उत्तर पाने के लिए, रोबोट केवल एक नंबर नहीं थूकता; वह खुद से बात करता है। वह एक लंबा "चेन ऑफ थॉट" (सोच की श्रृंखला) लिखता है, जैसे कोई छात्र व्हाइटबोर्ड पर समस्या हल करते हुए नोट्स बनाता है।

कभी-कभी, यह रोबोट बहुत अच्छा होता है। वह अपने काम को दोबारा जांचने के लिए रुकता है, कहता है, "रुको, यह सही नहीं लग रहा है," और खुद को सुधारता है। यह अच्छी तर्कशक्ति (good reasoning) है।

लेकिन अक्सर, रोबोट एक लूप में फंस जाता है। वह बार-बार "रुको" या "मुझे सोचने दो" कहता रहता है, भले ही उसे इसकी जरूरत न हो। वह बिना किसी दिशा के समय और ऊर्जा बर्बाद करता है। यह खराब तर्कशक्ति (bad reasoning) (या "ओवर-थिंकिंग") है।

इस शोध पत्र का लक्ष्य रोबोट को खराब लूप्स को रोकने और अच्छे ठहरावों को बनाए रखने के लिए सिखाना है, और वह भी पूरे रोबोट को शुरू से फिर से ट्रेन किए बिना।

समस्या: "कीवर्ड" की गलती

पिछले शोधकर्ताओं ने इस समस्या को हल करने के लिए रोबोट के टेक्स्ट में विशिष्ट कीवर्ड्स (keywords) को खोजने की कोशिश की, जैसे "Wait" (रुको), "Verify" (जांचो), या "Let me think" (मुझे सोचने दो)।

उपमा:
कल्पना कीजिए कि आप एक शिक्षक हैं जो कक्षा में उन छात्रों को ढूंढने की कोशिश कर रहे हैं जो वास्तव में गहराई से सोच रहे हैं। आपने निर्णय लिया कि आप केवल उन छात्रों को देखेंगे जो लाल पेन पकड़े हुए हैं, क्योंकि आप सोचते हैं कि "लाल पेन = सोचना।"

आप चारों ओर घूमते हैं और हर उस छात्र की ओर इशारा करते हैं जिसने लाल पेन पकड़ा हुआ है। लेकिन यहाँ एक पेंच है:

कुछ छात्र इसलिए लाल पेन पकड़े हुए हैं क्योंकि वे गहराई से समस्या हल कर रहे हैं।
अन्य लोग केवल इसलिए लाल पेन पकड़े हुए हैं क्योंकि उन्हें वह रंग पसंद है, या वे कुछ डूडलिंग कर रहे हैं, या वे हार मानने वाले हैं।

शोधकर्ताओं ने पाया कि 93% मामलों में, जब रोबोट "Wait" जैसा कीवर्ड कहता है, तो वह वास्तव में केवल एक संयोग होता है। यह गहन चिंतन का वास्तविक क्षण नहीं है। यह केवल रोबोट द्वारा बेतरतीब ढंग से चुना गया एक शब्द है।

यदि आप इन कीवर्ड्स के आधार पर रोबोट को "स्टीयर" (नियंत्रित) करने की कोशिश करते हैं, तो आप अनिवार्य रूप रूप से एक ऐसी कक्षा को पढ़ाने की कोशिश कर रहे हैं जहाँ आप उन छात्रों की ओर इशारा कर रहे हैं जिनके पास संयोग से लाल पेन है, भले ही उनमें से अधिकांश कुछ भी उपयोगी नहीं कर रहे हैं। आप सिग्नल के बजाय शोर (noise) को बढ़ा देते हैं।

समाधान: "स्टेबिलिटी टेस्ट" (स्थिरता परीक्षण)

लेखकों ने महसूस किया कि वास्तविक सोच एक विशिष्ट तरीके से अस्थिर (unstable) होती है। यदि रोबंड वास्तव में फंसा हुआ है और उसे चिंतन करने की आवश्यकता है, तो यदि आप उसे वही समस्या फिर से करने के लिए कहते हैं, तो वह लगभग हमेशा "Wait" कहेगा। यदि वह केवल बेतरतीब ढंग से शब्द चुन रहा है, तो वह एक बार "Wait" कह सकता है, लेकिन यदि आप उसे फिर से प्रयास करने के लिए कहते हैं, तो वह बस कह सकता है "ठीक है, आगे बढ़ते हैं।"

नई विधि:
कीवर्ड्स को देखने के बजाय, शोधकर्ता "मेरे पीछे दोहराओ" (Repeat After Me) का खेल खेलते हैं।

सेटअप: वे रोबोट के टेक्स्ट में वह स्थान ढूंढते हैं जहाँ वह "Wait" कहता है।
परीक्षण: वे उस बिंदु तक के टेक्स्ट को लेते हैं और रोबोट को लगातार 10 बार उसी वाक्य को पूरा करने के लिए कहते हैं।
स्कोर:
- यदि रोबोट उन 10 प्रयासों में से 9 या 10 बार "Wait" (या इसी तरह का प्रतिबिंब) कहता है, तो यह एक स्टेबल बाउंड्री (Stable Boundary) है। यह चिंतन का एक वास्तविक क्षण है।
- यदि रोबोट केवल 1 या 2 बार "Wait" कहता है, तो यह अनस्टेबल (Unstable) है। यह केवल एक इत्तेफाक था।

वे सभी "अनस्टेबल" क्षणों को हटा देते हैं और केवल "स्टेबल" क्षणों को ही रखते हैं।

"नॉइज़ फ़िल्टर": सिग्नल की सफाई

स्टेबल क्षणों को खोजने के बाद भी, एक समस्या बनी रहती है। रोबोट के विचार गणित की समस्या के विशिष्ट विवरणों (जैसे "क्या यह ज्यामिति की समस्या है?" या "क्या यह कैलकुलस की समस्या है?") के साथ मिश्रित होते हैं।

उपमा:
कल्पना कीजिए कि आप एक कमरे में एक गायक की आवाज़ (तर्क व्यवहार) रिकॉर्ड करने की कोशिश कर रहे हैं जहाँ हवा चल रही है (गणित की समस्या के विवरण)।

पिछले तरीकों ने गायक को रिकॉर्ड करने की कोशिश की लेकिन अंत में बहुत सारा हवा का शोर (wind noise) भी रिकॉर्ड कर लिया।
लेखकों ने एक गणितीय ट्रिक (जिसे कंटेंट-सबस्पेस प्रोजेक्शन कहा जाता है) का उपयोग किया जो नॉइज़-कैंसलिंग हेडफ़ोन की तरह काम करती है। उन्होंने "हवा" (गणित की समस्या के विशिष्ट विवरण) की पहचान की और उसे हटा दिया, जिससे केवल शुद्ध "गायक" (तर्क व्यवहार) बचा।

परिणाम: एक स्मार्ट रोबोट

इन दोनों चरणों को जोड़कर—केवल स्थिर क्षणों को रखना और गणित-विशिष्ट शोर को हटाना—उन्होंने एक "स्टीयरिंग वेक्टर" बनाया। इसे एक रिमोट कंट्रोल की तरह समझें जो रोबोट के मस्तिष्क को सही दिशा में धीरे से धकेलता है।

क्या हुआ?

पहले: रोबोट लगभग 61% गणित की समस्याओं को सही हल कर पा रहा था।
पुरानी विधि (SEAL): इसने 73% सही हल किए।
नई विधि: इसने 78% सही हल किए।

लेकिन सबसे अच्छी बात यह है कि उन्हें यह नया तरीका हर एक रोबोट को सिखाने की आवश्यकता नहीं पड़ी। उन्होंने इसे एक रोबोट (1.5B पैरामीटर मॉडल) को सिखाया, और फिर उन्होंने उसी "रिमोट कंट्रोल" को लिया और उसे दो अन्य अलग-अलग रोबोटों में लगा दिया। यह उन पर भी काम कर गया, जिससे वे बिना किसी अतिरिक्त प्रशिक्षण के और भी स्मार्ट बन गए।

सारांश

समस्या: रोबोट अक्सर बिना वास्तव में सोचे, बेतरतीब ढंग से "Wait" कहता है।
समाधान: शब्दों पर भरोसा न करें; पैटर्न पर भरोसा करें। यदि रोबोट हर बार आपसे दोबारा प्रयास करने के लिए कहने पर लगातार "Wait" कहता है, तो ही वह एक वास्तविक विचार है।
परिणाम: नकली "Wait" क्षणों को फ़िल्टर करके और शोर को साफ करके, रोबोट गणित की समस्याओं को बहुत बेहतर तरीके से हल करता है और अत्यधिक सोचने में समय बर्बाद करना बंद कर देता है।

यहाँ शोध पत्र "Reliable Control-Point Selection for Steering Reasoning in Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर स्वतःस्फूर्त "आंतरिक" तर्क व्यवहार (जैसे, आत्म-चिंतन, रणनीति बदलना, सत्यापन) प्रदर्शित करते हैं जो सटीकता में सुधार करते हैं, लेकिन ये "ओवरथिंकिंग" या अनुत्पादक टोकन उपयोग की ओर भी ले जा सकते हैं। जबकि स्टीयरिंग वेक्टर्स (steering vectors) हिडन स्टेट्स में सीखे गए दिशाओं को जोड़कर इन व्यवहारों को नियंत्रित करने के लिए एक ट्रेनिंग-मुक्त तंत्र प्रदान करते हैं, वर्तमान विधियाँ कंट्रोल-पॉइंट चयन (control-point selection) में एक मौलिक दोष से ग्रस्त हैं।

मुख्य मुद्दा: मौजूदा दृष्टिकोण (जैसे, SEAL) तर्क सीमाओं (जहाँ प्रतिबिंब जैसे व्यवहार होते हैं) को कीवर्ड मिलान (keyword matching) (जैसे, "wait," "verify," "let me think" जैसे शब्दों का पता लगाना) का उपयोग करके पहचानते हैं।
दोष: ये विधियाँ यह मानती हैं कि कीवर्ड द्वारा पहचाना गया प्रत्येक सीमा वास्तविक, प्रतिबद्ध व्यवहार संकेत (behavioral signal) का प्रतिनिधित्व करता है। लेखक प्रदर्शित करते हैं कि यह धारणा व्यापक रूप से गलत है। आंतरिक तर्क व्यवहार स्टोकेस्टिक (stochastic/संभाव्यता आधारित) होते हैं; किसी विशिष्ट स्थिति में कीवर्ड का मिलना अक्सर एक जानबूझकर किए गए निर्णय के बजाय केवल संयोगवश होता है।
परिणाम: इन "अस्थिर" सीमाओं को स्टीयरिंग वेक्टर गणना में शामिल करने से वास्तविक व्यवहार संबंधी संकेत में शोर (noise) घुल जाता है, जिससे नियंत्रण कमजोर होता है और सटीकता कम हो जाती है।

2. कार्यप्रणाली (Methodology)

लेखक उच्च-सटीकता वाले स्टीयरिंग वेक्टर्स के निर्माण के लिए एक दो-चरणीय परिशोधन प्रक्रिया प्रस्तावित करते हैं: स्टेबिलिटी फ़िल्टरिंग (Stability Filtering) और कंटेंट-सबस्पेस प्रोजेक्शन (Content-Subspace Projection)।

A. आंतरिक व्यवहार का संभाव्य मॉडल (Probabilistic Model of Intrinsic Behavior)

शोध पत्र आंतरिक व्यवहारों को स्टोकेस्टिक घटनाओं के रूप में औपचारिक रूप देता है। किसी भी संभावित सीमा $b$ पर, मॉडल के पास वास्तव में व्यवहार के प्रति प्रतिबद्ध होने की ट्रिगर संभावना $p_b$ होती है।

हिडन स्टेट मॉडल: $h_b = z_b \cdot \delta + \mu(c_b) + \epsilon_b$ , जहाँ $z_b \sim \text{Bernoulli}(p_b)$ एक लेटेंट इंडिकेटर है, $\delta$ वास्तविक व्यवहार दिशा है, और $\mu$ संदर्भ शोर (context noise) है।
सिग्नल का तनुकरण (Signal Dilution): यदि $p_b$ कम है (जो कीवर्ड मिलान में सामान्य है), तो शोर के सापेक्ष व्यवहार संबंधी संकेत $\delta$ कमजोर हो जाता है। कई कम-संभावना वाली सीमाओं पर औसत निकालने से एक ऐसा स्टीयरिंग वेक्टर प्राप्त होता है जो वास्तविक दिशा $\delta$ के साथ सही ढंग से संरेखित नहीं होता है।

B. स्टेबिलिटी फ़िल्टरिंग (प्राथमिक समाधान) (Stability Filtering - The Primary Fix)

वास्तविक व्यवहार संबंधी प्रतिबद्धता की पहचान करने के लिए, लेखक एक स्टेबिलिटी प्रोबिंग (stability probing) तंत्र पेश करते हैं:

पुनः पीढ़ी (Re-generation): प्रत्येक कीवर्ड-लक्षित सीमा के लिए, मॉडल को उसी प्रीफिक्स से $M=10$ बार पुनः चलाया जाता है (तापमान 0.7 जैसे सैंपलिंग पैरामीटर्स का उपयोग करके)।
स्कोरिंग: स्थिरता स्कोर $s(b)$ को उन पुन: जनरेटेड परिणामों के अंश के रूप में निकाला जाता है जो लक्षित व्यवहार (जैसे, एक और प्रतिबिंब चरण) को दोहराते हैं।
हार्ड थ्रेसहोल्डिंग (Hard Thresholding): केवल वे सीमाएँ रखी जाती हैं जहाँ $s(b) \ge \tau$ (जहाँ $\tau=0.8$ ) है। कम स्कोर वाली सीमाओं को (जो संभवतः संयोगवश कीवर्ड मिलान हैं) हटा दिया जाता है।
वेक्टर निर्माण: स्टीaring वेक्टर केवल इन उच्च-विश्वास, स्थिर सीमाओं का उपयोग करके बनाया जाता है।

C. कंटेंट-सबस्पेस प्रोजेक्शन (द्वितीयक समाधान) (Content-Subspace Projection - The Secondary Fix)

स्थिर सीमाओं के बावजूद, स्टीयरिंग वेक्टर में विशिष्ट प्रश्न सामग्री (जैसे, गणित का विषय, कठिनाई) से संबंधित अवशिष्ट शोर हो सकता है, न कि स्वयं तर्क व्यवहार से।

सबस्पेस अनुमान (Subspace Estimation): लेखक केवल प्रश्न टेक्स्ट (बिना तर्क के) से हिडन स्टेट्स निकालते हैं और "कंटेंट सबस्पेस" को परिभाषित करने वाले शीर्ष- $K$ सिंगुलर वेक्टर्स की पहचान करने के लिए सिंगुलर वैल्यू डीकंपोजिशन (SVD) करते हैं।
प्रोजेक्शन: प्रति-उदाहरण स्टीयरिंग वेक्टर्स को इस कंटेंट सबस्पेस के लंबवत (orthogonally) प्रोजेक्ट किया जाता है ताकि प्रश्न-विशिष्ट जानकारी को हटाया जा सके और शुद्ध व्यवहार संबंधी संकेत को अलग किया जा सके।

D. अंतिम वेक्टर (Final Vector)

अंतिम स्टीयरिंग वेक्टर $v_{A+B}$ दोनों चरणों को जोड़ता है: यह स्थिर सीमाओं से प्राप्त वेक्टर्स का सामान्यीकृत औसत है जिन्हें कंटेंट शोर को हटाने के लिए प्रोजेक्ट किया गया है।

3. मुख्य योगदान (Key Contributions)

संभाव्य औपचारिकता (Probabilistic Formalization): शोध पत्र एक सैद्धांतिक ढांचा प्रदान करता है जो दिखाता है कि आंतरिक तर्क व्यवहार स्टोकेस्टिक घटनाएं हैं। यह सिद्ध करता है कि कीवर्ड-मिलान सीमाएं शोरपूर्ण प्रॉक्सी हैं और उन्हें ट्रिगर संभावना के आधार पर फ़िल्टर करना व्यवहार संबंधी संकेत को महत्वपूर्ण रूप से बढ़ाता है।
स्टेबिलिटी फ़िल्टरिंग: मॉडल जनरेशन को पुनः नमूना (re-sampling) बनाकर विश्वसनीय कंट्रोल पॉइंट्स की पहचान करने के लिए एक नवीन, ट्रेनिंग-मुक्त विधि। लेखक दिखाते हैं कि हार्ड थ्रेसहोल्डिंग (अस्थिर सीमाओं को हटाना) सॉफ्ट वेटिंग की तुलना में बेहतर प्रदर्शन करता है क्योंकि ट्रिगर संभावनाओं का वितरण अत्यधिक झुका हुआ (skewed) है (अधिकांश शून्य के करीब हैं)।
क्रॉस-मॉडल ट्रांसफर: विधि प्रदर्शित करती है कि एक मॉडल (DeepSeek-R1-Distill-Qwen-1.5B) से निकाले गए स्टीयरिंग वेक्टर्स को उसी आर्किटेक्चर परिवार के अन्य मॉडलों (Nemotron, DeepScaleR) पर बिना पुनः निष्कर्षण के लागू किया जा सकता है, जिससे महत्वपूर्ण प्रदर्शन लाभ मिलता है।
अनुभवजन्य सत्यापन (Empirical Validation): एक व्यवहार प्रोब पुष्टि करता है कि "स्थिर" सीमाओं पर हिडन स्टेट्स, "अस्थिर" सीमाओं की तुलना में काफी मजबूत व्यवहार संबंधी संकेत (उच्च प्रोब कॉन्फिडेंस) रखते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग 1.5B पैरामीटर मॉडल्स का उपयोग करके MATH-500 बेंचमार्क पर किए गए।

सोर्स मॉडल (Qwen-1.5B) पर प्रदर्शन:
- बेसलाइन: 60.8% सटीकता।
- SEAL (पिछला SOTA): 73.4% सटीकता (+12.6)।
- हमारा (Stability + Projection): 78.4% सटीकता (+17.6 बेसलाइन पर, +5.0 SEAL पर)।
- दक्षता: इस विधि ने औसत टोकन उपयोग (1547 $\to$ 1008) और प्रतिबिंब कीवर्ड संख्या (39.1 $\to$ 10.7) को कम किया, जो अनुत्पादक ओवर-थिंकिंग के दमन को दर्शाता है।
क्रॉस-मॉडल ट्रांसफर:
- Nemotron-Research-Reasoning-1.5B पर लागू किया गया: 81.6% सटीकता (+15.4 बेसलाइन पर)।
- DeepScaleR-1.5B-Preview पर लागू किया गया: 81.2% सटीकता (+8.6 बेसलाइन पर)।
- नोट: ये लाभ बिना लक्ष्य मॉडलों के लिए वेक्टर्स को पुनः निकाले गए।
एब्लेशन अध्ययन (Ablation Studies):
- स्टेबिलिटी फ़िल्टरिंग अकेले ही अधिकांश लाभ (SEAL पर +7.0) के लिए जिम्मेदार थी।
- कंटेंट प्रोजेक्शन ने एक मामूली लेकिन निरंतर अतिरिक्त बढ़ावा (+बेसलाइन पर +1.6, अकेले फ़िल्टरिंग पर +0.8) प्रदान किया।
- थ्रेसहोल्ड विश्लेषण: सटीकता $\tau=0.8$ के स्टेबिलिटी थ्रेसहोल्ड पर चरम पर थी। कम थ्रेसहोल्ड बहुत अधिक शोर शामिल करते थे; उच्च थ्रेसहोल्ड ( $\tau=0.9$ ) बहुत अधिक डेटा को हटा देते थे।
कीवर्ड अस्थिरता निष्कर्ष (Keyword Instability Finding):
- 541 कीवर्ड-लक्षित सीमाओं में से, 93.3% व्यवहारिक रूप से अस्थिर थे (पुन: जनरेशन में व्यवहार को दोहराने में विफल रहे)।
- औसत ट्रिगर संभावना केवल $\bar{p} = 0.167$ थी, जिसका अर्थ है कि मानक विधियां अधिकतम संभावित सिग्नल के केवल ~17% को ही बनाए रखती हैं।

5. महत्व (Significance)

यह शोध पत्र LLM तर्क (reasoning) के लिए स्टीयरिंग के प्रतिमान को मौलिक रूप से बदल देता है। यह सतही संकेतों (कीवर्ड्स) पर निर्भर रहने के बजाय कि वे आंतरिक संज्ञानात्मक अवस्थाओं का विश्वसनीय रूप से संकेत देते हैं, उनसे हटकर जाता है। स्टेबिलिटी फ़िल्टरिंग पेश करके, लेखक प्रदर्शित करते हैं कि:

मात्रा से अधिक गुणवत्ता (Quality over Quantity): पहचाने गए अधिकांश "व्यवहार संबंधी" बिंदुओं को हटाना वास्तव में नियंत्रण में सुधार करता है क्योंकि यह शोर को हटा देता है।
तर्क की स्टोकेस्टिक प्रकृति: LLMs में तर्क व्यवहार संभाव्यता आधारित (probabilistic) होते, न कि नियतात्मक (deterministic), जिसके लिए वास्तविक संकेतों की पहचान करने के लिए मजबूत सांख्यिकीय विधियों (re-sampling) की आवश्यकता होती है।
सामान्यीकरण (Generalizability): परिणामी स्टीयरिंग वेक्टर्स मजबूत और हस्तांतरणीय (transferable) हैं, जो यह सुझाव देते हैं कि विशिष्ट तर्क व्यवहारों की "दिशा" एक साझा आर्किटेक्चरल गुण है, न कि केवल एक मॉडल-विशिष्ट आर्टिफैक्ट।

यह कार्य LLM तर्क को अनुकूलित करने, टोकन की बर्बादी को कम करने और जटिल गणितीय कार्यों पर सटीकता में सुधार करने के लिए एक व्यावहारिक, ट्रेनिंग-मुक्त मार्ग प्रदान करता है।