💬 NLP

Inference-time Alignment via Sparse Junction Steering

यह शोध पत्र स्पार्स इन्फरेंस-टाइम अलाइनमेंट (SIA) का प्रस्ताव करता है, जो एक ऐसी विधि है जो प्रत्येक टोकन के बजाय केवल उच्च-एन्ट्रॉपी निर्णय बिंदुओं पर हस्तक्षेप करके अलाइनमेंट दक्षता और जनरेशन गुणवत्ता में सुधार करती है, जिससे 6 गुना तक कम कम्प्यूटेशनल लागत के साथ बेहतर परिणाम प्राप्त होते हैं।

मूल लेखक: Runyi Hu, Jie Zhang, Shiqian Zhao, Jiale Meng, Jiwei Li, Jason Zeng, Ming Wu, Michael Heinrich, Yonggang Wen, Tianwei Zhang

प्रकाशित 2026-02-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Runyi Hu, Jie Zhang, Shiqian Zhao, Jiale Meng, Jiwei Li, Jason Zeng, Ming Wu, Michael Heinrich, Yonggang Wen, Tianwei Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली लेकिन थोड़ी शरारती शेफ (लार्ज लैंग्वेज मॉडल, या LLM) है। यह शेफ अपने आप में अद्भुत व्यंजन (उत्तर) बना सकता है, लेकिन कभी-कभी यह गलती से बहुत अधिक नमक डाल सकता है, ऐसा व्यंजन परोस सकता है जो असुरक्षित हो, या बस बिना किसी मुद्दे पर आए इधर-उधर की बातें कर सकता है।

पारंपरिक रूप से, इसे ठीक करने के लिए, हमने मुख्य रूप से दो चीजें आजमाई हैं:

शेफ को फिर से प्रशिक्षित करना (Re-training the Chef): हम शेफ को महीनों तक कुकरी स्कूल वापस भेजते हैं ताकि वह रेसिपी दोबारा सीख सके। यह काम करता है, लेकिन यह महंगा, धीमा है और इसके लिए एक विशाल रसोई के नवीनीकरण (कंप्यूटेशनल लागत) की आवश्यकता होती है।
हर कदम पर सूक्ष्म प्रबंधन करना (Micromanaging Every Step): हम शेफ के कंधे के ऊपर खड़े होकर, उसके द्वारा उठाए गए हर एक घटक (ingredient) के लिए निर्देश चिल्लाते हैं। "यहाँ कम नमक डालो!" "उस प्याज को मत काटो!" "अधिक काली मिर्च डालो!" यह सुनिश्चित करता है कि व्यंजन सुरक्षित है, लेकिन यह शेफ के लिए थका देने वाला है, खाना पकाने की प्रक्रिया को बहुत धीमा कर देता है, और कभी-कभी शेफ इतना भ्रमित हो जाता है कि खाना वास्तव में स्वाद में खराब हो जाता है।

यह पेपर एक नया, स्मार्ट तरीका पेश करता है: "स्पार्स जंक्शन स्टीयरिंग" (Sparse Junction Steering)।

इसका सरल विवरण यहाँ दिया गया है, कुछ उपमाओं (analogies) का उपयोग करते हुए:

1. "हाई-स्टेक्स इंटरसेक्शन" (मुख्य विचार)

कल्पना कीजिए कि शेफ भोजन डिलीवर करने के लिए एक लंबी सड़क पर कार चला रहा है।

पुराना तरीका: आप ड्राइवर को हर एक फुट के लिए दिशा निर्देश चिल्लाकर देते हैं। "यहाँ बाएं मुड़ें! यहाँ ब्रेक लगाएं! यहाँ गति बढ़ाएं!" यह शोर भरा, महंगा है, और ड्राइवर परेशान हो जाता है।
नया तरीका (SIA): आप महसूस करते हैं कि सड़क का अधिकांश हिस्सा सीधा और आसान है। ड्राइवर को पता है कि उसे क्या करना है। आपको केवल उन महत्वपूर्ण चौराहों (critical intersections) पर हस्तक्षेप करने की आवश्यकता है जहाँ ड्राइवर रास्ता भटक सकता है, गलत मोड़ ले सकता है, या खाई में जा सकता है।

पेपर इन महत्वपूर्ण क्षणों को "हाई-एन्ट्रॉपी जंक्शन्स" (High-Entropy Junctions) कहता है।

एन्ट्रॉपी (Entropy) बस "भ्रम" या "अनिश्चितता" के लिए एक फैंसी शब्द है।
जब मॉडल आश्वस्त होता है (लो एन्ट्रॉपी), तो वह सीधी राह पर चल रहा होता है। दखल देने की कोई आवश्यकता नहीं है।
जब मॉडल अनिश्चित होता है (हाई एन्ट्रॉपी), तो वह एक चौराहे पर होता है। यहीं पर वह असुरक्षित या अनुपयोगी क्षेत्र में जा सकता है। यही वह समय है जब आपको हस्तक्षेप करने की आवश्यकता होती है।

2. "ट्रैफिक लाइट" सिस्टम (यह तय करने के लिए कि कब बोलना है)

सिस्टम को कैसे पता चलता है कि कब चिल्लाना है और कब चुप रहना है? यह मॉडल के अपने आत्मविश्वास पर आधारित एक ट्रैफिक लाइट का उपयोग करता है।

ग्रीन लाइट (लो एन्ट्रॉपी): मॉडल खुद पर आश्वस्त है। सिस्टम शांत रहता है और मॉडल को स्वाभाविक रूप से खाना बनाने/निर्णय लेने देता है।
रेड लाइट (हाई एन्ट्रॉपी): मॉडल हिचकिचा रहा है या भ्रमित है। सिस्टम लाइट चमकाता है और कहता है, "हे, रुको! इस रास्ते को देखो। यह खतरनाक है। इसके बजाय यह दूसरा रास्ता लो।"

इन "रेड लाइट" क्षणों पर ही हस्तक्षेप करके, सिस्टम ऊर्जा (कंप्यूटेशनल पावर) की भारी बचत करता है और मॉडल की प्राकृतिक प्रतिभा को चमकने देता है।

3. परिणाम: "20% का नियम"

शोधकर्ताओं ने कई अलग-अलग "शेफों" (AI मॉडल्स) पर इसका परीक्षण किया। उन्होंने कुछ आश्चर्यजनक पाया:

आपको 100% चरणों का सूक्ष्म प्रबंधन करने की आवश्यकता नहीं है।
केवल 20% से 80% चरणों (विशेष रूप से भ्रमित करने वाले चरणों) में हस्तक्षेप करना सटीक परिणाम प्राप्त करने के लिए पर्याप्त है।
वास्तव में, कुछ बहुत स्मार्ट मॉडल्स के लिए, केवल 20% चरणों में हस्तक्षेप करने से उनका प्रदर्शन उन मॉडल्स से बेहतर हो गया जिन्हें महीनों तक फिर से प्रशिक्षित किया गया था।

4. यह एक बड़ी बात क्यों है?

गति और लागत: क्योंकि आप हर सेकंड निर्देश नहीं चिल्ला रहे हैं, इसलिए प्रक्रिया 6 गुना तेज़ है और बहुत सस्ती है।
बेहतर स्वाद: लगातार बाधा न डालने के कारण, भोजन (AI का आउटपुट) प्राकृतिक और प्रवाहपूर्ण रहता है। यह रोबोटिक या भ्रमित नहीं लगता।
सुरक्षा: यह मॉडल को गलती करने से ठीक पहले पकड़ लेता है, जिससे पूरे सफर को खराब किए बिना उसे "गलत रास्ते" पर जाने से रोका जा सके।

सारांश उपमा

इसे GPS नेविगेशन की तरह समझें।

पुराना तरीका: GPS हर एक ब्लॉक के लिए "बाएं मुड़ें, बाएं मुड़ें, बाएं मुड़ें" चिल्लाता है, भले ही आप एक सीधे हाईवे पर हों।
SIA तरीका: GPS तब तक शांत रहता है जब तक आप सीधी सड़क पर चल रहे होते हैं। यह केवल तभी बोलता है जब आप किसी जटिल चौराहे या गलत मोड़ के पास पहुँचते हैं।

यह पेपर साबित करता है कि केवल तब सुनने से जब AI वास्तव में अनिश्चित हो, हम इसे बिना पूरे इंजन को फिर से बनाए बिना, सुरक्षित, स्मार्ट और बहुत तेज़ बना सकते हैं।

यहाँ शोध पत्र "Inference-time Alignment via Sparse Junction Steering" (SIA) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए वर्तमान इन्फरेंस-टाइम अलाइनमेंट (inference-time alignment) विधियाँ मॉडल के वेट्स (weights) को बदले बिना मॉडल के व्यवहार को मानवीय प्राथमिकताओं (जैसे, सुरक्षा, उपयोगिता) की ओर मोड़ने का लक्ष्य रखती हैं। प्रमुख प्रतिमान (paradigm), टोकन-लेवल स्टीयरिंग (token-level steering), रिवॉर्ड सिग्नल्स का उपयोग करके आउटपुट डिस्ट्रीब्यूशन को मॉड्युलेट करके प्रत्येक डिकोडिंग स्टेप पर सघन हस्तक्षेप (dense interventions) लागू करता है।

लेखक मौजूदा सघन हस्तक्षेप विधियों में दो महत्वपूर्ण दोषों की पहचान करते हैं:

कंप्यूटेशनल ओवरहेड (Computational Overhead): प्रत्येक टोकन जनरेशन स्टेप पर रिवॉर्ड सिग्नल्स या वैल्यू मॉडल्स का मूल्यांकन करने से अत्यधिक कंप्यूटेशनल लागत आती है।
गुणवत्ता में गिरावट (Quality Degradation): निरंतर, सघन हेरफेर मॉडल के आंतरिक वितरण और बाहरी रिवॉर्ड सिग्नल्स के बीच संघर्ष पैदा करता है। यह "ओवर-स्टीयरिंग" मॉडल को उसके मूल प्रवाह (native fluency) से विचलित कर देता है, जिससे अक्सर जनरेशन की गुणवत्ता कम हो जाती है और सब-ऑप्टिमल अलाइनमेंट होता है।

मुख्य शोध प्रश्न यह है: क्या हर टोकन पर हस्तक्षेप करना आवश्यक है, या क्या केवल विरल, महत्वपूर्ण निर्णय बिंदुओं (sparse, critical decision points) पर स्टीयरिंग करके अलाइनमेंट प्राप्त किया जा सकता है?

2. कार्यप्रणाली: स्पार्स इन्फरेंस-टाइम अलाइनमेंट (SIA)

यह शोध पत्र SIA का प्रस्ताव करता है, जो एक ऐसा फ्रेमवर्क है जो सभी टोकन पर समान रूप से हस्तक्षेप करने के बजाय केवल स्पार्स जंक्शनों (sparse junctions) (महत्वपूर्ण निर्णय बिंदुओं) पर हस्तक्षेप करता है।

A. सैद्धांतिक सूत्रीकरण (Theoretical Formulation)

SIA टेक्स्ट जनरेशन को एक टोकन-लेवल मार्कोव डिसीजन प्रोसेस (MDP) के रूप में मॉडल करता है। हर स्टेप पर इष्टतम पॉलिसी $\pi^*$ लागू करने के बजाय, SIA एक गेटिंग मैकेनिज्म (gating mechanism) $G(s_t)$ पेश करता है जो यह निर्धारित करता है कि स्टेट $s_t$ पर वैल्यू गाइडेंस को बुलाना है या नहीं।

स्पार्स पॉलिसी (Sparse Policy):
$\pi_{sparse}(y_t|s_t) = \begin{cases} \frac{1}{Z}\pi_{base}(y_t|s_t)e^{\beta V^*(s_{t+1})} & \text{यदि } G(s_t) = 1 \\ \pi_{base}(y_t|s_t) & \text{यदि } G(s_t) = 0 \end{cases}$
जहाँ $V^*$ एक सीखा हुआ वैल्यू फंक्शन है, $\beta$ एक वेटिंग फैक्टर है, और $G(s_t)$ एक बाइनरी इंडिकेटर है।

B. हाई-फिडेलिटी टोकन-लेवल वैल्यू मॉडल (High-Fidelity Token-Level Value Model)

विश्वसनीय स्पार्स स्टीयरिंग को सक्षम करने के लिए, लेखक डिस्टिलेशन (distillation) के माध्यम से एक समर्पित टोकन-लेवल वैल्यू मॉडल ( $V_\theta$ ) को प्रशिक्षित करते हैं:

प्रशिक्षण उद्देश्य (Training Objective): मॉडल को प्रत्येक टोकन प्रीफिक्स के लिए एक स्केलर वैल्यू की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है ताकि इन वैल्यूज का अनुक्रम (sequence) में औसत, एक पूर्व-प्रशिक्षित रिवॉर्ड मॉडल (जैसे, Skywork-Reward-V2) द्वारा प्रदान किए गए ग्लोबल ट्राजेक्टरी-लेवल रिवॉर्ड से मेल खाए।
लाभ (Advantage): यह आंशिक अनुक्रमों (partial sequences) पर लागू होने वाले ट्राजेक्टरी-लेवल रिवॉर्ड्स (जैसे ARGS में उपयोग किया जाता है) के शोर और उच्च विचरण (high variance) और मल्टी-टोकन लुकअहेड सिमुलेशन (जैसे Transfer Q* में उपयोग किया जाता है) की उच्च लागत से बचता है।

C. एंट्रॉपी-आधारित गेटिंग मैकेनिज्म (Entropy-Based Gating Mechanism)

पेपर महत्वपूर्ण जंक्शनों की पहचान करने के लिए विभिन्न गेटिंग रणनीतियों (Random, Position-based, Attention-based, और Entropy-based) का मूल्यांकन करता है।

मुख्य अंतर्दृष्टि (Key Insight): हाई-एंट्रॉपी जंक्शन (High-entropy junctions) उच्च अनिश्चितता वाले बिंदु दर्शाते हैं जहाँ कई संभावित पथ मौजूद होते हैं, जिनमें से कुछ अलाइनमेंट उद्देश्यों से भटक सकते हैं। ये वे बिंदु हैं जहाँ बाहरी मार्गदर्शन का प्रभाव सबसे अधिक होता है।
कार्यान्वयन (Implementation): सिस्टम प्रत्येक स्टेप पर टोकन डिस्ट्रीब्यूशन की एंट्रॉपी $H_t$ की गणना करता है। यदि $H_t > \tau$ (एक थ्रेशोल्ड, जो अनुभवजन्य रूप से $\approx 1.0$ पाया गया है), तो गेट खुलता है ( $G=1$ ), और वैल्यू गाइडेंस लागू की जाती है। अन्यथा, मॉडल स्वाभाविक रूप से जनरेट करता है ( $G=0$ )।

3. मुख्य योगदान (Key Contributions)

प्रतिमान परिवर्तन (Paradigm Shift): यह प्रदर्शित करता है कि सघन हस्तक्षेप (dense intervention) अनावश्यक और अक्सर हानिकारक होता है। स्पार्स स्टीयरिंग (केवल 20%–80% टोकन पर हस्तक्षेप करना) बेहतर दक्षता-प्रदर्शन ट्रेड-ऑफ प्राप्त करता है।
नवीन आर्किटेक्चर (Novel Architecture): टोकन-लेवल वैल्यू मॉडल्स के लिए एक डिस्टिलेशन-आधारित प्रशिक्षण प्रतिमान पेश करता है जो पूर्ववर्ती ट्राजेक्टरी-लेवल या लुकअहेड-आधारित विधियों की तुलना में अधिक सूक्ष्म और विश्वसनीय सिग्नल प्रदान करता है।
एंट्रॉपी-गेटेड स्टीयरिंग (Entropy-Gated Steering): मॉडल एंट्रॉपी को अलाइनमेंट-क्रिटिकल निर्णय बिंदुओं का पता लगाने के लिए सबसे मजबूत सिग्नल के रूप में पहचानता है, जो पोजीशनल या स्ट्रक्चरल ह्यूरिस्टिक्स से बेहतर प्रदर्शन करता है।
वीक-टू-स्ट्रॉन्ग (W2S) सामान्यीकरण: दिखाता है कि एक छोटा वैल्यू मॉडल एक काफी बड़े LLM को प्रभावी ढंग से गाइड कर सकता है, जिससे लेटेंसी और कंप्यूटेशनल लागत और कम हो जाती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग कई मॉडल परिवारों (Qwen3, Llama-3) और अलाइनमेंट उद्देश्यों (Harmlessness, Helpfulness, Honesty) में किए गए।

प्रदर्शन बनाम दक्षता (Performance vs. Efficiency):
- केवल 20%–40% टोकन को स्टीयर करना, हैवीली पोस्ट-ट्रेन्ड इंस्ट्रक्ट मॉडल्स और सर्च-आधारित बेसलाइन्स जैसे Best-of-N (BoN-8) और Chunk-based Search (CBS-8) के प्रदर्शन के बराबर या उससे बेहतर है।
- कंप्यूटेशनल बचत: SIA, डेंस टोकन-लेवल स्टीयरिंग और सर्च-आधारित विधियों की तुलना में कंप्यूटेशनल ओवरहेड को 3× से 6× तक कम कर देता है।
बेस मॉडल एन्हांसमेंट (Base Model Enhancement): मजबूत बेस मॉडल्स (जैसे, Qwen3-Base) के लिए, स्पार्स स्टीयरिंग लागू करने से वे अपने स्वयं के इंस्ट्रक्ट समकक्षों के बराबर या उनसे बेहतर प्रदर्शन कर सकते हैं, जो यह सुझाव देता है कि लाइटवेट इन्फरेंस-टाइम स्टीयरिंग बड़े पैमाने पर पोस्ट-ट्रेनिंग के लाभों की नकल कर सकता है।
मजबूती (Robustness): अनुकूल एंट्रॉपी थ्रेशोल्ड ( $\sim 1.0$ ) विभिन्न मॉडल्स और कार्यों में सामान्यीकृत (generalize) होता है।
एकीकरण (Integration): SIA, सर्च-आधारित विधियों (जैसे, BoN + SIA) के साथ सहजता से एकीकृत होता है, जो अनचाहे ट्राजेक्टरीज को जल्दी से छाँटकर अंतिम अलाइनमेंट की गुणवत्ता में सुधार करता है।

5. महत्व और निहितार्थ (Significance and Implications)

दक्षता को प्रदर्शन से अलग करना (Decoupling Efficiency from Performance): SIA पारंपरिक ट्रेड-ऑफ को तोड़ता है जहाँ उच्च अलाइनमेंट गुणवत्ता के लिए उच्च कंप्यूटेशनल लागत की आवश्यकता होती है। केवल महत्वपूर्ण क्षणों पर ध्यान केंद्रित करके, यह मॉडल के मूल प्रवाह को तोड़े बिना मजबूत मार्गदर्शन की अनुमति देता है।
स्केलेबिलिटी (Scalability): यह विधि अत्यधिक स्केलेबल है, विशेष रूप से वीक-टू-स्ट्रॉन्ग सेटिंग में, जहाँ एक छोटा, सस्ता वैल्यू मॉडल विशाल LLMs को स्टीयर कर सकता है, जिससे रिसोर्स-कंस्ट्रेंड वातावरण के लिए इन्फरेंस-टाइम अलाइनमेंट संभव हो जाता है।
सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): पेपर यह दिखाने के लिए सैद्धांतिक सीमाएँ (theoretical bounds) प्रदान करता है कि स्पार्स स्टीयरिंग वैल्यू एस्टिमेशन नॉइज़ के विरुद्ध एक रेगुलराइज़र के रूप में कार्य करता है, जो डेंस इंटरवेंशन में देखी जाने वाली "एंट्रॉपी रिबाउंड" और गुणवत्ता में गिरावट को रोकता है।
व्यावहारिक तैनाती (Practical Deployment): SIA, बिना किसी महंगे रिट्रेनिंग (RLHF/DPO) या मल्टी-राउंड सर्च की लेटेंसी के, LLMs को अलाइन करने के लिए एक प्लग-एंड-प्ले समाधान प्रदान करता है, जिससे यह वास्तविक समय के सुरक्षित AI असिस्टेंट के लिए एक व्यवहार्य मार्ग बनता है।

निष्कर्षतः, SIA यह सिद्ध करके इन्फरेंस-टाइम अलाइनमेंट को पुनर्परिभाषित करता है कि क्वालिटी अलाइनमेंट स्पार्स (विरल) है। डिस्टिल्ड वैल्यू मॉडल का उपयोग करके केवल हाई-एंट्रॉपी निर्णय बिंदुओं पर हस्तक्षेप करके, यह काफी कम कंप्यूटेशनल लागत के साथ अत्याधुनिक अलाइनमेंट प्राप्त करता है।