💬 NLP

VSPO: Vector-Steered Policy Optimization for Behavioral Control

यह शोध पत्र वेक्टर-स्टीयर्ड पॉलिसी ऑप्टिमाइज़ेशन (VSPO) को प्रस्तुत करता है, जो एक नवीन विधि है जो रोलआउट सैंपलिंग के दौरान व्यवहारिक तीव्रता को नियंत्रित करने के लिए स्टीयरिंग वेक्टर्स का उपयोग करने हेतु GRPO को संशोधित करती है, जिससे स्पार्स रिवॉर्ड बॉटलनैक्स (sparse reward bottlenecks) कम होते हैं और कई रीजनिंग बेंचमार्क पर बेहतर व्यवहारिक नियंत्रण और कार्य सटीकता प्राप्त करने के लिए पॉलिसी ऑप्टिमाइज़ेशन को प्रमाणित रूप से त्वरित किया जाता है।

मूल लेखक: Xuechen Zhang, Zijian Huang, Kai Yang, Weijia Zhang, Jiasi Chen, Samet Oymak

प्रकाशित 2026-05-18

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xuechen Zhang, Zijian Huang, Kai Yang, Weijia Zhang, Jiasi Chen, Samet Oymak

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ी जिद्दी छात्र है (AI मॉडल)। आप चाहते हैं कि वह गणित की समस्या को सही ढंग से हल करे (प्राथमिक लक्ष्य), लेकिन आप यह भी चाहते हैं कि वह उत्तर को एक बहुत ही विशिष्ट तरीके से समझाए—जैसे कि एक धैर्यवान प्राथमिक विद्यालय के शिक्षक की तरह, या एक उच्च स्तरीय विश्वविद्यालय के प्रोफेसर की तरह।

समस्या यह है कि वह छात्र स्वयं से उन विशिष्ट शैलियों में बहुत कम समझाता है। यदि आप केवल उन्हें कहेंगे, "एक प्रोफेसर की तरह बनो," तो वे भ्रमित हो सकते हैं या आपकी बात को अनदेखा कर सकते हैं। यदि आप उन्हें किसी प्रसिद्ध प्रोफेसर (एक "शिक्षक") द्वारा लिखे गए उदाहरण दिखाकर सिखाने की कोशिश करते हैं, तो वे वास्तव में उस तरह से सोचना सीखने के बजाय केवल उन उदाहरणों को रट सकते हैं।

यह पेपर VSPO (वेक्टर-स्टीयर्ड पॉलिसी ऑप्टिमाइज़ेशन) नामक एक नई प्रशिक्षण विधि पेश करता है जो इसे हल करने के लिए है। यह यहाँ बताया गया है कि यह कैसे काम करता है, सरल उपमाओं का उपयोग करके:

1. समस्या: "स्पार्स रिवॉर्ड" (Sparse Reward) की बाधा

कल्पना कीजिए कि आप छात्र को अधिक "आत्मविश्वासी" बनना सिखाने की कोशिश कर रहे हैं। आप उनसे 10 समस्याएं हल करने के लिए कहते हैं।

पुराना तरीका (रिवॉर्ड शेपिंग): आप उनके उत्तर देने का इंतज़ार करते हैं। यदि वे संयोग से आत्मविश्वास से भरे हुए लगते हैं, तो आप उन्हें एक स्टार देते हैं। यदि वे अनिश्चित लगते हैं (जो 10 में से 9 बार होता है), तो आप उन्हें कोई स्टार नहीं देते।
समस्या: क्योंकि आत्मविश्वासी उत्तर बहुत दुर्लभ हैं, छात्र को बहुत कम स्टार मिलते हैं। उन्हें पैटर्न सीखने के लिए पर्याप्त अभ्यास नहीं मिल पाता। यह जुगलबंदी (juggling) सीखने की कोशिश करने जैसा है, जहाँ आप सप्ताह में एक बार गलती से गेंद को अपने हाथों में गिरने का इंतज़ार करते हैं।

2. समाधान: "स्टीयरिंग वेक्टर" (The Invisible Nudge - अदृश्य संकेत)

शोधकर्ताओं ने पाया कि AI के "मस्तिष्क" (इसके आंतरिक सक्रियण स्थान/internal activation space) में विशिष्ट दिशाएँ होती हैं, जैसे कि अदृश्य सड़कें, जो विशिष्ट व्यवहारों की ओर ले जाती हैं।

उपमा: AI के मन को एक विशाल मानचित्र की तरह समझें। वहाँ एक विशिष्ट "प्रोफेसर रोड" है और एक "प्राइमरी टीचर रोड" है।
वे सड़क कैसे पाते हैं: वे एक सुपर-स्मार्ट "टीचर AI" का उपयोग करते हैं जो उत्तर के दो संस्करण लिखता है: एक बहुत ही विशेषज्ञ और एक बहुत ही सरल। वे AI के मस्तिष्क में इन दोनों उत्तरों के बीच के अंतर को मापते हैं ताकि एक "मैप कोऑर्डिनेट" (स्टीering Vector) बना सकें जो सीधे "प्रोफेसर रोड" की ओर इशारा करता है।

3. जादू का मंत्र: "ऑन-पॉलिसी सेल्फ-डिस्टिलेशन" (On-Policy Self-Distillation)

यही VSPO का मूल है। छात्र के "प्रोफेसर रोड" तक गलती से पहुँचने का इंतज़ार करने के बजाय, शोधकर्ता समस्या हल करते समय छात्र की सोचने की प्रक्रिया को धीरे से नज (nudge) करते हैं यानी दिशा देते हैं।

उपमा: कल्पना कीजिए कि छात्र एक धुंधले जंगल में चल रहा है।
- सामान्य AI: वे बेतरतीब ढंग से भटकते हैं।
- VSPO: शोधकर्ता छात्र को एक दिशा-सूचक यंत्र (compass) देते हैं जो थोड़ा सा "प्रोफेसर रोड" की ओर इशारा करता है। वे छात्र को 5 अलग-अलग पथों पर चलने के लिए कहते हैं:
  1. एक पथ जो मजबूती से प्रोफेसर शैली की ओर निर्देशित है।
  2. एक पथ जो कमजोर रूप से उसकी ओर निर्देशित है।
  3. एक पथ जिसमें कोई निर्देश नहीं है (सामान्य)।
  4. एक पथ जो विपरीत (प्राइमरी) शैली की ओर निर्देशित है।
  5. एक अन्य कमजोर निर्देश वाला पथ।
परिणाम: अब, धुंध में भटकने के बजाय, छात्र उत्तरों का एक पूरा परिवार उत्पन्न करता है, जो "बहुत सरल" से लेकर "बहुत विशेषज्ञ" तक विस्तृत है। भले ही छात्र आमतौर पर सरल उत्तर लिखता हो, यह 'नज' उसे अभी विशेषज्ञ उत्तर लिखने की कोशिश करने के लिए मजबूर करता है।

4. अपने स्वयं के "स्टीयर्ड" स्वरूप से सीखना

एक बार जब छात्र इन 5 अलग-अलग संस्करणों को उत्पन्न कर लेता है, तो सिस्टम जाँचता है:

क्या उत्तर गणित को सही ढंग से हल करता है?
क्या यह उस शैली में था जो हम चाहते थे?

सिस्टम फिर सबसे अच्छे "स्टीयर्ड" संस्करण को चुनता है (वह जो सही भी था और एक प्रोफेसर की तरह भी लग रहा था) और कहता है, "हे, याद रखो कि जब हमने तुम्हें दिशा दी थी तब तुम कैसे लग रहे थे? तुम इसके सक्षम हो! चलो इसे तुम्हारा नया सामान्य व्यवहार बनाते हैं।"

महत्वपूर्ण बात यह है कि छात्र अपने स्वयं के उत्पन्न किए गए प्रयासों से सीख रहा है, न कि बाहरी "टीचर AI" से। यह छात्र के सामने आईने के सामने भाषण का अभ्यास करने, अपनी टोन को समायोजित करने और फिर यह तय करने जैसा है, "ठीक है, मैं इस तरह बात कर सकता हूँ," बजाय इसके कि वह किसी और की रिकॉर्डिंग को केवल रटे।

यह पुराने तरीकों से बेहतर क्यों है?

केवल पूछने से बेहतर (टेक्स्टुअल गाइडेंस): प्रॉम्प्ट में AI को "प्रोफेसर बनो" कहना दूर से निर्देश चिल्लाने जैसा है। VSPO उनकी लिखने की प्रक्रिया को शारीरिक रूप से निर्देशित करने जैसा है। यह अधिक सटीक है और हर बार चिल्लाने वाले निर्देशों की आवश्यकता नहीं होती।
शिक्षक की नकल करने से बेहतर (डिस्टिलेशन): शिक्षक के काम की नकल करना "ऑफ-पॉलिसी" (किसी और से सीखना) है। VSPO "ऑन-पॉलिसी" (अपने स्वयं के सुधरे हुए प्रयासों से सीखना) है। यह सीखने की प्रक्रिया को अधिक स्थायी और स्थिर बनाता है।
"दुर्लभ व्यवहार" की समस्या को हल करता है: प्रशिक्षण के दौरान व्यवहारों की एक विस्तृत श्रृंखला (सरल से विशेषज्ञ तक) बनाकर, VSPO यह सुनिश्चित करता है कि AI वांछित शैली के कई उदाहरण देखे, न कि केवल उन दुर्लभ उदाहरणों को जो उसे संयोग से मिलते हैं।

निष्कर्ष (The Bottom Line)

VSPO एक ऐसी प्रशिक्षण तकनीक है जो एक अदृश्य "नज" (स्टीयरिंग वेक्टर) का उपयोग करती है ताकि AI को विभिन्न "व्यक्तित्वों" (जैसे आत्मविश्वासी, विशेषज्ञ, या संक्षिप्त) के साथ उत्तरों की एक विस्तृत विविधता उत्पन्न करने के लिए मजबूर किया जा सके। इसके बाद यह AI को उन विशिष्ट व्यक्तित्वों के भीतर सही उत्तर खोजने के लिए पुरस्कृत करता है और AI को उस शैली को स्थायी रूप से अपनाने के लिए सिखाता है।

परिणामस्वरूप, एक ऐसा AI मिलता है जो कठिन गणित की समस्याओं को हल कर सकता है और उन्हें ठीक उसी शैली में समझा सकता है जैसा आप चाहते हैं (विशेषज्ञ, सरल, आत्मविश्वासी, आदि), बिना अपनी सटीकता खोए, और यह सब केवल किसी शिक्षक की नकल करने के बजाय अपने स्वयं के अभ्यास से सीखता है।

तकनीकी सारांश: वेक्टर-स्टीयर्ड पॉलिसी ऑप्टिमाइज़ेशन (VSPO)

समस्या विवरण

आधुनिक लार्ज लैंग्वेज मॉडल्स (LLMs) को अक्सर एक प्राथमिक सटीकता उद्देश्य के लिए अनुकूलित करने की आवश्यकता होती है, जबकि साथ ही माध्यमिक व्यवहार संबंधी प्राथमिकताओं, जैसे कि शब्दार्थ (verbosity), आत्मविश्वास की अभिव्यक्ति, विशेषज्ञता का स्तर, या भ्रामक संदर्भ के प्रति मजबूती (robustness) को भी समायोजित करना होता है। व्यवहार में, बेस मॉडल इन वांछित व्यवहारों को शायद ही कभी या बिल्कुल भी प्रदर्शित कर सकते हैं, जिससे एक स्पार्स बिहेवियरल रिवॉर्ड बॉटलनेक (sparse behavioral reward bottleneck) उत्पन्न होता है।

मौजूदा दृष्टिकोण इस मल्टी-ऑब्जेक्टिव सेटिंग में महत्वपूर्ण सीमाओं का सामना करते हैं:

रिवॉर्ड शेपिंग (Reward Shaping): ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) में सहायक रिवॉर्ड जोड़ना तब अक्षम होता है जब लक्षित व्यवहार सैंपल किए गए रोलआउट्स में दुर्लभ हो। स्केलर रिवॉर्ड्स ट्रेजेक्टरीज का मूल्यांकन करते हैं लेकिन रोलआउट डिस्ट्रीब्यूशन की विविधता या गुणवत्ता में सुधार नहीं करते हैं। यदि एक GRPO ग्रुप में उच्च-गुणवत्ता वाले या व्यवहारिक रूप से विविध उम्मीदवार नहीं हैं, तो रिलेटिव एडवांटेज नॉर्मलाइजेशन कमजोर लर्निंग सिग्नल प्रदान करता है।
टीचर-ट्रेस डिस्टिलेशन (SFT): एक अधिक शक्तिशाली टीचर मॉडल का उपयोग करके लक्षित व्यवहारों के साथ ट्रेसेस को जेनरेट करना या फिर से लिखना, एक ऑफ-पॉलिसी मिसमैच (off-policy mismatch) पेश करता है। स्टूडेंट मॉडल किसी अन्य मॉडल द्वारा निर्मित ट्रेजेक्टरीज से सीखता है न कि अपने स्वयं के सैंपल किए गए आउटपुट्स से, जिससे लक्षित व्यवहार और स्टूडेंट के सुलभ डिस्ट्रीब्यूशन के बीच विच्छेद होने की संभावना रहती है।
ऑनलाइन AI फीडबैक (RLAIF): वे विधियाँ जो RL लूप के दौरान एनोटेटर्स या री-राइटर्स के रूप में शक्तिशाली टीचर मॉडल्स का उपयोग करती हैं, बार-बार API कॉल्स के कारण कम्प्यूटेशनल रूप से महंगी होती हैं और री-रिटन ट्रेसेस पर प्रशिक्षण के दौरान अभी भी ऑफ-पॉलिसी कमियों से ग्रस्त होती हैं।

कार्यप्रणाली: वेक्टर-स्टीयर्ड पॉलिसी ऑप्टिमाइज़ेशन (VSPO)

VSPO लक्षित व्यवहारों से जुड़े स्टीयरिंग वेक्टर्स (steering vectors) का उपयोग करके रोलआउट की तीव्रता को नियंत्रित करके इन बाधाओं को दूर करता है। इस पद्धति को एक ऑन-पpolic latent self-distillation प्रक्रिया के रूप में फ्रेम किया गया है जहाँ मॉडल अपने स्वयं के स्टीयरिंग वेक्टर को आत्मसात करता है।

VSPO वर्कफ़्लो दो चरणों में विभाजित है:

चरण 1: स्टीयरिंग वेक्टर निर्माण

एक स्टीयरिंग वेक्टर को मॉडल के लेटेंट एक्टिवेशन स्पेस में लक्षित व्यवहार का प्रतिनिधित्व करने के लिए बनाया जाता है।

कॉन्ट्रास्टिव रीराइटिंग (Contrastive Rewriting): एक टीचर मॉडल बेस रिस्पॉन्स को लक्षित मॉडल से पॉजिटिव और नेगेटिव बिहेवियरल वेरिएंट्स (जैसे, एक्सपर्ट बनाम एलिमेंट्री एक्सप्लेनेशन) में फिर से लिखता है।
वेक्टर एक्सट्रैक्शन (Vector Extraction): इन पॉजिटिव और नेगेटिव वेरिएंट्स के बीच एक्टिवेशन अंतर की लेयर-वार गणना की जाती है। सबसे मजबूत लेयर-वाइज दिशा को चुना जाता है और स्टीयरिंग वेक्टर $v$ बनाने के लिए इसे नॉर्मलाइज़ किया जाता है। यह वेक्टर लक्षित व्यवहार की लेटेंट दिशा को कैप्चर करता है।

चरण 2: सेल्फ-डिस्टिलेशन पॉलिसी ऑप्टिमाइज़ेशन

वर्तमान पॉलिसी को GRPO का उपयोग करके अनुकूलित किया जाता है, लेकिन एक संशोधित रोलआउट जनरेशन प्रक्रिया के साथ:

स्टीयर्ड रोलआउट्स (Steered Rollouts): प्रत्येक प्रॉम्प्ट के लिए, विभिन्न स्टीयरिंग इंटेंसिटीज (steering intensities) $\beta \in \{\beta_1, \dots, \beta_G\}$ के साथ $G$ रोलआउट्स का एक समूह सैंपल किया जाता है। ये इंटेंसिटीज डिकोडिंग के दौरान रेसिडुअल स्ट्रीम में स्टीयरिंग वेक्टर इंजेक्ट करके लागू की जाती हैं: $\tilde{h}_t = h_t + \beta v$ ।
रिवॉर्ड कंप्यूटेशन: प्रत्येक रोलआउट को रिवॉर्ड $r = r_0 + \alpha \beta$ प्राप्त होता है, जहाँ $r_0$ प्राथमिक कार्य रिवॉर्ड (जैसे, शुद्धता) है और $\alpha \beta$ एक प्रॉक्सी बिहेवियरल रिवॉर्ड है जो स्टीयरिंग इंटेंसिटी के समानुपाती है।
पॉलिसी अपडेट: पॉलिसी को स्टैंडर्ड GRPO ऑब्जेक्टिव के साथ अपडेट किया जाता है जिसमें ग्रुप-रिलेटिव एडवांटेज का उपयोग होता है। महत्वपूर्ण बात यह है कि अपडेट अनस्टीयर्ड पॉलिसी ( $\pi_\theta$ ) पर लागू किया जाता है, जबकि एडवांटेज की गणना स्टीयर्ड ट्रेसेस के आधार पर की जाती है। यह मॉडल को अपने स्वयं के स्टीयर्ड वेरिएंट्स से उपयोगी व्यवहारों को डिस्टिल करने की अनुमति देता है बिना इन्फरेंस-टाइम व्यवहार को स्टीयरिंग वेक्टर के साथ स्थायी रूप से बदले।

मुख्य योगदान

एल्गोरिदमिक इनोवेशन: VSPO का परिचय, जो एक मल्टी-ऑब्जेक्टिव पॉलिसी ऑप्टिमाइज़ेशन विधि है जो कार्य सटीकता को बनाए रखते हुए व्यवहार को नियंत्रित करने के लिए स्टीयरिंग वेक्टर्स का लाभ उठाता है। वैनिला GRPO या रिवॉर्ड शेपिंग के विपरीत, VSPO स्पष्ट रूप से लक्षित लेटेंट वेक्टर के साथ ट्रेसेस को सैंपल करके रोलआउट विविधता को सक्रिय रूप से बेहतर बनाता है। टीचर-ट्रेस SFT के विपरीत, यह टीचर ट्रेसेस पर ट्रेनिंग करने से बचता है; टीचर केवल वेक्टर निर्माण में सहायता करता है।
सैद्धांतिक गारंटी: पेपर यह स्थापित करता है कि VSPO एक बैंडिट एब्स्ट्रैक्शन के तहत रिवॉर्ड-शेप्ड GRPO की तुलना में बेहतर इटरेशन कॉम्प्लेक्सिटी प्राप्त करता है। विशेष रूप से, जब स्टीयरिंग-प्रेरित डिस्ट्रीब्यूशन लक्षित व्यवहार के साथ पर्याप्त रूप से संरेखित होते हैं (एक " $\gamma$ -good" स्थिति को संतुष्ट करते हुए), VSPO दुर्लभ लेकिन वांछनीय व्यवहारिक पैटर्न को अपसैंपल करता है, जिससे कन्वर्जेंस तेज होता है।
अनुभवजन्य सत्यापन (Empirical Validation): MATH और MMLU-Pro बेंचमार्क पर व्यापक मूल्यांकन से पता चलता है कि VSPO लगातार रिवॉर्ड शेपिंग, टीचर-ट्रेस SFT, SDFT, SDPO और RLAIF-स्टाइल बेसलाइन्स से बेहतर प्रदर्शन करता है। यह कार्य सटीकता को बनाए रखते हुए या सुधारते हुए चार लक्षित व्यवहारों (विशेषज्ञता का स्तर, आत्मविश्वास की अभिव्यक्ति, भ्रामक संदर्भ के प्रति मजबूती, और वर्बोसिटी) पर मजबूत नियंत्रण प्राप्त करता है।
अनुकूल गुण: VSPO व्यवहार अक्ष (behavior axis) पर एक प्राकृतिक लर्निंग करिकुलम प्रेरित करता है और एक पॉलिसी-प्रॉक्सिमल डिस्ट्रीब्यूशन (बेस मॉडल के सापेक्ष कम NLL) बनाए रखता है, जिससे ऑफ-पॉलिसी विधियों में देखी जाने वाली गंभीर डिस्ट्रीब्यूशनल शिफ्ट से बचा जा सकता है।

प्रयोगात्मक परिणाम

लेखकों ने चार लक्षित व्यवहारों के साथ दो बेंचमार्क (MMLU-Pro और MATH) पर VSPO का मूल्यांकन किया:

विशेषज्ञता का स्तर (Expertise Level): VSPO ने उच्च सटीकता बनाए रखते हुए सबसे मजबूत द्विदिश नियंत्रण (एक्सपर्ट और एलिमेंट्री स्टाइल के बीच शिफ्ट होना) प्राप्त किया (जैसे, MMLU-Pro पर 64.3% एक्सपर्ट-लेवल कंट्रोल बनाम SFT के लिए 45.0%)।
आत्मविश्वास की अभिव्यक्ति (Confidence Expression): VSPO ने सटीकता को कम किए बिना कॉन्फिडेंट या सतर्क टोन की ओर रिस्पॉन्स को सफलतापूर्वक स्टीयर किया, जो उन बेसलाइन्स से बेहतर है जो अक्सर स्टाइल के लिए करेक्टनेस का त्याग करते हैं।
भ्रामक संदर्भ के प्रति मजबूती (Robustness to Misleading Context): उन सेटिंग्स में जहाँ मॉडल्स गलत इंजेक्ट किए गए उत्तरों से सहमत होने के लिए पक्षपाती होते हैं, VSPO ने रोलआउट जनरेशन के दौरान अधिक स्वतंत्र रीजनिंग ट्रेसेस को उजागर करके सटीकता में उल्लेखनीय सुधार किया (64.2% बनाम मूल मॉडल के लिए 23.6%)।
संक्षिप्त तर्क (Concise Reasoning): VSPO ने लेंथ-पेनल्टी रिवॉर्ड शेपिंग की तुलना में छोटी प्रतिक्रियाओं के साथ उच्च सटीकता प्राप्त करके सटीकता-लंबाई ट्रेड-ऑफ में सुधार किया।

महत्व और दावे

पेपर का दावा है कि VSPO कंट्रोलेबल मल्टी-ऑब्जेक्टिव अलाइनमेंट की दिशा में एक महत्वपूर्ण कदम है। व्यवहार नियंत्रण को रिवॉर्ड-शेपिंग या ऑफ-पॉलिसी डिस्टिलेशन के बजाय एक लेटेंट स्टीयरिंग समस्या के रूप में मानकर, VSPO:

स्पार्स रिवॉर्ड बॉलनेक को कम करता है वर्तमान पॉलिसी से सीधे विविध, व्यवहार-संरेखित उम्मीदवारों को जेनरेट करके।
महंगे बाहरी फीडबैक पर निर्भरता कम करता है पूरे ऑप्टिमाइज़ेशन के दौरान एक एकल स्टीयरिंग वेक्टर का पुन: उपयोग करके, उन विधियों के विपरीत जिन्हें बार-बार टीचर कॉल्स की आवश्यकता होती है।
स्थिर अनुकूलन सक्षम करता है प्रशिक्षण प्रक्रिया को ऑन-पॉलिसी और पॉलिसी-प्रॉक्सिमल रखकर, जो टीचर-ट्रेस डिस्टिलेशन में निहित डिस्ट्रीब्यूशनल मिसमैच से बचता है।

लेखक निष्कर्ष निकालते हैं कि VSPO प्राथमिक कार्य प्रदर्शन से समझौता किए बिना नियंत्रणीय माध्यमिक व्यवहार प्राप्त करने के लिए एक मजबूत ढांचा प्रदान करता है, जो मौजूदा RL और डिस्टिलेशन विधियों के लिए एक अधिक सैंपल-एफिशिएंट और सैद्धांतिक रूप से ठोस विकल्प है।