💬 NLP

Vector Policy Optimization: Training for Diversity Improves Test-Time Search

यह शोध पत्र वेक्टर पॉलिसी ऑप्टिमाइज़ेशन (VPO) को प्रस्तुत करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) एल्गोरिदम है जो वेक्टर-मान वाले पुरस्कारों (vector-valued rewards) का लाभ उठाकर भाषा मॉडलों को विविध समाधान उत्पन्न करने के लिए प्रशिक्षित करता है, जिससे मानक स्केलर रिवॉर्ड ऑप्टिमाइज़ेशन की तुलना में टेस्ट-टाइम सर्च प्रक्रियाओं में उनके प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Ryan Bahlous-Boldi, Isha Puri, Idan Shenfeld, Akarsh Kumar, Mehul Damani, Sebastian Risi, Omar Khattab, Zhang-Wei Hong, Pulkit Agrawal

प्रकाशित 2026-05-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ryan Bahlous-Boldi, Isha Puri, Idan Shenfeld, Akarsh Kumar, Mehul Damani, Sebastian Risi, Omar Khattab, Zhang-Wei Hong, Pulkit Agrawal

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शेफ हैं जो एक नए प्रशिक्षु (apprentice) को एक बहुत ही नखरेबाज फूड क्रिटिक (खाद्य समीक्षक) के लिए खाना बनाना सिखा रहे हैं। वह क्रिटिक केवल "एक अच्छा भोजन" नहीं चाहता; उसकी विशिष्ट इच्छाओं का एक जटिल मेनू है: शायद वह स्टेक को 'रेयर' (raw/pink) चाहता हो, सॉस को तीखा चाहता हो, सब्जियां कुरकुरी चाहता हो, और प्रेजेंटेशन कलात्मक चाहता हो।

पुराना तरीका: "एक ही आकार सबके लिए" वाला शेफ (The "One-Size-Fits-All" Chef)

अतीत में, AI (जैसे लार्ज लैंग्वेज मॉडल्स) को प्रशिक्षित करने के लिए, हम एक विधि का उपयोग करते थे जिसे स्केलर रिवॉर्ड ऑप्टिमाइज़ेशन (जिसे पेपर में GRPO द्वारा दर्शाया गया है) कहा जाता था।

इसे इस तरह समझें जैसे आप प्रशिक्षु को कह रहे हों: "आपका लक्ष्य उच्चतम संभव स्कोर प्राप्त करना है जो एक एकल संख्या पर आधारित है: 50% स्टेक की गुणवत्ता + 50% सॉस की गुणवत्ता।"

प्रशिक्षु जल्दी ही समझ जाता है कि उच्चतम स्कोर पाने के लिए, उसे प्रयोग करना बंद कर देना चाहिए। वह बार-बार एक ही "परफेक्ट" स्टेक-सॉस कॉम्बिनेशन बनाना शुरू कर देता है। वह एक विशिष्ट व्यंजन का मास्टर बन जाता है।

समस्या: जब क्रिटिक वास्तव में आता है, तो वह कह सकता है, "वास्तव में, आज मैं स्टेक को मीडियम-रेयर और सॉस को मीठा चाहता हूँ।" प्रशिक्षु, जिसने केवल एक विशिष्ट रेसिपी का अभ्यास किया है, को पता ही नहीं होता कि क्या करना है। उसके पास केवल एक ही उत्तर है, और वह आज के मूड के लिए गलत है।

नया तरीका: वेक्टर पॉलिसी ऑप्टिमाइज़ेशन (VPO)

पेपर एक नई प्रशिक्षण विधि प्रस्तावित करता है जिसे वेक्टर पॉलिसी ऑप्टिमाइज़ेशन (VPO) कहा जाता है।

एक एकल स्कोर देने के बजाय, ट्रेनर कहता है: "मैं तुम्हें अलग-अलग लक्ष्यों की एक सूची दूंगा। कभी मैं चाहता हूँ कि तुम स्टेक पर ध्यान केंद्रित करो, कभी सॉस पर, कभी सब्जियों पर। मैं चाहता हूँ कि तुम एक ही बार में विभिन्न व्यंजनों का एक 'प्लैटर' (थाली) तैयार करो, जहाँ प्रत्येक व्यंजन अलग-अलग संयोजनों का एक उत्कृष्ट नमूना हो।"

प्रशिक्षु विभिन्न समाधानों का एक विविध सेट बनाना सीखता है:

डिश A: परफेक्ट स्टेक, साधारण सॉस।
डिश B: हल्का स्टेक, जटिल तीखा सॉस।
डिश C: कुरकुरी सब्जियां, कलात्मक प्लेटिंग।

वे एक ही "सर्वश्रेष्ठ" डिश खोजने की कोशिश नहीं कर रहे हैं। वे संभावित स्वादिष्ट संयोजनों के पूरे "मैप" (नक्शे) को कवर करने की कोशिश कर रहे हैं (जिसे पेपर में पारेटो फ्रंटियर/Pareto Frontier कहा गया है)।

"टेस्ट-टाइम सर्च" (जब क्रिटिक आता है)

यहीं पर जादू होता है। पेपर का तर्क है कि आधुनिक AI सिस्टम में, AI केवल एक उत्तर नहीं देता और उम्मीद नहीं करता; बल्कि, सिस्टम उपयोग के समय (इंफरेंस के दौरान) एक सर्च इंजन की तरह कार्य करता है।

जब क्रिटिक अपनी विशिष्ट, अनूठी मांग (जैसे, "मुझे स्टेक रेयर लेकिन सॉस मीठा चाहिए") के साथ आता है, तो सिस्टम AI से एक नया व्यंजन शून्य से बनाने के लिए नहीं कहता। इसके बजाय, यह प्रशिक्षु द्वारा तैयार किए गए विविध व्यंजनों के प्लैटर को देखता है।

पुराना शेफ (GRPO): क्रिटिक प्लैटर को देखता है। यह 100 एक जैसे "स्टेक-सॉस #1" व्यंजनों से भरा है। क्रिटिक को उसमें वह नहीं मिल पाता जो वह चाहता है।
VPO शेफ: क्रिटिक प्लैटर को देखता है। वहां एक डिश है जिसमें रेयर स्टेक और मीठा सॉस है! सिस्टम उसी को चुन लेता है।

यह क्यों महत्वपूर्ण है

पेपर ने चार अलग-अलग "किचन" (कार्य जैसे लॉजिक पहेलियाँ सुलझाना, भूलभुलैया में रास्ता खोजना और कोड लिखना) पर इसका परीक्षण किया।

अधिक उम्मीदवार = बेहतर परिणाम: जैसे-जैसे सिस्टम को अधिक व्यंजनों (एक बड़ा "सर्च बजट") को देखने की अनुमति दी गई, VPO शेफ सबसे सटीक मिलान खोजने में बेहतर और बेहतर होता गया। पुराने शेफ का प्रदर्शन एक सीमा पर आकर रुक गया क्योंकि उनके पास केवल एक ही प्रकार का व्यंजन पेश करने का विकल्प था।
असंभव को हल करना: एक बहुत कठिन कोडिंग चुनौती (LiveCodeBench) में, पुराना शेफ कितनी भी कोशिश करे, समस्या को हल नहीं कर सका। हालाँकि, VPO शेफ के पास विविध "प्रयासों" का एक सेट था, जो एक सर्च टूल के साथ मिलकर समस्या को सुलझाने में सफल रहा।
"डाइवर्सिटी ट्रैप" (विविधता का जाल): पेपर नोट करता है कि यदि लक्ष्य लगभग एक जैसे हैं (जैसे, "इसे लाल बनाओ" और "इसे नीला बनाओ" जहाँ लाल और नीला एक ही चीज़ हैं), तो VPO मदद नहीं करता। यह तभी चमकता है जब लक्ष्य वास्तव में अलग हों और उनमें ट्रेड-ऑफ (समझौता) की आवश्यकता हो।

निचोड़ (The Bottom Line)

पेपर का दावा है कि यदि आप एक ऐसे सिस्टम के भीतर AI का उपयोग करने की योजना बना रहे हैं जो सबसे अच्छे विकल्प को खोजने के लिए कई विकल्पों में खोज करता है, तो आपको AI को एक "विशेषज्ञ" के रूप में प्रशिक्षित नहीं करना चाहिए जो एक पूर्ण उत्तर दे सके। इसके बजाय, आपको इसे एक ऐसे जनरलिस्ट (सामान्यवादी) के रूप में प्रशिक्षित करना चाहिए जो उच्च-गुणवत्ता वाले विकल्पों का एक विविध पोर्टफोलियो तैयार करे।

प्रशिक्षण के दौरान AI को समाधानों के विभिन्न "फ्लेवर्स" (स्वादों) को एक्सप्लोर करने की अनुमति देकर, आप टेस्ट-टाइम सर्च सिस्टम को चुनने के लिए एक बहुत समृद्ध मेनू प्रदान करते हैं, जिससे अधिक स्मार्ट और अनुकूलनीय परिणाम मिलते हैं।

तकनीकी सारांश: वेक्टर पॉलिसी ऑप्टिमाइज़ेशन (VPO)

समस्या विवरण

वर्तमान लार्ज लैंग्वेज मॉडल (LLM) पोस्ट-ट्रेनिंग प्रतिमान, विशेष रूप से जो ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) के साथ सुदृढीकरण शिक्षण (Reinforcement Learning - RL) का उपयोग करते हैं, एक एकल, पूर्व-निर्धारित स्केलर रिवॉर्ड के लिए अनुकूलन करते हैं। हालांकि यह एक उच्च-संभाव्यता वाले रिस्पॉन्स पर अभिसरण (converge) करने के लिए प्रभावी है, लेकिन यह दृष्टिकोण अक्सर "मोड कोलैप्स" (mode collapse) की ओर ले जाता है, जहाँ पॉलिसी लो-एन्ट्रॉपी रिस्पॉन्स डिस्ट्रीब्यूशन उत्पन्न करती है। यह विविधता की कमी एक महत्वपूर्ण बाधा बन जाती है जब LLMs को टेस्ट-टाइम सर्च प्रक्रियाओं (जैसे कि रिजेक्शन सैंपलिंग, अल्फाइवोलव (AlphaEvolve) जैसे इवोल्यूशनरी एल्गोरिदम, या बेस्ट-ऑफ- $k$ चयन) के भीतर तैनात किया जाता है।

सर्च-ऑगमेंटेड सिस्टम में, प्रशिक्षण चरण को आदर्श रूप से एक विविध और सक्षम उम्मीदवारों का समृद्ध पूल प्रदान करना चाहिए जिसका उपयोग सर्च एल्गोरिदम कर सके। हालाँकि, मानक स्केलर RL प्रशिक्षण उम्मीदवार वितरण को एक एकल इष्टतम ट्रेड-ऑफ की ओर सिकोड़ देता है, जिससे अतिरिक्त नमूने लगभग समान (near-duplicates) हो जाते हैं। फलस्वरूप, सर्च प्रक्रिया उन बेहतर समाधानों की खोज नहीं कर पाती है जिनमें प्रतिस्पर्धी उद्देश्यों (जैसे कि कोड शुद्धता बनाम दक्षता, या मल्टी-हॉप प्रश्नों में विभिन्न रीजनिंग पाथ) के बीच अलग-अलग ट्रेड-ऑफ की आवश्यकता होती है।

कार्यप्रणाली: वेक्टर पॉलिसी ऑप्टिमाइज़ेशन (VPO)

लेखक वेक्टर पॉलिसी ऑप्टिमाइज़ेशन (VPO) का प्रस्ताव करते हैं, जो एक RL एल्गोरिदम है जिसे विशेष रूप से नीतियों को वेक्टर-वैल्यूड रिवॉर्ड्स के पारेटो फ्रंटियर (Pareto frontier) को कवर करने वाले विविध समाधानों के सेट उत्पन्न करने के लिए प्रशिक्षित करने हेतु डिज़ाइन किया गया है। VPO इस धारणा पर कार्य करता है कि कई वास्तविक कार्यों (कोड जनरेशन, मल्टी-हॉप रीजनिंग, टूल यूज़) में, रिवॉर्ड स्वाभाविक रूप से वेक्टर घटकों (जैसे कि प्रति-टेस्ट-केस शुद्धता, प्रति-मानदंड रेटिंग) में विभाजित होते हैं।

VPO दो मुख्य घटकों से बना है:

इन-कॉन्टेक्स्ट एक्सप्लोरेशन के रूप में मल्टी-आंसर चेन्स:
एक प्रति प्रॉम्प्ट एकल रिस्पॉन्स उत्पन्न करने के बजाय, मॉडल को एक ही ऑटोरिग्रेसिव रोलआउट के भीतर $m$ कैंडिडेट कंप्लीशन का एक सेट ( $S = \{y_1, \dots, y_m\}$ ) उत्सर्जित करने के लिए प्रशिक्षित किया जाता है। प्रत्येक आगामी कैंडिडेट पिछले जेनरेट किए गए उत्तरों को कॉन्टेक्स्ट में अटेंड (attend) कर सकता है, जिससे मॉडल स्पष्ट रूप से पहचान सकता है कि सॉल्यूशन स्पेस के कौन से क्षेत्र कवर किए गए हैं और नए उम्मीदवारों को अनएक्सप्लोर्ड क्षेत्रों की ओर निर्देशित कर सकता है। यह विविधता को सैंपलिंग नॉइज़ के बायप्रोडक्ट से बदलकर एक स्पष्ट, इन-कॉन्टेक्स्ट मैकेनिज्म में बदल देता है।
स्टोकेस्टिक स्केलेराइजेशन के माध्यम से सेट-लेवल ऑप्टिमाइज़ेशन:
मॉडल को एक एकल मोड में कोलैप्स होने के बजाय विविध सेट उत्पन्न करने के लिए प्रोत्साहित करने हेतु, VPO एक फिक्स्ड स्केलर रिवॉर्ड के स्थान पर रिवॉर्ड वेटिंग्स के वितरण (distribution over reward weightings) का उपयोग करता है।
- प्रत्येक रोलआउट के लिए, एक वेट वेक्टर $w$ को डिरिचलेट वितरण (Dirichlet distribution) से सैंपल किया जाता है ( $w \sim \text{Dir}(\alpha)$ , जहाँ $\alpha=1$ सिमप्लेक्स पर यूनिफॉर्म डिस्ट्रीब्यूशन को दर्शाता है)।
- सेट $S$ के लिए रिवॉर्ड को सैंपल किए गए वेट्स के अपेक्षित अधिकतम स्केलेराइज्ड रिवॉर्ड के रूप में गणना की जाती है:
  $R(S) = \mathbb{E}_{w \sim \text{Dir}(\alpha)} \left[ \max_{y \in S} w^\top r(x, y) \right]$
- यह ऑब्जेक्टिव मॉडल को पारेटो फ्रंटियर को कवर करने के लिए पुरस्कृत करता है: सेट $S$ के विभिन्न तत्वों को रिवॉर्ड कंपोनेंट्स के विभिन्न ट्रेड-ऑफ्स में विशेषज्ञता हासिल करने के लिए प्रोत्साहित किया जाता है।

VPO को GRPO एडवांटेज एस्टिमेटर के ड्रॉप-इन रिप्लेसमेंट के रूप में लागू किया गया है। यह GRPO फ्रेमवर्क का उपयोग करता है लेकिन एडवांटेज की गणना स्टोकेस्टिक स्केलेराइजेशन से प्राप्त सेट-लेवल रिवॉर्ड के आधार पर करता है, जो $G$ रोलआउट्स के समूह के लिए समान $K$ वेट वेक्टर्स को साझा करता है ताकि तुलनात्मकता सुनिश्चित हो सके।

मुख्य योगदान

RL पोस्ट-ट्रेनिंग का पुनर्गठन: पेपर तर्क देता है कि टेस्ट-टाइम सर्च वाले सिस्टम में, RL ट्रेनिंग की भूमिका एक एकल सर्वश्रेष्ठ रिस्पॉन्स पर अभिसरण करने के बजाय, समाधानों के एक विविध सेट की क्षमता को अधिकतम करने की होनी चाहिए, जिससे एक्सप्लोइटेशन का कार्य सर्च प्रक्रिया पर छोड़ दिया जाए।
वेक्टर रिवॉर्ड स्ट्रक्चर: यह प्रदर्शित करता है कि रिवॉर्ड की वेक्टर-वैल्यूड प्रकृति विविधता के लिए एक प्राकृतिक तंत्र प्रदान करती है। विभिन्न उद्देश्यों के पारेटो फ्रंटियर को कवर करने के लिए मॉडल को प्रशिक्षित करके, पॉलिसी विकल्पों की एक ऐसी आबादी बनाए रखती है जो विभिन्न वेटिंग्स के तहत इष्टतम होती है।
VPO एल्गोरिदम: लेखक VPO का प्रस्ताव करते हैं, जो मल्टी-आंसर जनरेशन को रैंडमाइज्ड रिवॉर्ड स्केलेराइजेशन के साथ जोड़ता है। यह मॉडल को एक सिंगल रोलआउट के भीतर विविध कैंडिडेट सेट्स जेनरेट करने की अनुमति देता है, जो रिवॉर्ड स्पेस के कवरेज के लिए ऑप्टिमाइज़ करता है न कि केवल एक सिंगल स्केलर पीक के लिए।

प्रयोगात्मक परिणाम

लेखकों ने चार विविध डोमेन में VPO का मूल्यांकन किया: Maze (आइटम ट्रेड-ऑफ के साथ नेविगेशन), MuSiQue (मल्टी-हॉप QA), EUREKA (चेन रीजनिंग), और ToolRL (फंक्शन कॉलिंग)। उन्होंने VPO की तुलना कई बेसलाइन्स से की, जिसमें मानक GRPO, Multi-RLVR (फिक्स्ड स्केलर रिवॉर्ड के साथ मल्टी-आंसर), Random-Weighting GRPO, और Max-at- $k$ ट्रेनिंग शामिल हैं।

टेस्ट-टाइम स्केलिंग: सभी डोमेन में, VPO ने best@k मेट्रिक्स पर लगातार स्केलर बेसलाइन्स को पीछे छोड़ दिया। जबकि स्केलर GRPO का प्रदर्शन $k$ बढ़ने के साथ जल्दी ही स्थिर (plateau) हो गया (जो कैंडिडेट कोलैप्स को दर्शाता है), VPO अतिरिक्त सैंपल्स के साथ सुधार करना जारी रखता है, जो बढ़ते सर्च बजट के साथ एक बढ़ता हुआ अंतर दिखाता है।
विविधता मेट्रिक्स: VPO ने उच्च रिवॉर्ड-स्पेस विविधता (रिवॉर्ड वेक्टर्स के बीच पेयरवाइज L1 डिस्टेंस द्वारा मापा गया) बनाए रखी, जबकि Multi-RLVR और मानक GRPO जैसे बेसलाइन्स प्रशिक्षण के शुरुआती चरण में ही लगभग समान रिवॉर्ड वेक्टर्स की ओर कोलैप्स हो गए।
कठिन समस्याएँ और इवोल्यूशनरी सर्च: LiveCodeBench (एक प्रतिस्पर्धी प्रोग्रामिंग बेंचमार्क) पर एक केस स्टडी में, एक VPO-प्रशिक्षित मॉडल (Qwen2.5-Coder-7B) ने एक मैचड-कंप्यूट GRPO मॉडल की तुलना में काफी बेहतर प्रदर्शन किया। महत्वपूर्ण रूप से, जब इसे OpenEvolve (एक इवोल्यूशनरी सर्च लूप) में एकीकृत किया गया, तो VPO मॉडल्स ने उन समस्याओं को हल किया जिन्हें GRPO मॉडल किसी भी कैंडिडेट बजट पर हल नहीं कर सके, यह दर्शाता है कि VPO उन समाधानों को अनलॉक करता है जिनमें जटिल ट्रेड-ऑफ की आवश्यकता होती है।
एब्लेशन स्टडीज (Ablation Studies):
- केवल मल्टी-आंसर जनरेशन (स्टोकेस्टिक स्केलेराइजेशन के बिना) विविधता बनाए रखने के लिए अपर्याप्त था।
- केवल स्टोकेस्टिक स्केलेराइजेशन (मल्टी-आंसर चेन्स के बिना) ने समान लाभ नहीं दिया।
- गोल-कंडीशन्ड GRPO (विशिष्ट वेट्स पर कंडीशनिंग) VPO की बराबरी करने में विफल रहा, जो सुझाव देता है कि इन-कॉन्टेक्स्ट में एक विविध सेट जेनरेट करना अनुमान (inference) के समय वेट्स पर स्पष्ट रूप से कंडीशन करने की तुलना में अधिक प्रभावी है।
- VPO के लाभ तब सबसे अधिक स्पष्ट थे जब रिवॉर्ड कंपोनेंट्स नॉन-कोलीनियर (non-collinear) थे (अर्थात, जब वास्तविक ट्रेड-ऑफ मौजूद थे)। उन डोमेन में जहाँ रिवॉर्ड लगभग कोलीनियर थे (जैसे UltraFeedback), VPO का लाभ कम हो गया, जो इसके सैद्धांतिक आधार के अनुरूप है।

महत्व और दावे

पेपर का तर्क है कि जैसे-जैसे टेस्ट-टाइम सर्च AI सिस्टम का एक मानक घटक बनता जा रहा है, विविधता के लिए ऑप्टिमाइज़ करना डिफ़ॉल्ट पोस्ट-ट्रेनिंग ऑब्जेक्टिव बनना चाहिए। लेखक दावा करते हैं कि VPO एक्सप्लोरेशन (एक विविध पूल के लिए प्रशिक्षण) और एक्सप्लोइटेशन (सर्च-टाइम सिलेक्शन) को अलग करने का एक सिद्धांतपूर्ण तरीका प्रदान करता है।

VPO का महत्व इसकी क्षमता में निहित है:

कठिन समस्याओं को अनलॉक करना: विविध रणनीतियों को संरक्षित करके जो एक फिक्स्ड स्केलर के तहत स्थानीय रूप से सब-ऑप्टिमल लग सकती हैं लेकिन जिनमें उपयोगी रीजनिंग पैटर्न होते हैं, VPO उन समाधानों की खोज को सक्षम बनाता है जिन्हें स्केलर-प्रशिक्षित पॉलिसीज़ पूरी तरह से मिस कर देती हैं।
कंप्यूट के साथ स्केल करना: टेस्ट-टाइम सर्च बजट बढ़ने के साथ VPO और स्केलर बेसलाइन्स के बीच प्रदर्शन का अंतर बढ़ता जाता है, जिससे VPO कंप्यूट-इंटेंसिव इन्फरेंस परिदृश्यों के लिए विशेष रूप से मूल्यवान बन जाता है।
ड्रॉप-इन कम्पैटिबिलिटी: VIO को मौजूदा LLMs में किसी भी आर्किटेक्चरल बदलाव की आवश्यकता नहीं है और यह GRPO जैसे मानक RL फ्रेमवर्क्स में एडवांटेज एस्टिमेटर के एक सरल रिप्लेसमेंट के रूप में कार्य करता है।

लेखक निष्कर्ष निकालते हैं कि हालांकि VPO pass@1 प्रदर्शन का त्याग करता है (क्योंकि यह तत्काल एक्सप्लोइटेशन के बजाय एक्सप्लोरेशन को प्राथमिकता देता है), यह उन रेजिम्स के लिए बेहतर दृष्टिकोण है जहाँ टेस्ट-टाइम सर्च उपलब्ध है, जो प्रभावी रूप से पॉलिसी ऑप्टिमाइज़ेशन को पारेटो फ्रंट के ऊपर एक कवरेज समस्या में बदल देता है।