💬 NLP

Coupled Variational Reinforcement Learning for Language Model General Reasoning

यह शोध पत्र CoVRL प्रस्तुत करता है, जो एक हाइब्रिड सैंपलिंग रणनीति के माध्यम से वेरिएशनल इन्फरेंस (variational inference) को रीइन्फोर्समेंट लर्निंग (reinforcement learning) के साथ जोड़ता है, ताकि रीजनिंग ट्रेसेस और अंतिम उत्तरों के बीच मजबूत सामंजस्य सुनिश्चित करके वर्िफायर-मुक्त (verifier-free) विधियों की अक्षमताओं को दूर किया जा सके, जिससे भाषा मॉडलों के सामान्य तर्क प्रदर्शन में महत्वपूर्ण सुधार होता है।

मूल लेखक: Xueru Wen, Jie Lou, Yanjiang Liu, Hongyu Lin, Ben He, Xianpei Han, Le Sun, Yaojie Lu, Debing Zhang

प्रकाशित 2026-05-26

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Xueru Wen, Jie Lou, Yanjiang Liu, Hongyu Lin, Ben He, Xianpei Han, Le Sun, Yaojie Lu, Debing Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े भ्रमित छात्र को एक कठिन पहेली हल करना सिखाने की कोशिश कर रहे हैं। छात्र सोचना जानता है, लेकिन वह अक्सर अपने ही विचारों में खो जाता है या सही उत्तर तक तो पहुँच जाता है, लेकिन उसकी व्याख्या इतनी उलझी हुई और अव्यवस्थित होती है कि वह शिक्षक की ग्रेडिंग कुंजी (grading key) से मेल नहीं खाती।

यह शोध पत्र CoVRL (कप्ल्ड वेरिएशनल रीइन्फोर्समेंट लर्निंग) नामक एक नई शिक्षण पद्धति पेश करता है, जो ठीक इसी समस्या को ठीक करने के लिए है।

यह कैसे काम करता है, इसे सरल अवधारणाओं में यहाँ दिया गया है:

समस्या: "अनुमान और जाँच" का जाल (The "Guess and Check" Trap)

वर्तमान में, जब AI मॉडल बिना किसी सख्त उत्तर कुंजी के तर्क (reasoning) सीखने की कोशिश करते हैं (जैसे रसायन विज्ञान या सामान्य तर्क में), तो वे आमतौर पर "अनुमान और जाँच" का खेल खेलते हैं।

पुराना तरीका: मॉडल एक प्रश्न देखता है और उत्तर खोजने के लिए विचारों की एक श्रृंखला (chain of thoughts) बनाने की कोशिश करता है। यह ऐसा है जैसे छात्र को बिना किसी संकेत के निबंध लिखने के लिए कहना।
खामी: यह अक्षम है। छात्र सही रास्ते पर पहुँचने से पहले हजारों गलत रास्तों पर भटक सकता है। इससे भी बुरा यह है कि भले ही वे सही उत्तर पा लें, लेकिन उनका तर्क इतना बिखरा हुआ या अलग फॉर्मेट में हो सकता है कि सिस्टम को लगता है कि वे विफल हो गए। यह एक छात्र की तरह है जो गणित का सवाल तो सही हल करता है, लेकिन अंतिम संख्या अलग रंग की स्याही से लिख देता है, जिससे शिक्षक उसे गलत मार्क कर देता है।

समाधान: "दो-ट्रैक" प्रशिक्षण प्रणाली (The "Two-Track" Training System)

लेखक CoVRL का प्रस्ताव देते हैं, जो ऐसा है जैसे आप छात्र को एक विशेष प्रशिक्षण सत्र दे रहे हैं जहाँ वह केवल एक के बजाय दो अलग-अलग मोड में एक साथ अभ्यास करता है।

इसे एक हाइब्रिड ड्राइविंग लेसन के रूप में सोचें:

मोड A ("असली दुनिया" की ड्राइव): छात्र अकेले गाड़ी चलाता है, केवल सड़क (प्रश्न) को देखता है। यह प्रायर (Prior) है। यह मॉडल को यह सिखाता है कि वास्तविक दुनिया में कैसे सोचना है जहाँ उसके पास उत्तर कुंजी नहीं होगी।
मोड B ("को-पायलट" की ड्राइव): छात्र गाड़ी चलाता है जबकि एक को-पायलट गंतव्य और सटीक मार्ग फुसफुसाता है (प्रश्न और उत्तर)। यह पोस्टीरियर (Posterior) है। यह मॉडल को दिखाता है कि एक आदर्श, सुसंगत मार्ग कैसा दिखता है।

जादुई ट्रिक:
एक मोड या दूसरे को चुनने के बजाय, CoVRL दोनों को मिला देता है।

कभी-कभी मॉडल अकेले अभ्यास करता है (मोड A) ताकि वह अन्वेषण (explore) करना सीख सके।
कभी-कभी वह को-पायलट के साथ अभ्यास करता है (मोड B) ताकि वह ट्रैक पर रहना और सुसंगत होना सीख सके।
महत्वपूर्ण रूप से, सिस्टम एक विशेष गणितीय "गोंद" (कंपोजिट डिस्ट्रीब्यूशन) का उपयोग करता है ताकि यह सुनिश्चित हो सके कि "को-पायलट" मोड में छात्र जो सीखता है, वह बाद में अकेले गाड़ी चलाते समय वास्तव में काम आए।

यह बेहतर क्यों है

लेखक का दावा है कि यह "दो-ट्रैक" दृष्टिकोण दो बड़ी समस्याओं को हल करता है:

यह तेज़ है: "सही रास्ते" (उत्तर) पर कभी-कभी नज़र डालने से, मॉडल गोल-गोल घूमने में समय बर्बाद नहीं करता। यह बहुत तेज़ी से सही तर्क पैटर्न सीखता है।
यह सुसंगत है: क्योंकि मॉडल तर्क सीखते समय उत्तर भी देखता है, इसलिए वह अपने विचारों को इस तरह से लिखना सीखता है जो वास्तव में सही निष्कर्ष तक ले जाए। यह ऐसे "बिखरे हुए" उत्तर लिखना बंद कर देता है जो सही तो लगते हैं लेकिन गलत मार्क कर दिए जाते हैं।

परिणाम

शोधकर्ताओं ने गणित की समस्याओं से लेकर सामान्य ज्ञान के प्रश्नों तक, विभिन्न कठिन पहेलियों पर इसका परीक्षण किया।

मानक "अकेले ड्राइविंग" पद्धति की तुलना में, उनके नए मॉडल ने अपने तर्क कौशल में 12.4% का सुधार किया।
इसने वर्तमान सर्वश्रेष्ठ "नो-वेरिफायर" (no-verifier) विधियों को अतिरिक्त 2.3% से भी पीछे छोड़ दिया।

सार (The Bottom Line)

यह शोध पत्र तर्क देता है कि "असली दुनिया" के अभ्यास को "उत्तर-निर्देशित" अभ्यास के साथ जोड़ने से, आपको एक अधिक स्मार्ट, कुशल AI मिलता है जो जटिल समस्याओं को हल करने के लिए बिना किसी मानवीय जांच के तर्क कर सकता है। यह एक छात्र को जासूस बनने के लिए सिखाने जैसा है जो न केवल केस सुलझा सकता है, बल्कि ऐसी रिपोर्ट भी लिख सकता है जिसे जज वास्तव में स्वीकार करे।

तकनीकी सारांश: भाषा मॉडल सामान्य तर्क के लिए युग्मित वेरिएशनल रीइन्फोर्समेंट लर्निंग (Coupled Variational Reinforcement Learning)

समस्या विवरण

वेरिफिएबल रिवॉर्ड्स के साथ रीइन्फोर्समेंट लर्निंग (RLVR) ने लार्ज लैंग्वेज मॉडल (LLM) की तर्क क्षमता को बढ़ाने में महत्वपूर्ण सफलता प्रदर्शित की है, विशेष रूप से गणितीय क्षेत्रों में जहाँ नियम-आधारित प्रोग्राम अंतिम उत्तरों को सत्यापित कर सकते हैं। हालाँकि, यह प्रतिमान (paradigm) सत्यापन योग्य पुरस्कारों की आवश्यकता से सीमित है, जो इसे सामान्य तर्क कार्यों (जैसे रसायन विज्ञान, खुले अंत वाले प्रश्न) के लिए सीमित करता है जहाँ औपचारिक सत्यापन कठिन या असंभव है।

हाल के "वेरिफायर-फ्री" दृष्टिकोण इस बाधा को दूर करने का प्रयास करते हैं, जिसमें वे सही संदर्भ उत्तर उत्पन्न करने की मॉडल की अपनी संभावना को एक रिवॉर्ड सिग्नल के रूप में उपयोग करते हैं। हालांकि प्रभावी होने के बावजूद, ये विधियाँ आमतौर पर प्रश्न-मात्र जनरेशन (question-only generation) पर निर्भर करती हैं, जहाँ मॉडल केवल इनपुट प्रश्न की स्थिति में तर्क संबंधी निशान (reasoning traces) का नमूना लेता है। लेखक इस डिज़ाइन में दो मौलिक सीमाओं की पहचान करते हैं:

निम्न नमूना दक्षता (Low Sample Efficiency): मार्गदर्शन के बिना, मॉडल कठिन प्रश्नों के लिए उपयोगी तर्क निशान उत्पन्न करने के लिए संघर्ष करता है, जिससे तर्क स्थान (reasoning space) का अन्वेषण अक्षम हो जाता है।
ट्रेस-आंसर असंगतता (Trace-Answer Incoherence): लक्षित उत्तर तक पहुँच के बिना नमूना लेने से ऐसे तर्क निशान उत्पन्न हो सकते हैं जो तार्किक रूप से तो सही हैं लेकिन विशिष्ट प्रारूप या प्रतिनिधित्व के साथ संरेखित नहीं होते हैं, जिससे सही तर्क को भी कम रिवॉर्ड मिलता है।

कार्यप्रणाली: कप्ल्ड वेरिएशनल रीइन्फोर्समेंट लर्निंग (CoVRL)

यह शोध पत्र CoVRL का प्रस्ताव करता है, जो वेरिएशनल इन्फरेंस और रीइन्फोर्समेंट लर्निंग को जोड़कर प्रश्न-मात्र प्रशिक्षण की सीमाओं को संबोधित करता है। मुख्य नवाचार हाइब्रिड सैंपलिंग रणनीति के माध्यम से प्रायर (prior) और पोस्टीरियर (posterior) वितरणों को जोड़ना है।

1. वेरिएशनल फॉर्मुलेशन (Variational Formulation)

तर्क प्रक्रिया को एक लेटेंट वेरिएबल समस्या के रूप में फ्रेम किया गया है जहाँ तर्क संबंधी निशान ( $z$ ), प्रश्न ( $x$ ) और उत्तर ( $y$ ) के बीच मध्यस्थता करते हैं। लक्ष्य मार्जिनल लाइकलीहुड $p(y|x) = \int p(y|z, x)p(z|x) dz$ को अनुकूलित करना है।

प्रायर वितरण ( $p_\phi(z|x)$ ): यह प्रश्न-मात्र जनरेशन का प्रतिनिधित्व करता है, जो वास्तविक इन्फरेंस स्थितियों को दर्शाता है जहाँ उत्तर अज्ञात होता है।
पोस्टीरियर वितरण ( $q_\psi(z|x, y)$ ): यह उत्तर-निर्देशित जनरेशन का प्रतिनिधित्व करता है, जो प्रश्न और सही उत्तर दोनों की स्थिति में निशान (traces) का नमूना लेता है ताकि सामंजस्य सुनिश्चित हो सके।

मानक दृष्टिकोण या तो प्रायर (अक्षम) या पोस्टीरियर (प्रशिक्षण-इन्फरेंस मिसमैच का कारण) को अनुकूलित करते हैं। CoVRL एक कंपोजिट डिस्ट्रीब्यूशन (Composite Distribution) $p'(z|x, y)$ पेश करता है जो इन दोनों को जोड़ता है:
$p'(z_t|z_{<t}, x, y) = \frac{1}{2}p_\phi(z_t|z_{<t}, x) + \frac{1}{2}q_\psi(z_t|z_{<t}, x, y)$
यह कंपोजिट डिस्ट्रीब्यूशन मॉडल को उत्तर-निर्देशित संकेतों से सीखने की अनुमति देता है जबकि इन्फरेंस-टाइम स्थितियों के साथ संरेखण बनाए रखता है।

2. हाइब्रिड सैंपलिंग रणनीति

टोकन-लेवल कंपोजिट डिस्ट्रीब्यूशन से सीधे नमूना लेना कम्प्यूटेशनल रूप से जटिल है। इसके बजाय, CoVRL एक ऑफ-पॉलिसी हाइब्रिड सैंपलिंग रणनीति अपनाता है:

प्रत्येक प्रशिक्षण उदाहरण के लिए, मॉडल $\alpha$ प्रायिकता के साथ प्रायर से या $1-\alpha$ प्रायिकता के साथ पोस्टीरियर से नमूना लेता है।
इम्पॉर्टेंस वेटिंग (Importance Weighting): हाइब्रिड डिस्ट्रीब्यूशन से नमूनों का उपयोग करके लक्षित कंपोजिट डिस्ट्रीब्यूशन को अनुकूलित करने के लिए, विधि पॉलिसी ग्रेडिएंट अपडेट पर इम्पॉर्टेंस वेटिंग लागू करती है।
प्रॉम्ट इंजीनियरिंग: प्रायर और पोस्टीरियर को अलग-अलग प्रॉम्ट टेम्प्लेट का उपयोग करके एक ही LLM द्वारा कार्यान्वित किया जाता है:
- प्रायर: प्रश्न $\to$ तर्क $\to$ उत्तर।
- पोस्टीरियर: प्रश्न $\to$ उत्तर $\to$ तर्क (तर्क जनरेशन के लिए संदर्भ के रूप में उत्तर प्रदान करना)।

3. ऑप्टिमाइज़ेशन ऑब्जेक्टिव

प्रशिक्षण उद्देश्य ELBO (एविडेंस लोअर बाउंड) को अधिकतम करता है, जिसमें शामिल हैं:

रिकंस्ट्रक्शन टर्म (Reconstruction Term): यह उन निशानों को उत्पन्न करने के लिए प्रोत्साहित करता है जो सही उत्तर की ओर ले जाते हैं। इसे मॉडल के अपने उत्तर भविष्यवाणी की संभावना से प्राप्त रिवॉर्ड्स का उपयोग करके GRPO (Group Relative Policy Optimization) के साथ अनुकूलित किया जाता है (बाहरी वेरिफायर को हटाकर)।
रेगुलराइजेशन टर्म (Regularization Term): एक KL डाइवर्जेंस टर्म $D_{KL}(p'(z|x, y) \| p_\phi(z|x))$ कंपोजिट डिस्ट्रीब्यूशन को प्रायर के करीब रहने के लिए बाध्य करता है। यह सुनिश्चित करता है कि प्रशिक्षण के दौरान सीखे गए तर्क पैटर्न (जो उत्तर मार्गदर्शन का उपयोग कर सकते हैं) इन्फरेंस (जहाँ कोई उत्तर उपलब्ध नहीं है) में प्रभावी ढंग से स्थानांतरित हों।
KL एस्टीमेशन: पेपर ब्रेगमन डाइवर्जेंस-आधारित कंट्रोल वेरिएट्स का उपयोग करके लो-वेरिएंस, नॉन-नेगेटिविव KL एस्टिमेटर्स व्युत्पन्न करता है, जो हाइब्रिड सैंपलिंग और लक्षित कंपोजिट डिस्ट्रीब्यूशन के बीच वितरण मिसमैच को संभालता है।

मुख्य योगदान

तर्क का वेरिएशनल फॉर्मुलेशन: लेखकों ने तर्क अनुकूलन को एक वेरिएशनल इन्फरेंस समस्या के रूप में प्रस्तुत किया है, जो सिद्धांततः प्रायर (प्रश्न-मात्र) और पोस्टीरियर (उत्तर-निर्देशित) जनरेशन मोड को एक सुलभ ढांचे के भीतर एकीकृत करता है।
हाइब्रिड सैंपलिंग रणनीति: उन्होंने एक तंत्र प्रस्तावित किया है जो उत्तर-निर्देशित शिक्षण (दक्षता और सामंजस्य के लिए) और इन्फरेंस-टाइम ट्रांसफरैबिलिटी (प्रायर के माध्यम से) के बीच संतुलन बनाता है, जो नमूना दक्षता और ट्रेस-आंसर संरेखण के बीच के ट्रेड-ऑफ को संबोधित करता है।
कंपोजिट डिस्ट्रीब्यूशन ऑप्टिमाइज़ेशन: एक कंपोजिट डिस्ट्रीब्यूशन का निर्माण और अनुकूलन करके, CoVRL कुशल अन्वेषण को सक्षम बनाता है और मजबूत विचार-उत्तर सामंजस्य (thought-answer coherence) को बनाए रखता है, जिससे पोस्टीरियर-ओनली ट्रेनिंग की कवरेज समस्याओं से बचा जा सकता है।

प्रयोगात्मक परिणाम

लेखकों ने Qwen2.5-7B-Base और Qwen3 का उपयोग करते हुए सामान्य तर्क (MMLU-Pro, GPQA, TheoremQA) और गणितीय तर्क (AIME'24, MATH-500, आदि) सहित व्यापक बेंचमार्क सूट पर CoVRL का मूल्यांकन किया।

प्रदर्शन लाभ: CoVRL ने बेस मॉडल की तुलना में 12.4% सुधार और सबसे मजबूत वेरिफायर-फ्री RL बेसलाइन्स (जैसे VeriFree, RLPR, और LaTRO) की तुलना में औसतन 2.3% सुधार प्राप्त किया।
सामान्यीकरण (Generalization): गैर-गणितीय प्रश्नों पर मुख्य रूप से प्रशिक्षित होने के बावजूद, मॉडल ने गणितीय बेंचमार्क पर पर्याप्त लाभ दिखाया, जो दर्शाता है कि सीखे गए तर्क कौशल डोमेन-व्यापी सामान्यीकरण योग्य हैं।
प्रशिक्षण गतिशीलता (Training Dynamics): प्रयोगों ने दिखाया कि पोस्टीरियर डिस्ट्रीब्यूशन रिवॉर्ड सुधार के लिए प्रभावी मार्गदर्शन प्रदान करता है, जबकि प्रायर डिस्ट्रीब्यूशन भी लगातार सुधरता है, जो पुष्टि करता है कि मार्गदर्शन इन्फरेंस में स्थानांतरित होता है।
एब्लेशन अध्ययन (Ablation Studies):
- सैंपलिंग अनुपात ( $\alpha$ ): एक संतुलित सैंपलिंग अनुपात ( $\alpha=0.5$ ) ने चरम सेटिंग्स की तुलना में बेहतर प्रदर्शन किया, जो दोनों वितरणों को जोड़ने की आवश्यकता की पुष्टि करता है।
- मजबूती (Robustness): पद्धति ने विभिन्न मॉडल आकारों (7B से 14B) और आर्किटेक्चरों में निरंतर सुधार प्रदर्शित किया।
- तर्क की गुणवत्ता: मानव और LLM-एज़-ए-जज मूल्यांकन ने मध्यवर्ती तर्क निशानों की तथ्यात्मकता, वैधता, सामंजस्य और उपयोगिता में सुधार का संकेत दिया।

महत्व और दावे

पेपर का दावा है कि CoVRL बाहरी वेरिफायर पर निर्भर किए बिना भाषा मॉडलों की सामान्य तर्क क्षमताओं को बढ़ाने के लिए एक सिद्धांतिक ढांचा (principled framework) प्रदान करता है। प्रायर और पोस्टीरियर वितरणों को स्पष्ट रूप से जोड़कर, विधि प्रश्न-मात्र नमूनाकरण की अक्षमता और इन्फरेंस-मिसमैच वाली उत्तर-निर्देशित ट्रेनिंग की समस्या को दूर करती है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण मजबूत, डोमेन-विशिष्ट सत्यापन इंजन की निर्भरता को हटाकर उन्नत AI तर्क तक पहुंच को लोकतांत्रिक बनाता है। हालांकि वे संभावित दुरुपयोग (जैसे परिष्कृत गलत सूचना उत्पन्न करना) को स्वीकार करते हैं, यह कार्य LLMs में अधिक मजबूत और सामान्यीकरण योग्य तर्क की दिशा में एक कदम के रूप में स्थापित होता है, विशेष रूप से उन डोमेन में जहाँ औपचारिक सत्यापन वर्तमान में अव्यावहारिक है। परिणाम बताते हैं कि डोमेन-विशिष्ट समाधानों के लिए अनुकूलित करने के बजाय इस युग्मित वेरिएशनल दृष्टिकोण के माध्यम से मौलिक तर्क पैटर्न विकसित करना अधिक प्रभावी है।