तकनीकी सारांश: एजेंटिक रीजनिंग के लिए सत्यापन योग्य प्रक्रिया पुरस्कार (Verifiable Process Rewards)

समस्या विवरण

सत्यापन योग्य पुरस्कारों से सुदृढीकरण शिक्षण (Reinforcement Learning from Verifiable Rewards - RLVR) ने व्यक्तिपरक मानवीय प्राथमिकताओं के स्थान पर वस्तुनिष्ठ शुद्धता संकेतों (जैसे सटीक गणितीय उत्तर या यूनिट टेस्ट परिणाम) का उपयोग करके बड़े भाषा मॉडलों (LLMs) की तर्क क्षमताओं को सफलतापूर्वक बढ़ाया है। हालाँकि, मौजूदा RLVR दृष्टिकोण मुख्य रूप से विरल परिणाम-स्तर के फीडबैक (sparse outcome-level feedback) पर निर्भर करते हैं, जहाँ पूरे प्रक्षेपवक्र (trajectory) के पूरा होने पर ही पुरस्कार प्रदान किया जाता है।

यह विरलता लंबी अवधि की एजेंटिक रीजनिंग में एक मौलिक क्रेडिट असाइनमेंट समस्या (credit assignment problem) पैदा करती है। टूल के उपयोग, योजना बनाने, या विश्वास अपडेट करने वाले बहु-चरणीय कार्यों में, एक प्रक्षेपवक्र कई सही मध्यवर्ती निर्णयों के बावजूद विफल हो सकता है, या दोषपूर्ण निर्णयों के बावजूद सफल हो सकता है। विरल टर्मिनल फीडबैक विश्वसनीय रूप से यह पहचान नहीं सकता कि किन विशिष्ट मध्यवर्ती कार्यों को सुदृढ़ किया जाना चाहिए या दंडित किया जाना चाहिए। जबकि प्रोसेस रिवॉर्ड मॉडल्स (PRMs) चरण-स्तर का फीडबैक प्रदान करके इस समस्या को हल करने का प्रयास करते हैं, वे अक्सर सीखे गए रिवॉर्ड मॉडल्स, LLM-as-a-judge मूल्यांकन, या मोंटे कार्लो रोलआउट्स पर निर्भर करते हैं। ये विधियाँ शोर (noise), पूर्वाग्रह, रिवॉर्ड हैकिंग के प्रति संवेदनशीलता, या उच्च कम्प्यूटेशनल परिवर्तनशीलता पेश करती हैं।

यह शोध एक अंतराल की पहचान करता है: सघन, टर्न-लेवल पर्यवेक्षण (dense, turn-level supervision) की आवश्यकता है जो सीखे गए अनुमानों या महंगे सैंपलिंग के बजाय कार्य संरचना में वस्तुनिष्ठ और जमीनी (grounded) बना रहे।

कार्यप्रणाली: सत्यापन योग्य प्रक्रिया पुरस्कार (Verifiable Process Rewards - VPR)

लेखक VPR का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जो प्रतीकात्मक या एल्गोरिथम ओरैकल्स को सुदृढीकरण शिक्षण के लिए सघन, टर्न-लेवल रिवॉर्ड संकेतों में परिवर्तित करता है। VPR सघन रूप से सत्यापन योग्य एजेंटिक रीजनिंग समस्याओं के धारणा के तहत कार्य करता है, जहाँ मध्यवर्ती कार्यों को एक कार्य-विशिष्ट सत्यापनकर्ता $V: S \times A \to \{0, 1\}$ द्वारा वस्तुनिष्ठ रूप से जांचा जा सकता है।

मुख्य तंत्र

प्रक्षेपवक्र-स्तर के संकेत की प्रतीक्षा करने या रोलआउट के माध्यम से मूल्यों का अनुमान लगाने के बजाय, VPR प्रत्येक मध्यवर्ती क्रिया की एक सत्यापनकर्ता के विरुद्ध जाँच करता है। यदि कोई क्रिया वैध, उपयोगी या सत्यापनकर्ता के तर्क के तहत इष्टतम है, तो उसे एक सघन, शोर-मुक्त पुरस्कार प्राप्त होता है ($r_t^{VPR} = V(s_t, a_t)$)।

इस ढांचे को तीन प्रतिनिधि सेटिंग्स में स्थापित किया गया है:

1. खोज-आधारित सत्यापन (गतिशील कटौती): इसे Tic-Tac-Toe में लागू किया गया है। सत्यापनकर्ता रणनीतिक इष्टतमता का मूल्यांकन करने के लिए मोंटे कार्लो ट्री सर्च (MCTS) का उपयोग करता है। एक क्रिया को तब पुरस्कृत किया जाता है जब वह MCTS-इष्टतम चाल ($Q_{MCTS}$) से मेल खाती है, जिससे एजेंट को स्थानीय रूप से आकर्षक लेकिन रणनीतिक रूप से हारने वाली चालों से बचने के लिए प्रोत्साहित किया जाता है।
2. बाध्यता-आधारित सत्यापन (तार्किक तर्क): इसे Sudoku में लागू किया गया है। सत्यापनकर्ता यह जाँचता है कि क्या भरा गया अंक अद्वितीय वैश्विक समाधान ग्रिड ($G^*$) के साथ सुसंगत है। एक क्रिया को तब पुरस्कृत किया जाता है जब वह सेल के लिए सही अंक से मेल खाती है ($G^*[i, j] = d$), जो बाधा संतुष्टि (constraint satisfaction) के लिए सघन पर्यवेक्षण प्रदान करती है।
3. पोस्टीरियर-आधारित सत्यापन (संभाव्यता अनुमान): इसे Minesweeper में लागू किया गया है। सत्यापनकर्ता प्रकट अवलोकनों के आधार पर खानों (mines) की पोस्टीरियर संभावना की गणना करता है। एक क्रिया को तब पुरस्कृत किया जाता है जब वह न्यूनतम पोस्टीरियर माइन संभावना (जोखिम-न्यूनतम) वाला सेल प्रकट करती है या 1 की संभावना वाला सेल फ्लैग करती है। यह एजेंट को अपने विश्वास की स्थिति (belief state) को अपडेट करने और अनिश्चितता के अनुसार कार्य करने के लिए प्रोत्साहित करता है।

अनुकूलन (Optimization)

पॉलिसी को ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) के टर्न-लेवल वेरिएंट का उपयोग करके अनुकूलित किया जाता है। प्रत्येक टर्न $t$ के लिए, टर्न-लेवल एडवांटेज ($A_{i,t}$) की गणना करने के लिए ट्रैजेक्टरीज के एक समूह में पुरस्कारों को सामान्यीकृत किया जाता है। परिणाम-स्तर के RL के विपरीत, यह अनुमति देता है कि सही मध्यवर्ती चरणों को तब भी सुदृढ़ किया जाए जब प्रक्षेपवक्र अंततः विफल हो जाता है, और अमान्य चरणों को तब भी दंडित किया जाए जब वे संयोग से सफल हो जाते हैं।

सैद्धांतिक विश्लेषण

शोध पत्र तीन प्रमुख सैद्धांतिक अंतर्दृष्टि प्रदान करता है:

1. अनुकरण-समान अपडेट (Imitation-like Update): VPR एक ऑन-पॉलिसी फ़िल्टर्ड इमिटेशन अपडेट के रूप में कार्य करता है, जहाँ प्रत्येक चरण अपना स्वयं का ओरकल-आधारित क्रेडिट सिग्नल योगदान देता है।
2. बायस स्केलिंग (Bias Scaling): एक अनुमानित सत्यापनकर्ता द्वारा पेश किया गया ग्रेडिएंट बायस, सत्यापनकर्ता की असहमति दर ($\bar{\epsilon}$) के साथ रैखिक रूप से (linearly) स्केल होता है। यह उन सीखे गए या रोलआउट-आधारित पुरस्कारों के विपरीत है जहाँ शोर अधिक अप्रत्याशित रूप से प्रसारित हो सकता है।
3. सिग्नल संचय (Signal Accumulation): लंबी अवधि के कार्यों में, VBR सिग्नल क्षितिज ($T$) के साथ रैखिक रूप से संचित होता है, जबकि परिणाम-स्तर (Outcome-level - OR) का सिग्नल घातांकीय रूप से ($p^T$) पतला (diluted) हो जाता है क्योंकि सफलता के लिए हर चरण का सही होना आवश्यक है। यह स्पष्ट करता है कि क्यों VPR लंबे प्रक्षेपपथों के लिए बेहतर क्रेडिट असाइनमेंट प्रदान करता है।

मुख्य योगदान

1. फ्रेमवर्क: VBR का परिचय, जो सघन रूप से सत्यापन योग्य एजेंटिक रीजनिंग समस्याओं में प्रतीकात्मक या एल्गोरिथम सत्यापनकर्ताओं से प्रोसेस रिवार्ड्स प्राप्त करने की एक विधि है।
2. स्थापनाएँ (Instantiations): तीन अलग-अलग रीजनिंग डोमेन में VBR का प्रदर्शन: खोज-आधारित (Tic-Tac-Toe), बाधा-आधारित (Sudoku), और पोस्टीरियर-आधारित (Minesweeper)।
3. सिद्धांत: एक सैद्धांतिक विश्लेषण जो दिखाता है कि सघन सत्यापन योग्य फीडबैक, पॉलिसी-ग्रेडिएंट अपडेट को स्थानीयकृत करके और परिणाम-स्तर के पुरस्कारों की तुलना में अनुकूल क्षितिज स्केलिंग प्रदान करके, लंबे समय तक चलने वाले क्रेडिट असाइनमेंट में सुधार करता है।
4. अनुभवजन्य सत्यापन (Empirical Validation): व्यापक मूल्यांकन जो नियंत्रित वातावरणों में परिणाम-स्तर के RL और रोलआउट-आधारित प्रोसेस रिवॉर्ड बेसलाइन्स दोनों से बेहतर प्रदर्शन करते हुए VBR को प्रदर्शित करता है, जिसमें सामान्य और एजेंटिक रीजनिंग बेंचमार्क में सफल स्थानांतरण भी शामिल है।

प्रयोगात्मक परिणाम

लेखकों ने तीन प्रशिक्षण वातावरणों में Qwen3-4B मॉडल का उपयोग करके VBR का मूल्यांकन किया और सामान्य तर्क और एजेंटिक कार्यों में इसके स्थानांतरण का परीक्षण किया।

इन-डोमेन प्रदर्शन

• Tic-Tac-Toe: VBR इष्टतम रिटर्न (0) के करीब पहुँच गया और एकमात्र ऐसा तरीका था जिसने पहले और दूसरे दोनों खिलाड़ी के रूप में मजबूती से प्रदर्शन किया। परिणाम-स्तर (OR) और मोंटे कार्लो प्रोसेस रिवॉर्ड (MC-PR) बेसलाइन पीछे रह गए, विशेष रूप से दूसरे खिलाड़ी के लिए जहाँ सघन क्रेडिट असाइनमेंट महत्वपूर्ण है।
• Sudoku: जबकि मूल मॉडल की पूर्णता दर मध्यम थी, उसने लगभग कोई पहेली हल नहीं की। VBR ने सफलता दर (SR) और पूर्णता दर (CR) दोनों में महत्वपूर्ण सुधार किया। विशेष रूप से, MC-PR ने OR से कम प्रदर्शन किया, जो बताता है कि सख्त बाधा-संतोष कार्यों में शोर वाले चरण-स्तर के अनुमान हानिकारक हो सकते हैं।
• Minesweeper: VBR ने पूर्णता दर में सबसे अधिक लाभ दिखाया, जो यह दर्शाता है कि एजेंट बेसलाइन्स की तुलना में अधिक वैध स्थानीय कटौती करते हैं और अनिश्चित अवस्थाओं में अधिक समय तक जीवित रहते हैं।

आउट-ऑफ-डोमेन सामान्यीकरण (Generalization)

VPR के साथ प्रशिक्षित मॉडलों ने श्रेष्ठ स्थानांतरण क्षमताएं प्रदर्शित कीं:

• सामान्य तर्क (General Reasoning): VBR-प्रशिक्षित मॉडलों ने 7 बेंचमार्क (GSM8K, MATH-500, AIME24/25, GPQA-D, BBH, MMLU-P) में उच्चतम औसत स्कोर प्राप्त किए। सुधार सबसे कठिन बेंचमार्क (AIME, GPQA) पर सबसे अधिक स्पष्ट थे, जो सुझाव देता है कि VBR सभी कार्यों को समान रूप से बढ़ावा देने के बजाय बहु-चरणीय तर्क को मजबूत करता है।
• एजेंटिक कार्य (Agentic Tasks): VBR मॉडलों ने ALFWorld (एम्बॉडीड टेक्स्ट-आधारित प्लानिंग) और WebShop (लक्ष्य-निर्देशित वेब इंटरेक्शन) पर बेसलाइन्स को पछाड़ दिया, जो सिंथेटिक प्रशिक्षण खेलों से संरचनात्मक रूप से भिन्न डोमेन हैं। यह इंगित करता है कि VBR सामान्य तर्क कौशल को बढ़ावा देता है जो प्रशिक्षण वातावरण से परे लागू होते हैं।

ओरकल गुणवत्ता एब्लेशन (Oracle Quality Ablation)

ओरल क्वालिटी के संबंध में एक महत्वपूर्ण निष्कर्ष:

• उच्च-गुणवत्ता वाले सत्यापनकर्ता (N=10,000 MCTS सिमुलेशन): इन-डोमेन और आउट-ऑफ-डोमेन दोनों सेटिंग्स में सर्वश्रेष्ठ प्रदर्शन किया।
• कमजोर सत्यापनकर्ता (N=100): प्रशिक्षण को सक्रिय रूप से हानि पहुँचाया। कमजोर सत्यापनकर्ताओं के साथ प्रशिक्षित मॉडल प्रशिक्षण वातावरण और सामान्य तर्क बेंचमार्क दोनों में मूल मॉडल से भी खराब प्रदर्शन करते थे।
• निष्कर्ष: सघन पर्यवेक्षण केवल तभी फायदेमंद है जब सत्यापनकर्ता विश्वसनीय हो। एक गलत संरेखित (misaligned) ओरकल से प्राप्त शोर युक्त प्रक्रिया पर्यवेक्षण, विरल परिणाम-स्तर पर्यवेक्षण की तुलना में सामान्य तर्क क्षमताओं को अधिक नुकसान पहुँचा सकता है।

महत्व और दावे

शोध पत्र दावा करता है कि सघन रूप से सत्यापन योग्य एजेंटिक रीजनिंग यह अध्ययन करने के लिए एक उपयोगी मार्ग प्रदान करती है कि कैसे सघन, वस्तुनिष्ठ प्रक्रिया फीडबैक LLM एजेंटों की सामान्य तर्क क्षमताओं को कैसे सुधार सकता है।

• व्यावहारिक रेसिपी: लेखक एक व्यावहारिक दृष्टिकोण प्रस्तावित करते हैं: उन वातावरणों की पहचान करें जहाँ मध्यवर्ती शुद्धता को वस्तुनिष्ठ रूप से सत्यापित किया जा सकता है, केवल अंतिम उत्तर के बजाय तर्क प्रक्रिया की निगरानी करें, और इन कौशलों को व्यापक एजेंटिक सेटिंग्स में स्थानांतरित करें।
• सीमाएँ और चुनौतियाँ: शोध पत्र विनम्रतापूर्वक स्वीकार करता है कि VBR मध्यवर्ती सत्यापनकर्ताओं की उपलब्धता और गुणवत्ता पर निर्भर है। VBR को कम संरचित, खुले-अंत वाले वातावरणों में विस्तारित करना जहाँ प्रतीकात्मक या एल्गोरिथम ओरकल आसानी से उपलब्ध नहीं हैं, एक खुला विषय बना हुआ है।
• प्रभाव: यह कार्य इस बात पर प्रकाश डालता है कि जबकि सत्यापन योग्य प्रक्रिया पर्यवेक्षण सामान्य तर्क कौशल को बढ़ावा दे सकता है, "ओरकल" की गुणवत्ता सर्वोपरि है; विश्वसनीय सत्यापन के बिना, सघन फीडबैक प्रतिगामी (counterproductive) हो सकता है।