तकनीकी सारांश: भाषा मॉडलों के लिए सत्यापन योग्य प्रक्रिया पर्यवेक्षण (Verifiable Process Supervision)

समस्या विवरण (Problem Statement)

भाषा मॉडलों (LMs) को सही उत्तर और सटीक तर्क (reasoning) दोनों उत्पन्न करने के लिए प्रशिक्षित करना एक महत्वपूर्ण चुनौती बनी हुई है। वर्तमान 'सत्यापन योग्य पुरस्कारों के साथ सुदृढीकरण शिक्षण' (RLVR) दृष्टिकोण आमतौर पर केवल अंतिम परिणाम की शुद्धता के लिए अनुकूलन (optimize) करते हैं। जबकि यह अक्सर कार्य सटीकता में सुधार करता है, यह एक ऐसी विफलता स्थिति (failure mode) पैदा करता है जहाँ मध्यवर्ती तर्क अधूरा, गलत या आंतरिक रूप से असंगत हो जाता है। यह शोध पत्र एक महत्वपूर्ण तनाव की पहचान करता है: परिणाम-आधारित पुरस्कार मॉडल को बेहतर भविष्यवाणियां करने के लिए तो प्रेरित कर सकते हैं, लेकिन उनके द्वारा प्रदर्शित किए गए तर्क के अंशों (reasoning traces) की गुणवत्ता में गिरावट आ सकती है। यह विशेष रूप से तब समस्याग्रस्त हो जाता है जब तर्क के अंश स्वयं डिबगिंग, ऑडिटिंग या डाउनस्ट्रीम पुन: उपयोग के लिए आवश्यक होते हैं। मौजूदा प्रक्रिया पर्यवेक्षण विधियाँ अक्सर सीखे गए रिवॉर्ड मॉडल या LLM-आधारित न्यायाधीशों पर निर्भर करती हैं, जो कम्प्यूटेशनल लागत, अंशांकन (calibration) की कठिनाइयाँ और संभावित शोर (noise) पेश करती हैं।

कार्यप्रणाली: सत्यापन योग्य प्रक्रिया पर्यवेक्षण (VPS)

लेखक Verifiable Process Supervision (VPS) का प्रस्ताव करते हैं, जो एक पोस्ट-ट्रेनिंग फ्रेमवर्क है जिसे सत्यापन योग्य डोमेन के लिए डिज़ाइन किया गया है जो भविष्यवाणी सटीकता और तर्क गुणवत्ता दोनों को संयुक्त रूप से अनुकूलित करता है। यह फ्रेमवर्क तीन मुख्य घटकों के माध्यम से कार्य करता है:

1. SFT के माध्यम से संरचित तर्क पूर्ववृत्त (Structured Reasoning Prior):
   प्रक्रिया सिंथेटिक रूप से निर्मित ट्रेसेस (traces) पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से शुरू होती है जो एक सुसंगत, डोमेन-विशिष्ट स्कीमा का पालन करते हैं। यह एक संरचित तर्क प्रारूप को प्रेरित करता है, जिससे मॉडल को ऐसे ट्रेसेस बनाने के लिए पक्षपातपूर्ण (bias) बनाया जाता है जहाँ मध्यवर्ती दावे (claims) अनुमानित स्थानों में दिखाई देते हैं। यह संरचना डाउनस्ट्रीम वेrifier को महंगे सिमेंटिक पार्सिंग या LLM न्यायाधीशों के बजाय सरल सिंटैक्टिक पैटर्न मिलान का उपयोग करके दावों को निकालने में सक्षम बनाती है।

2. नियतकालिक सत्यापन और पुरस्कार गणना (Deterministic Verification and Reward Computation):
   सुदृढीकरण शिक्षण (RL) के दौरान, एक वेrifier संरचित ट्रेस से व्यक्तिगत दावों को निकालता है और उन्हें डोमेन में उपलब्ध ग्राउंड-ट्रुथ संकेतों (जैसे शतरंज इंजन आउटपुट, नियम-आधारित जाँच) के विरुद्ध मूल्यांकन करता है। यह उप-कार्य पुरस्कारों ($r_k$) का एक सेट उत्पन्न करता है। इन्हें निम्नलिखित सूत्र का उपयोग करके एक तर्क पुरस्कार ($R_{reason}$) में संयोजित किया जाता है:
   $$R_{reason}(x, \tau) = \sum_{k=1}^{K} w_k \cdot r_k$$
   कुल पुरस्कार प्रारूप अनुपालन (format adherence), भविष्यवाणी सटीकता और तर्क पुरस्कार को जोड़ता है:
   $$R(x, \tau, \hat{y}) = R_{form}(\hat{y}) + R_{acc}(\hat{y}, y^*) + \lambda \cdot R_{reason}(x, \tau)$$

3. अनुकूली पुरस्कार भारण (Adaptive Reward Weighting):
   तर्क उप-कार्यों की विषम कठिनाई को संबोधित करने के लिए, लेखक एक अनुकूली भारण तंत्र पेश करते हैं। वे बैच पुरस्कारों के एक्सपोनेंशियल मूविंग एवरेज (EMA) का उपयोग करके प्रत्येक उप-कार्य पर मॉडल के प्रदर्शन को ट्रैक करते हैं। भार ($w_k$) प्रत्येक उप-कार्य के "हेडरूम" ($1 - \mu_k$) के आधार पर गतिशील रूप से समायोजित किए जाते हैं, जो उन घटकों को प्राथमिकता देते हैं जिनमें सबसे बड़ी शेष त्रुटियां हैं। यह एक अंतर्निहित पाठ्यक्रम (implicit curriculum) बनाता है जो सीखने को सबसे कठिन उप-कौशल की ओर निर्देशित करता है।

प्रयोगात्मक सेटअप (Experimental Setup)

इस फ्रेमवर्क का मूल्यांकन शतरंज (chess) पर किया गया है, जो सटीक नियमों और मजबूत इंजन-आधारित संदर्भ संकेतों वाला एक नियंत्रित परीक्षण स्थल है। कार्य एक दिए गए स्थान (FEN) से इष्टतम चालों की भविष्यवाणी करना है जबकि एक तर्क ट्रेस उत्पन्न करना है।

• मॉडल: Qwen3-8B और DeepSeek-R1-Distill-Llama-8B।
• बेसलाइन्स: केवल SFT, और SFT के बाद केवल सटीकता-आधारित GRPO (केवल परिणाम-आधारित RL)।
• मेट्रिक्स:
  • सटीकता (Accuracy): Top-1 चाल सटीकता, Elo रेटिंग, कैंडिडेट कवरेज।
  • तर्क गुणवत्ता (Reasoning Quality): विन-रेट मीन एब्सोल्यूट एरर (MAE), प्रिंसिपल वेरिएशन (PV) ओवरलैप, और आंतरिक तार्किक निरंतरता (कि क्या चुनी गई चाल उच्चतम दावा की गई जीत दर से मेल खाती है)।
  • न्यायाधीश (Judges): तीन स्वतंत्र LLM न्यायाधीशों (GPT-4o, Claude Opus 4.6, Gemini 3 Flash) ने प्रासंगिकता, पूर्णता, स्पष्टता और प्रवाह पर तर्क का मूल्यांकन किया।

मुख्य परिणाम (Key Results)

प्रयोगों से पता चलता है कि VPS सफलतापूर्वक सटीकता लाभ को तर्क गिरावट (reasoning degradation) से अलग करता है:

• सटीकता बनाम तर्क ट्रेड-ऑफ: केवल सटीकता वाले GRPO ने Top-1 सटीकता (जैसे, ~0.21 से ~0.53 तक) में सुधार किया लेकिन तर्क की गुणवत्ता में भारी गिरावट आई। DeepSeek-R1-Distill-Llama-8B के लिए, आंतरिक निरंतरता 0.978 से गिरकर 0.312 हो गई, और विन-रेट त्रुटि 112% बढ़ गई।
• VPS प्रदर्शन: VPS ने सटीकता-मात्र GRPO की सटीकता के स्तर को प्राप्त किया और साथ ही तर्क में काफी सुधार किया। इसने विन-रेट त्रुटि को 30% तक कम किया और आंतरिक निरंतरता को लगभग संतृप्ति (saturation) स्तरों (0.978–0.985) तक बहाल किया।
• न्यायाधीश मूल्यांकन: समान सटीकता स्तरों पर, प्रक्रिया-पर्यवेक्षित मॉडलों को तीनों LLM न्यायाधीशों द्वारा लगातार केवल सटीकता वाले मॉडलों की तुलना में प्राथमिकता दी गई, जो पूर्णता, स्पष्टता और प्रवाह में पर्याप्त सुधार दिखाते हैं।
• अनुकूली भारण (Adaptive Weighting): अनुकूली भारण ने निश्चित एकत्रीकरण (fixed aggregation) से बेहतर प्रदर्शन किया, विशेष रूप से मजबूत प्रारंभिक डोमेन ज्ञान (1M SFT स्थितियाँ) वाले मॉडलों के लिए, जो प्रशिक्षण को सबसे कठिन उप-कार्यों (जैसे, PV भविष्यवाणी) पर केंद्रित करता है।
• तर्क स्थान विश्लेषण (Reasoning Space Analysis): बिना संरचित पूर्ववृत्त के, केवल सटीकता वाला RL बजट-निर्भर शॉर्टकट (जैसे, दोहराव वाली गणना या सतही ह्यूरिस्टिक्स) की ओर अभिसरित (converge) हो गया, न कि सिद्धांतवादी बहु-चरणीय तर्क की ओर। केवल सटीकता वाले मॉडलों में लंबे तर्क ट्रेस अक्सर कम सटीकता के साथ सह-संबंधित थे, जो गहराई के बजाय भ्रम का संकेत देते हैं।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि VPS, LLM-न्यायाधीश-आधारित प्रक्रिया पर्यवेक्षण के लिए एक स्केलेबल और कुशल विकल्प प्रदान करता है। संरचित पूर्ववृत्त और निश्चयात्मक सत्यापन (deterministic verification) का लाभ उठाकर, यह सीखे गए रिवॉर्ड मॉडल की लागत या शोर के बिना मध्यवर्ती तर्क चरणों के प्रत्यक्ष पर्यवेक्षण को सक्षम बनाता है।

लेखक निष्कर्ष निकालते हैं कि मध्यवर्ती तर्क का निश्चयात्मक सत्यापन, अनुकूली पाठ्यक्रम के साथ मिलकर, मजबूत कार्य प्रदर्शन के साथ निष्ठापूर्ण तर्क प्राप्त करने वाले मॉडल को प्रशिक्षित करने के लिए एक प्रभावी दृष्टिकोण है। परिणाम बताते हैं कि केवल परिणाम-आधारित अनुकूलन, सुदृढ़ तर्क सुनिश्चित करने के लिए अपर्याप्त है, और VPS मानक RLVR सेटिंग्स में देखी जाने वाली "तर्क क्षरण" (reasoning deterioration) को रोक सकता है। इस फ्रेमवेर्क को सूक्ष्म-स्तरीय सत्यापन के लिए शतरंज का उपयोग करते हुए, सत्यापन योग्य डोमेन के लिए एक सामान्यीकरण योग्य विधि के रूप में प्रस्तुत किया गया है।