तकनीकी सारांश: प्रशिक्षण और परीक्षण समय के स्व-सुधार के लिए स्व-प्रशिक्षित सत्यापन (Self-Trained Verification)

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र तर्क (reasoning) मॉडलों को स्केल करने में आने वाली बाधा को संबोधित करता है: परीक्षण समय के परिशोधन (test-time refinement) और प्रशिक्षण समय के स्व-सुधार (self-improvement) दोनों के लिए उच्च गुणवत्ता वाले सत्यापकों (verifiers) पर निर्भरता। वर्तमान दृष्टिकोण दो प्राथमिक विफलता मोडों का सामना करते हैं:

1. परीक्षण-समय ठहराव (Test-Time Stalling): सत्यापन-परिशोधन (V-R) लूप अक्सर इसलिए रुक जाते हैं क्योंकि सत्यापन स्कोर कृत्रिम रूप से बढ़ जाते हैं (मिसकैलिब्रेशन/miscalibration) जबकि सटीकता स्थिर रहती है, या क्योंकि फीडबैक बहुत सामान्य होता है जिससे कोई ठोस कार्रवाई नहीं की जा सकती।
2. प्रशिक्षण-समय सीमाएँ (Training-Time Limitations): स्व-प्रशिक्षण विधियाँ तब विफल हो जाती हैं जब मॉडल खराब स्व-जनित डेटा को शामिल कर लेते हैं। इसके अलावा, मानक 'वेरिफिएबल रिवॉर्ड फ्रॉम वेरिफिएबल रिवॉर्ड' (RLVR) अक्सर एक ऐसे पठार (plateau) पर अभिसरित (converge) हो जाता है जहाँ अधिक कंप्यूट प्रदान करने से कोई अतिरिक्त लाभ नहीं मिलता।

मुख्य चुनौती यह है कि एक सत्यापनकर्ता को अपने स्वयं के गलत प्रयासों को पकड़ने के लिए प्रशिक्षित करने के लिए 'सुपरविजन सिग्नल' की कमी होती है। एक मॉडल शून्य से अपने स्वयं के गलत प्रयासों के लिए विश्वसनीय फीडबैक उत्पन्न नहीं कर सकता, फिर भी वह एक संदर्भ समाधान (reference solution) दिखाए जाने पर खामियों की पहचान कर सकता है। मौजूदा प्रणालियाँ मानव फीडबैक या अधिक शक्तिशाली "मेटा-वेरिफायर" का उपयोग करके इसे बायपास करने का प्रयास करती हैं, जो स्केलेबल नहीं हैं।

2. कार्यप्रणाली (Methodology)

लेखक दोनों छोरों पर स्व-सुधार को अनलॉक करने के लिए स्व-प्रशिक्षित सत्यापन (STV) और वेरिफायर-इन-द-लूप (ViL) प्रशिक्षण का प्रस्ताव करते हैं।

A. स्व-प्रशिक्षित सत्यापन (STV)

STV बिना मानव-एनोटेटेड फीडबैक गुणवत्ता के एक सत्यापनकर्ता को प्रशिक्षित करता है। यह एक प्रमुख विषमता (asymmetry) का लाभ उठाता है: जबकि एक मॉडल अकेले में अपनी त्रुटियों का निदान करने में संघर्ष करता है, वह एक संदर्भ समाधान ($y^\star$) प्रदान किए जाने पर तार्किक अंतराल (logical gaps) को विश्वसनीय रूप से खोज सकता है।

• टीचर-स्टूडेंट डिस्टिलेशन (Teacher-Student Distillation):
  • टीचर (Teacher): एक संदर्भ-सशर्त सत्यापनकर्ता $V^\star(\cdot | x, y_{r-1}, y^\star(x))$ जो समस्या, प्रयास और वास्तविक समाधान (ground-truth solution) को देखता है। यह एक निर्णय ($v_r$) और प्राकृतिक भाषा फीडबैक ($f_r$) उत्पन्न करता है।
  • स्टूडेंट (Student): एक अनकंडीशनड (unconditioned) सत्यापनकर्ता $V_\theta(\cdot | x, y_{r-1})$ जो केवल समस्या और प्रयास को देखता है।
• प्रशिक्षण उद्देश्य (Training Objective): स्टूडेंट को टीचर के आउटपुट डिस्ट्रीब्यूशन की नकल करने के लिए प्रशिक्षित किया जाता है। लेखक 'डिस्ट्रीब्यूशनल शिफ्ट' की समस्याओं से बचने के लिए सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के बजाय ऑन-पॉलिसी डिस्टिलेशन (OPD) का उपयोग करते हैं, जहाँ स्टूडेंट उन प्रीफिक्स का सामना करता है जो प्रशिक्षण के दौरान नहीं देखे गए थे।
  • लॉस (Loss): $L_{OPD}(\theta) = \mathbb{E}_{(x, y_{r-1})} D_\alpha(V_\theta(\cdot | x, y_{r-1}) \parallel V^\star(\cdot | x, y_{r-1}, y^\star(x)))$
  • इस उद्देश्य को स्वीकार/अस्वीकार (accept/reject) निर्णय की सटीकता में सुधार के लिए एक Verdict-RL घटक के साथ बढ़ाया गया है।
  • कुल उद्देश्य: $L_{STV}(\theta) = L_{OPD}(\theta) + \lambda \cdot L_{RL}(\theta)$।

B. वेरिफायर-इन-द-लूप (ViL) प्रशिक्षण

एक बार STV सत्यापनकर्ता प्रशिक्षित हो जाने के बाद, लेखक जनरेटर के लिए एक नया प्रशिक्षण प्रतिमान पेश करते हैं:

• प्रक्रिया: जनरेटर को फीडबैक प्रदान करने के लिए फ्रीज किए गए STV सत्यापनकर्ता का उपयोग करके V-R लूप के भीतर RL के माध्यम से प्रशिक्षित किया जाता है। रिवॉर्ड अंतिम समाधान की सत्यापन योग्य शुद्धता है।
• तंत्र: मानक स्व-प्रशिक्षण के विपरीत, सिग्नल सत्यापन योग्य रहता है क्योंकि सत्यापनकर्ता ज्ञात रिवॉर्ड को अधिकतम करने के लिए संदर्भ प्रदान करता है।
• परिणाम: यह जनरेटर को नैदानिक फीडबैक (diagnostic feedback) को आत्मसात करने के लिए प्रशिक्षित करता है, जिससे न केवल सत्यापनकर्ता के साथ इसका प्रदर्शन सुधरता है, बल्कि इसका स्टैंडअलोन (स्वतंत्र) प्रदर्शन (Round 0) भी बेहतर होता है।

3. मुख्य योगदान (Key Contributions)

1. STV एल्गोरिदम: मानव फीडबैक के बिना, मॉडल के स्वयं के ज्ञान को डिस्टिल करके, प्रशंसनीय लेकिन गलत समाधानों में खामियों का पता लगाने के लिए सत्यापनकर्ताओं को प्रशिक्षित करने का एक स्केलेबल तरीका।
2. ViL प्रशिक्षण: एक नया प्रशिक्षण प्रतिमान जो जनरेटर को V-R लूप के भीतर प्रशिक्षित करके मानक RLVR पठार को तोड़ता है, जिससे सत्यापित और unverified (स्टैंडअलोन) प्रदर्शन दोनों में सुधार होता है।
3. अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शित करना कि प्रशिक्षित सत्यापन, जनरेटर स्केल को प्रतिस्थापित कर सकता है, जहाँ एक छोटा मॉडल प्रशिक्षित सत्यापनकर्ता के साथ बड़े मॉडलों को काफी पीछे छोड़ देता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग DAPO (कठिन गणित) और SciKnowEval (वैज्ञानिक तर्क) पर Qwen3-8B को बेस मॉडल के रूप में उपयोग करके किए गए।

परीक्षण-समय सुधार (V-R लूप्स)

• गणित (Hardest Split): STV अन-ट्रेन्ड वेरिफायर की तुलना में अंतिम दौर के pass@1 को लगभग दोगुना कर देता है। "Hardest" स्प्लिट पर, जहाँ बेस जनरेटर का pass@1 0% है, STV-निर्देशित परिशोधन गैर-शून्य (non-zero) सटीकता प्राप्त करता है।
• वैज्ञानिक तर्क (Scientific Reasoning): STV सबसे कठिन समस्याओं पर pass@1 को 1.5% से बढ़ाकर 21.0% कर देता है (14 गुना सुधार)।
• स्केल प्रतिस्थापन (Scale Substitution): एक STV-निर्देशित Qwen3-8B, बिना सत्यापन के Qwen3-32B (4 गुणा बड़ा) और यहाँ तक कि Qwen3-235B (30 गुणा बड़ा) को भी वैज्ञानिक तर्क कार्यों पर पछाड़ देता है।
• कमजोर-से-मजबूत (Weak-to-Strong): एक प्रशिक्षित 4B वेरिफायर, एक अन-ट्रेन्ड 8B वेरिफायर के साथ प्रतिस्पर्धी प्रदर्शन करता है, और एक प्रशिक्षित 1.7B वेरिफायर, अन-ट्रेन्ड 8B बेसलाइन के बराबर प्रदर्शन करता है।

प्रशिक्षण-समय सुधार (ViL Training)

• पठार को तोड़ना (Breaking the Plateau): मानक RLVR के तहत पहले से अभिसरित (converged) जनरेटर से शुरू करते हुए, जब वेरिफायर मौजूद होता है, तो ViL प्रशिक्षण pass@1 में 33% सापेक्ष लाभ प्रदान करता है।
• स्टैंडअलोन लाभ: उल्लेखनीय रूप से, जनरेटर का Round 0 pass@1 (परीक्षण समय पर कोई वेरिफायर नहीं) RLVR-अभिसरित बेसलाइन की तुलना में 30% सुधर जाता है। यह इंगित करता है कि मॉडल ने नैदानिक फीडबैक से सामान्य तर्क कौशल को आत्मसात किया है।
• तुलना: समान कंप्यूट को विस्तारित मानक RLVR पर खर्च करने से कोई अतिरिक्त लाभ नहीं मिलता है, जो ViL की अद्वितीय प्रभावकारिता की पुष्टि करता है।

तंत्र विश्लेषण (Mechanism Analysis)

• कैलिब्रेशन (Calibration): STV वेरिफायर बेहतर कैलिब्रेटेड होते हैं; उनके स्कोर सटीकता के साथ सह-संबंधित होते हैं, जिससे "रिवॉर्ड हैकिंग" को रोका जा जाता है जहाँ स्कोर बढ़ते हैं जबकि सटीकता स्थिर रहती है।
• फीडबैक की गुणवत्ता: ग्राउंड ट्रुथ का उपयोग करके केवल निर्णय (verdict) को अलग करने से पता चलता है कि STV का फीडबैक टेक्स्ट महत्वपूर्ण मूल्य जोड़ता है (+ग्राउंड-ट्रुथ निर्णयों के ऊपर +3.2%), जो नैदानिक सिग्नल की गुणवत्ता को सिद्ध करता है।
• विविधता (Diversity): Best-of-N (BoN) के विपरीत जो डिस्ट्रीब्यूशन को शार्प करता है, STV के साथ V-R आउटपुट डिस्ट्रीब्यूशन को नया आकार देता है, जिससे विविधता को दबाए बिना कई राउंड में pass@k में सुधार होता है।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र यह दावा करता है कि तर्क (reasoning) का अगला मोर्चा इस बात में है कि हम सत्यापन के लिए और सत्यापन के साथ कैसे प्रशिक्षित होते हैं।

• प्रतिमान में बदलाव (Shift in Paradigm): लेखक तर्क देते हैं कि तर्क संबंधी लाभ केवल जनरेटर पैरामीटर्स को स्केल करने से नहीं, बल्कि "सत्यापन सीखने" और मजबूत जनरेटरों को प्रशिक्षित करने के लिए मजबूत सत्यापनकर्ताओं का उपयोग करने से आना चाहिए।
• स्केलेबिलिटी: STV स्व-सुधार का एक मार्ग प्रदान करता है जो पर्यवेक्षण के लिए महंगे मानव-ग्रेड फीडबैक या बाहरी "ओरेकल" मॉडलों पर निर्भर नहीं है।
• पुनरावृत्ति स्व-सुधार (Iterative Self-Improvement): यह कार्य एक ऐसे चक्र का सुझाव देता है जहाँ बेहतर वेरिफायर अधिक विश्वसनीय परीक्षण-समय परिशोधन और समृद्ध जनरेटर प्रशिक्षण को सक्षम करते हैं, जो बदले में भविष्य के वेरिफायर प्रशिक्षण के लिए कठिन प्रयास उत्पन्न करते हैं।

लेखक इसके दायरे के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि हालांकि STV गणित और विज्ञान के लिए काम करता है, अन्य क्षमताओं (कोड, ओपन-एंडेड रीजनिंग) तक इसका विस्तार करना और जनरेटर और वेरिफायर प्रशिक्षण के बीच कंप्यूट-इष्टतम विभाजन को निर्धारित करना अभी भी खुले प्रश्न हैं। हालाँकि, परिणाम बताते हैं कि सत्यापन को प्रशिक्षित करना (training verification) स्व-सुधार प्रणालियों के निर्माण के लिए एक महत्वपूर्ण, स्केलेबल घटक है।