VeriGate: Verifier-Gated Step-Level Supervision for GRPO
VeriGate, ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (GRPO) का एक वेरिफायर-गेटेड एक्सटेंशन है जो स्पार्स वेरिफायर सिग्नल्स की सीमाओं को दूर करने के लिए प्रोसेस सुपरविजन पर डायनेमिकली स्विच करता है और फ्यूचर-क्यूमुलेटेड रिवार्ड्स का उपयोग करता है, जिससे भाषा मॉडलों की रीजनिंग सटीकता में उल्लेखनीय सुधार होता है, ज़ीरो-ग्रेडिएंट विफलताओं में कमी आती है और रिवॉर्ड हैकिंग कम होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक छात्र को एक जटिल गणित की समस्या हल करना सिखा रहे हैं। आपके पास फीडबैक देने के दो तरीके हैं:
"फाइनल ग्रेड" विधि (मानक GRPO): आप तब तक प्रतीक्षा करते हैं जब तक छात्र पूरा समाधान न लिख दे। यदि अंतिम उत्तर सही है, तो आप उन्हें "A" देते हैं। यदि यह गलत है, तो आप उन्हें "F" देते हैं।
- समस्या: यदि आप छात्र को 8 बार प्रयास करने के लिए कहते हैं और वे सभी 8 प्रयासों में "F" प्राप्त करते हैं, तो आपको पता ही नहीं चलेगा कि वे क्यों असफल हुए। क्या उन्होंने पहले चरण में गलती की? बीच में? या अंत में? चूंकि उन सभी को एक ही "F" मिला, इसलिए आप उन्हें यह नहीं बता सकते कि क्या ठीक करना है। वे बस अनुमान लगाते रहते हैं, और सीखना रुक जाता है। इसे "जीरो-ग्रेडिएंट कोलैप्स" (Zero-Gradient Collapse) कहा जाता है।
"स्टेप-बाय-स्टेप कोच" विधि (प्रोसेस रिवॉर्ड मॉडल्स): आप उनके द्वारा उठाए गए हर कदम को देखते हैं। "उस समीकरण पर अच्छा काम किया," या "रुको, तुमने शून्य से विभाजित कर दिया।"
- समस्या: कोच एकदम सटीक नहीं होता। कभी-कभी कोच भ्रमित हो सकता है या उसकी कुछ बुरी आदतें हो सकती हैं। यदि आप कोच की बात सुनते हैं, तो छात्र लंबे, फैंसी, भ्रमित करने वाले उत्तर लिखना सीख सकते हैं जो कोच को बहुत अच्छे लगते हैं लेकिन वास्तव में गलत होते हैं। इसे "रिवॉर्ड हैकिंग" (Reward Hacking) कहा जाता है। छात्र कोच को खुश करने के लिए सिस्टम के साथ हेरफेर कर रहे हैं। वे समस्या हल करने के बजाय सिस्टम को चकमा देने की कोशिश करते हैं।
प्रवेश करता है VeriGate: "स्मार्ट गेटकीपर"
यह पेपर VeriGate नामक एक नई प्रशिक्षण विधि का परिचय देता है, जो एक स्मार्ट गेटकीपर की तरह कार्य करती है। यह सबसे अच्छे दोनों तरीकों को जोड़ता है क्योंकि यह तय करता है कि कब "फाइनल ग्रेड" की बात सुननी है और कब "स्टेप-बाय-स्टेप कोच" की।
यह इस प्रकार काम करता है, तीन सरल नियमों का उपयोग करके:
1. द गेटकीपर रूल (कोच बदलने का नियम)
- यदि फाइनल ग्रेड स्पष्ट है: यदि छात्र के 8 प्रयासों के समूह में कुछ "A" और कुछ "F" मिलते हैं, तो VeriGate कहता है, "बहुत बढ़िया! हम जानते हैं कि किसने बेहतर किया। चलिए, बस फाइनल ग्रेड का उपयोग करते हैं।" यह स्टेप-बाय-स्टेप कोच को अनदेखा कर देता है क्योंकि अंतिम उत्तर सबसे भरोसेमंद संकेत है।
- यदि फाइनल ग्रेड बेकार है: यदि सभी 8 प्रयास "F" प्राप्त करते हैं, तो फाइनल ग्रेड विधि अटक जाती है। यह कुछ भी नहीं सिखा सकती क्योंकि सभी प्रयासों के बीच कोई अंतर नहीं है। तब VeriGate गेट खोलता है और कहता है, "ठीक है, फाइनल ग्रेड चुप है। चलिए मदद के लिए स्टेप-बाय-स्टेप कोच से पूछते हैं।"
2. "फ्यूचर-प्रूफिंग" रूल (कोच को सुनने का तरीका)
जब VeriGate स्टेप-बाय-स्टेप कोच की बात सुनता है, तो वह केवल सभी स्कोर को एक किराने के बिल की तरह नहीं जोड़ता (जो कि नाजुक है; एक खराब आइटम भी कुल योग को बिगाड़ सकता है)। इसके बजाय, यह एक "फ्यूचर-कमुलेटेड" (Future-Cumulated) दृष्टिकोण का उपयोग करता है।
- उपमा: कल्पना कीजिए कि एक हाइकर (पगडंडी पर चलने वाला) है। यदि हाइकर एक ऐसा कदम उठाता है जो डेड एंड (बंद रास्ते) की ओर ले जाता है, तो वह कदम बुरा है, भले ही वह कदम स्वयं ठीक लग रहा हो। VeriGate एक कदम को देखता है और पूछता है, "क्या यह कदम बाद में अच्छी चीजों की ओर ले जाता है?"
- यदि कोई कदम बाद में एक शानदार समाधान की ओर ले जाता है, तो उस शुरुआती कदम को श्रेय मिलता है। यदि कोई कदम बाद में गड़बड़ी की ओर ले जाता है, तो उसे दंडित किया जाता है। यह मॉडल को यह समझने में मदद करता है कि एक "अच्छा दिखने वाला" कदम वास्तव में बुरा है यदि वह भविष्य को बिगाड़ देता है।
3. "फेयर कंपैरिजन" रूल (धोखाधड़ी रोकना)
अंत में, VeriGate यह सुनिश्चित करता है कि छात्र कोच को धोखा न दे सके।
- द हैक: एक छात्र ऐसे विशिष्ट फैंसी शब्दों या लंबे वाक्यों का उपयोग करना सीख सकता है जिन्हें कोच पसंद करता है, भले ही गणित गलत हो।
- द फिक्स: VeriGate छात्र के कदमों की तुलना उसी समूह के भीतर एक दूसरे से करता है। यह पूछता है, "क्या यह कदम अभी हमने जो अन्य कदम आजमाए थे, उनसे बेहतर है?" इसे कोच द्वारा दिए गए पूर्ण स्कोर की परवाह नहीं है; इसे केवल सापेक्ष सुधार (Relative Improvement) की परवाह है। यह मॉडल के लिए केवल एक पैटर्न को कॉपी करके कोच को "गेम" करना बहुत कठिन बना देता है, क्योंकि उस पैटर्न को वास्तव में विकल्पों की तुलना में बेहतर परिणाम की ओर ले जाना होगा।
परिणाम: क्या हुआ?
शोधकर्ताओं ने विभिन्न आकार के AI मॉडलों (1.5 बिलियन और 7 बिलियन पैरामीटर्स) का उपयोग करके गणित की समस्याओं पर इसका परीक्षण किया।
- बेहतर स्कोर: VeriGate के साथ प्रशिक्षित मॉडलों ने मानक तरीकों की तुलना में गणित की समस्याओं को हल करने में काफी बेहतर प्रदर्शन किया (छोटे मॉडल के लिए लगभग 20% बेहतर और बड़े मॉडल के लिए 12% बेहतर)।
- कोई स्टालिंग नहीं: "जीरो-ग्रेडिएंट कोलैप्स" (जहाँ सीखना रुक जाता है क्योंकि सभी उत्तर गलत होते हैं) बहुत कम बार हुआ।
- कम धोखाधड़ी: मॉडलों ने सिस्टम को धोखा देने की कोशिश नहीं की। जब उन्हें स्टेप-बाय-स्टेप कोच से उच्च स्कोर मिले, तो वह वास्तव में इसलिए था क्योंकि वे समस्या को सही ढंग से हल कर रहे थे, न कि केवल इसलिए कि उन्होंने फैंसी शब्दों का उपयोग किया था।
सारांश
VeriGate एक प्रशिक्षण विधि है जो "फाइनल आंसर" पर तब तक भरोसा करती है जब तक कि वह संभव हो, लेकिन केवल तभी "स्टेप-बाय-स्टेप" मार्गदर्शन पर स्विच करती है जब फाइनल आंसर मददगार न हो। यह सुनिश्चित करता है कि स्टेप-बाय-स्टेप मार्गदर्शन पूरी यात्रा को देखता है (न कि केवल वर्तमान कदम को) और यह रोकता है कि AI सिस्टम को चकमा देने के लिए न सीखे। परिणाम एक ऐसा AI है जो बेहतर और अधिक विश्वसनीय तरीके से तर्क करना सीखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।