Beyond Negative Rollouts: Positive-Only Policy Optimization with Implicit Negative Gradients
यह शोध पत्र पॉजिटिव-ओनली पॉलिसी ऑप्टिमाइज़ेशन (POPO) को प्रस्तुत करता है, जो एक नवीन RLVR फ्रेमवर्क है जो GRPO की तुलना में बेहतर गणितीय तर्क प्रदर्शन प्राप्त करने के लिए बाउंडेड इम्पोर्टेंस सैंपलिंग और इम्प्लिसिट नेगेटिव ग्रेडिएंट्स का लाभ उठाकर नेगेटिव रोलआउट्स की आवश्यकता को समाप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को कठिन गणित की समस्याएं हल करना सिखा रहे हैं। आमतौर पर, जब हम एक रोबोट (या एक AI) को रिइन्फोर्समेंट लर्निंग (Reinforcement Learning) का उपयोग करके सिखाते हैं, तो हम "गुड Cop, बैड Cop" (अच्छे पुलिस वाले और बुरे पुलिस वाले) के दृष्टिकोण का उपयोग करते हैं।
- गुड Cop (अच्छा पुलिस वाला): जब रोबोट सही उत्तर देता है, तो हम उसे एक इनाम (रिवॉर्ड) देते हैं।
- बैड Cop (बुरा पुलिस वाला): जब रोबोट गलत उत्तर देता है, तो हम उसे डांटते हैं (पेनल्टी)।
वर्तमान में लोकप्रिय विधि (जिसे GRPO कहा जाता है) काफी हद तक "बैड Cop" पर निर्भर करती है। यह कई उत्तर उत्पन्न करती है, सही उत्तरों को रखती है, और सक्रिय रूप से गलत उत्तरों को दंडित करने की कोशिश करती है ताकि रोबोट को यह सिखाया जा सके कि क्या नहीं करना है।
समस्या:
इस शोध पत्र के लेखकों ने इस "बैड Cop" रणनीति में एक दोष देखा। गणित में, गलत होने के अनंत तरीके हैं। आप एक छोटी सी गणना की गलती कर सकते हैं, एक तर्क की गलती कर सकते हैं, या पूरी तरह से गलत अनुमान लगा सकते हैं। क्योंकि गलत होने के बहुत सारे तरीके हैं, इसलिए कुछ यादृच्छिक (random) गलत उत्तरों को दंडित करना घास के ढेर में एक विशिष्ट सुई को खोजने के लिए डार्ट फेंकने जैसा है। आप उन वास्तविक कारणों को मिस कर सकते हैं जिनकी वजह से रोबोट विफल हुआ।
समाधान: POPO (पॉजिटिव-ओनली पॉलिसी ऑप्टिमाइज़ेशन)
लेखक एक नई विधि प्रस्तावित करते हैं जिसे POPO कहा जाता है। "बैड Cop" का उपयोग करके रोबोट को डांटने के बजाय, उन्होंने निर्णय लिया कि वे केवल "गुड Cop" का ही उपयोग करेंगे। वे गलत उत्तरों को पूरी तरह से अनदेखा कर देते हैं और अपना 100% ध्यान सही उत्तरों को मजबूत करने पर केंद्रित करते हैं।
यह "पॉजिटिव-ओनली" दृष्टिकोण को रोबोट को भ्रमित या फंसने से बचाने के लिए वे इसे इस प्रकार काम करते हैं:
1. "सेल्फ-कॉम्पिटिशन" ट्रिक (इम्प्लिसिट नेगेटिव ग्रेडिएंट्स)
आप पूछ सकते हैं, "यदि आप रोबोट को कभी यह नहीं बताते कि क्या गलत है, तो यह गलतियां करना कैसे बंद करेगा?"
लेखक समझाते हैं कि रोबोट यह सीखता है कि क्या नहीं करना है, केवल सबसे बेहतरीन सही उत्तर चुनने के लिए मजबूर होकर।
- उपमा: कल्पना करें कि एक कक्षा है जहाँ शिक्षक केवल उस छात्र की प्रशंसा करता है जो उत्तर सही देता है। शिक्षक उन छात्रों पर नहीं चिल्लाता जो गलत उत्तर देते हैं। हालांकि, क्योंकि शिक्षक केवल सही उत्तरों को सीमित संख्या में "प्रशंसा टोकन" दे रहा है, इसलिए गलत उत्तरों की संभावना स्वाभाविक रूप से कम होती जाती है।
- यह कैसे काम करता है: गणित में, सभी संभावित उत्तरों की कुल संभावना 100% होनी चाहिए। यदि आप सही उत्तरों की संभावना को बढ़ाते हैं, तो गलत उत्तरों की संभावना अपने आप कम हो जाती है। पेपर गणितीय रूप से सिद्ध करता है कि यह "अच्छे को बढ़ावा देना" एक अदृश्य "दंड" पैदा करता है, भले ही उन्हें स्पष्ट रूप से डांटा न गया हो।
2. "मूविंग टारगेट" एंकर (सियामीज़ नेटवर्क)
जब आप केवल सही उत्तरों को सुदृढ़ करते हैं, तो रोबोट बहुत आत्मविश्वासी हो सकता है और बार-बार एक ही तरह के उत्तर दोहराना शुरू कर सकता है (इसे "मोड कोलैप्स" नामक समस्या कहा जाता है)। यह समस्याओं को हल करने के नए तरीकों की खोज करना बंद कर देता है।
- उपमा: कल्पना करें कि रोबोट एक डांसर है। यदि वह केवल खुद को देखता रहता है, तो वह एक लूप में फंस सकता है। इसे ठीक करने के लिए, लेखकों ने रोबोट को एक "शैडो पार्टनर" (सियामीज़ नेटवर्क) दिया है।
- यह कैसे काम करता है: यह शैडो पार्टनर रोबोट का थोड़ा पुराना, धीमी गति से चलने वाला संस्करण है। रोबोट अपने शैडो पार्टनर के करीब रहने की कोशिश करता है, लेकिन शैडो पार्टनर बहुत धीरे-धीरे चलता है (एक तकनीक जिसका उपयोग 'एक्सपोनेंशियल मूविंग एवरेज' के रूप में किया जाता है)। यह रोबोट को पटरी से उतरने से रोकता है जबकि उसे सीखने और सुधार करने की अनुमति भी देता है।
3. "सिमिलैरिटी" सेफ्टी नेट
आमतौर पर, AI प्रशिक्षण एक सख्त नियम का उपयोग करता है जिसे "KL डाइवर्जेंस" कहा जाता है ताकि रोबोट बहुत अधिक बदलाव न करे। लेखकों ने पाया कि यह नियम बहुत कठोर है।
- उपमा: रोबोट को एक सख्त मानचित्र का पालन करने के लिए मजबूर करने के बजाय, वे एक "समानता" (similarity) जांच का उपयोग करते हैं। वे रोबोट के मस्तिष्क के भीतर के "विचारों" (रिप्रजेंटेशन्स) को देखते हैं। जब तक रोबोट के नए विचार शैडो पार्टनर के विचारों के "समान" हैं, तब तक उसे बदलने की अनुमति है। यह रोबोट को स्थिर रखने का एक नरम, अधिक लचीला तरीका है बिना उसकी रचनात्मकता को बाधित किए।
उन्होंने क्या पाया?
लेखकों ने विभिन्न AI मॉडलों (जैसे Qwen) का उपयोग करके कई प्रसिद्ध गणितीय बेंचमार्क (जैसे AIME और ओलंपियाड की समस्याएं) पर इस नई विधि (POPO) का परीक्षण किया।
- परिणाम: POPO ने वर्तमान सर्वोत्तम विधियों (जैसे GRPO) के समान या उनसे बेहतर प्रदर्शन किया जो अच्छे और बुरे दोनों उदाहरणों का उपयोग करती हैं।
- मुख्य आकर्षण: AIME 2025 नामक एक बहुत कठिन परीक्षण पर, POPO विधि ने 36.67% का स्कोर प्राप्त किया, जो मानक विधि के 30.00% से बेहतर है।
सारांश में
यह पेपर तर्क देता है कि गणितीय तर्क की दुनिया में, आपको छात्र को हर गलती के लिए लगातार डांटने की आवश्यकता नहीं है। यदि आप सही चरणों को सुदृढ़ करने पर तीव्रता से ध्यान केंद्रित करते हैं और यह सुनिश्चित करने के लिए स्मार्ट गणितीय ट्रिक्स का उपयोग करते हैं कि "गलत" चरण स्वाभाविक रूप से फीके पड़ जाएं, तो छात्र (या AI) तेजी से और अधिक प्रभावी ढंग से सीख सकता है। वे इसे पॉजिटिव-ओनली पॉलिसी ऑप्टिमाइज़ेशन कहते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।