Learning from Failures: Correction-Oriented Policy Optimization with Verifiable Rewards
यह शोध पत्र करेक्शन-ओरिएंटेड पॉलिसी ऑप्टिमाइज़ेशन (CIPO) का प्रस्ताव करता है, जो एक नवीन विधि है जो विरिफिएबल रिवॉर्ड्स (Verifiable Rewards) के साथ सुदृढीकरण शिक्षण (Reinforcement Learning) में स्पार्स रिवॉर्ड्स की समस्या को दूर करने के लिए विफल प्रक्षेप पथों (trajectories) को स्व-पर्यवेक्षित सुधार संकेतों (self-supervised correction signals) में परिवर्तित करता है, जिससे गणितीय और कोडिंग बेंचमार्क में लार्ज लैंग्वेज मॉडल्स की तर्क करने और त्रुटि-सुधार क्षमताओं में उल्लेखनीय वृद्धि होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन जिद्दी छात्र को जटिल गणितीय समस्याओं को हल करना या कंप्यूटर कोड लिखना सिखा रहे हैं। आप उसे एक समस्या देते हैं, वह उसे हल करने की कोशिश करता है, और फिर आप उत्तर की जाँच करते हैं।
पुराना तरीका (मानक RLVR):
वर्तमान मानक विधि (जिसे RLVR कहा जाता है) में, यदि छात्र सही उत्तर देता है, तो आप उसे एक 'गोल्ड स्टार' देते हैं। यदि वह गलत होता है, तो आप केवल इतना कहते हैं, "नहीं, यह गलत है," और आगे बढ़ जाते हैं।
समस्या यह है कि "नहीं" बहुत मददगार नहीं है।
- क्या उसने बिल्कुल अंत में एक छोटी सी गणना संबंधी गलती की?
- क्या उसने पहली पंक्ति को गलत समझा?
- क्या उसने सही तर्क का उपयोग किया लेकिन गलत उपकरण चुन लिया?
पुराना तरीका इन सभी अलग-अलग गलतियों को एक ही चीज़ मानता है: एक विफलता। यह केवल छात्र को यह बताता है कि "ऐसा कम करें।" यह उस मूल्यवान सबक को फेंक देता है जो गलती के भीतर छिपा होता है। यह एक कोच की तरह है जो एथलीट से कहता है, "तुमने शॉट मिस कर दिया," बिना यह बताए कि अगली बार अपना निशाना सुधारने के लिए उसे कैसे समायोजित करना है।
नया तरीका (CIPO):
यह शोध पत्र CIPO (करेक्शन-ओरिएंटेड पॉलिसी ऑप्टिमाइज़ेशन) नामक एक नई विधि पेश करता है। केवल "गलत" कहने के बजाय, CIPO गलती को दूसरे मौके में बदल देता है।
यह इस प्रकार काम करता है, एक रचनात्मक उपमा का उपयोग करते हुए:
1. "दो-ओवर" (फिर से करने की) रणनीति
कल्पना कीजिए कि छात्र एक गलती करता है। उस प्रयास को खारिज करने के बजाय, शिक्षक कहता है:
"ठीक है, तुमने इसे हल करने की कोशिश की और स्टेप 3 पर अटक गए। अब, अपने ही गलत उत्तर को देखते हुए, इसे ठीक करने का प्रयास करो और सही परिणाम प्राप्त करो।"
छात्र को अपने स्वयं के त्रुटिपूर्ण उत्तर को देखने, यह समझने के लिए मजबूर किया जाता है कि वह कहाँ गलत हुआ, और एक सुधारा गया समाधान उत्पन्न करने के लिए कहा जाता है।
- यह क्यों मदद करता है: यदि छात्र लगभग सही था (एक "नियर-मिस"), तो वह इसे आसानी से ठीक कर सकता है। यह उसे सिखाता है कि उस विशिष्ट प्रकार की त्रुटि को ठीक से कैसे किया जाए। यदि वह पूरी तरह से भटक गया था, तो भी सिस्टम यह सीख लेता है कि वह विशिष्ट रास्ता एक डेड एंड (बंद रास्ता) है।
- परिणाम: छात्र न केवल समस्याओं को हल करना सीखता है, बल्कि वह अपनी सोच को डीबग करना और ठीक करना भी सीखता है।
2. "स्मार्ट प्लेलिस्ट" (अनुकूली पुनरावृत्ति)
यदि आप एक छात्र को हर दिन केवल अपनी सबसे कठिन, सबसे भ्रमित करने वाली गलतियों का अभ्यास करने के लिए मजबूर करते हैं, तो वह निराश हो सकता है और उन आसान चीजों को भूल सकता है जो वह पहले से जानता था।
CIPO एक स्मार्ट प्लेलिस्ट का उपयोग करता है:
- यह "कठिन" विफल प्रयासों को "आसान" सफल प्रयासों के साथ मिलाता है।
- यह छात्र के प्रदर्शन पर नज़र रखता है। यदि वह आसान चीजों को भूलने लगता है, तो प्लेलिस्ट स्वचालित रूप से उसका आत्मविश्वास बनाए रखने के लिए अधिक "सफलता" के उदाहरणों को चलाती है।
- यदि वह बहुत अच्छा कर रहा है, तो यह उसे और आगे बढ़ाने के लिए अधिक "विफल" उदाहरणों को चलाती है।
- लक्ष्य: यह नया सीखने और जो वह पहले से जानता है उसे न भूलने के बीच संतुलन बनाता है।
3. "सेफ्टी नेट" (जोखिम-विरोधी शेपिंग)
कभी-कभी, जब एक छात्र गलती को ठीक करने की कोशिश करता है, तो वह अनजाने में चीजों को और खराब कर सकता है या कोई ऐसा नियम भूल सकता है जिसे वह पहले से जानता था।
CIPO के पास एक सेफ्टी नेट है:
- यदि छात्र एक सही विचार के साथ शुरू करता है लेकिन फिर सुधार के दौरान गड़बड़ी कर देता है, तो सिस्टम उसे "डबल पेनल्टी" देता है।
- यह छात्र को सिखाता है: "केवल त्रुटि को ठीक न करें; यह भी सुनिश्चित करें कि आप उन हिस्सों को खराब न करें जो पहले से ही काम कर रहे थे।" यह उसे "ओवर-करेक्टेड" होने और अपने मूल कौशल को खोने से रोकता है।
4. "गोल्डिलॉक्स ज़ोन" (कठिनाई प्राथमिकता)
सिस्टम इस बारे में स्मार्ट है कि किन गलतियों का अभ्यास किया जाए।
- यह उन समस्याओं को अनदेखा करता है जो बहुत आसान हैं (छात्र उन्हें पहले से जानता है)।
- यह उन समस्याओं को अनदेखा करता है जो असंभव रूप से कठिन हैं (वह अभी उनसे सीख नहीं सकता)।
- यह "गोल्डिलॉक्स ज़ोन" पर ध्यान केंद्रित करता है: वे समस्याएँ जो चुनौतीपूर्ण होने के लिए पर्याप्त कठिन हैं लेकिन थोड़ी मदद के साथ हल करने योग्य हैं। यहीं पर सबसे अधिक सीखना होता है।
परिणाम
शोधकर्ताओं ने कठिन गणित प्रतियोगिताओं और कोडिंग कार्यों सहित 11 अलग-अलग चुनौतियों पर इसका परीक्षण किया।
- बेहतर तर्क (Reasoning): CIPO के साथ प्रशिक्षित मॉडल शून्य से समस्याओं को हल करने में काफी बेहतर हो गए।
- बेहतर सुधार (Fixing): वे एक गलत उत्तर लेने और उसे सही में बदलने में भी बहुत बेहतर हो गए (एक कौशल जिसे "करेक्शन" कहा जाता है)।
- वास्तविक सुधार: शोध पत्र दिखाता है कि यह केवल मॉडल द्वारा उत्तरों को रटना नहीं है; इसने वास्तव में मॉडल की सोचने और तर्क करने की आंतरिक क्षमता में सुधार किया है।
सारांश में:
CIPO विफलता से सीखने के तरीके को बदल देता है। केवल गलतियों को दंडित करने के बजाय, यह उन्हें एक प्रशिक्षण मैदान के रूप में उपयोग करता है ताकि AI को अपनी गलतियों को पहचानने और उन्हें ठीक करने का तरीका सिखाया जा सके, और यह सब करते हुए इस बात का सावधानीपूर्वक ध्यान रखा जाता है कि वह जो पहले से जानता है उसे न भूल जाए। यह "विफलता" को एक विस्तृत, चरण-दर-चरण पाठ योजना में बदल देता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।