Noise-corrected GRPO: From Noisy Rewards to Unbiased Gradients
यह शोध पत्र एक शोर-रोधी (noise-robust) ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) ढांचे को प्रस्तुत करता है जो रिवॉर्ड भ्रष्टाचार को बरनौली शोर (Bernoulli noise) के रूप में मॉडल करता है और एक सुधार रणनीति लागू करता है जिससे प्रमाणित रूप से निष्पक्ष ग्रेडिएंट प्राप्त होते हैं, जिसके परिणामस्वरूप वास्तविक शोर वाले रिवॉर्ड स्थितियों के तहत गणित और कोड कार्यों पर महत्वपूर्ण सटीकता सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को गणित की समस्याएँ हल करना या कंप्यूटर कोड लिखना सिखा रहे हैं। उसे सिखाने के लिए, आपको एक "शिक्षक" (रिवॉर्ड मॉडल) की आवश्यकता है जो रोबोट के उत्तर को देखे और कहे, "अच्छा काम किया!" (रिवॉर्ड: 1) या "फिर से प्रयास करो!" (रिवॉर्ड: 0)।
वास्तविक दुनिया में, यह शिक्षक पूर्ण नहीं होता है। कभी-कभी, शिक्षक विचलित हो जाता है, उत्तर को गलत पढ़ लेता है, या शानदार शब्दों के जाल में फंस जाता है। वे एक गलत उत्तर को भी "अच्छा काम किया!" (फॉल्स पॉजिटिव) कह सकते हैं, या एक सही उत्तर को भी "फिर से प्रयास करो!" (फॉल्स नेगेटिव) कह सकते हैं। इसे ही पेपर में नॉइज़ (शोर) कहा गया है।
लेखक का तर्क है कि यदि आप इस शोर वाले शिक्षक पर आँख मूंदकर भरोसा करते हैं, तो आपका रोबोट गलत सबक सीख जाएगा और उस स्तर की बुद्धिमत्ता से नीचे अटक जाएगा जहाँ तक वह पहुँच सकता था।
यहाँ उनके समाधान, नॉइज़-करेक्टेड GRPO (Noise-corrected GRPO) का सरल उपमाओं के साथ विवरण दिया गया है:
1. समस्या: "टूटा हुआ दिशा-सूचक यंत्र" (The Broken Compass)
इन रोबोटों को प्रशिक्षित करने का मानक तरीका GRPO कहलाता है। कल्पना कीजिए कि GRPO छात्रों के एक समूह के रूप में एक साथ परीक्षा दे रहे हैं। एक आदर्श पाठ्यपुस्तक से अपनी तुलना करने के बजाय, वे समूह के औसत स्कोर से अपनी तुलना करते हैं।
- समस्या: यदि शिक्षक (रिवॉर्ड मॉडल) यह तय करने के लिए सिक्के उछाल रहा है कि कौन पास हुआ और कौन फेल, तो "औसत स्कोर" एक टूटा हुआ दिशा-सूचक यंत्र बन जाता है। छात्र गोल-गोल घूमने लगते हैं, यह सोचकर कि वे सुधार कर रहे हैं जबकि वे वास्तव में केवल शिक्षक की गलतियों पर प्रतिक्रिया दे रहे होते हैं।
- पेपर का निष्कर्ष: लेखकों ने गणितीय रूप से सिद्ध किया कि यह शोर केवल प्रक्रिया को धीमा नहीं करता है; यह सक्रिय रूप से रोबोट को एक ऐसे "काफी अच्छे" समाधान पर बैठने के लिए मजबूर करता है जो सर्वोत्तम संभव समाधान से स्पष्ट रूप से खराब है।
2. समाधान: "नॉइज़ डिटेक्टिव" (The Noise Detective)
लेखकों ने इस टूटे हुए दिशा-सूचक यंत्र को ठीक करने के लिए एक नया तरीका बनाया है। वे शोर वाले शिक्षक के फीडबैक को एक दूषित सिग्नल की तरह मानते हैं और उस पर एक "डी-नॉइज़िंग" (शोर हटाने वाला) फ़िल्टर लागू करते हैं।
इसे इस प्रकार समझें:
- चरण 1: ऑडिट। मुख्य प्रशिक्षण शुरू होने से पहले, शोधकर्ता प्रश्नों का एक छोटा, नियंत्रित बैच लेते हैं जहाँ वे जानते हैं कि सही उत्तर क्या है। वे शिक्षक को उन्हें ग्रेड करने के लिए कहते हैं।
- चरण 2: त्रुटि की गणना। वे गिनते हैं कि शिक्षक कितनी बार झूठ बोलता है।
- "उन्होंने कितनी बार 'अच्छा' कहा जब उत्तर वास्तव में गलत था?" (फॉल्स पॉजिटिव रेट)।
- "उन्होंने कितनी बार 'बुरा' कहा जब उत्तर वास्तव में सही था?" (फॉल्स नेगेटिव रेट)।
- चरण 3: सुधार। अब, वास्तविक प्रशिक्षण के दौरान, वे इन त्रुटि दरों का उपयोग करके शिक्षक की गलतियों को गणितीय रूप से "उल्टा" (undo) करने के लिए करते हैं।
- यदि शिक्षक कहता है "अच्छा" लेकिन हम जानते हैं कि वे 20% बार झूठ बोलते हैं, तो एल्गोरिदम उस "अच्छे" के मान को थोड़ा कम कर देता है।
- यदि शिक्षक कहता है "बुरा" लेकिन हम जानते हैं कि वे सही उत्तरों को 30% बार मिस कर देते हैं, तो एल्गोरिदम अनिश्चितता को दर्शाने के लिए उस "बुरे" के मान को बढ़ा देता है।
3. ट्विस्ट: यह केवल औसत के बारे में नहीं है
पेपर एक चतुर विवरण पर प्रकाश डालता। मानक GRPO विधि में, रोबोट केवल स्कोर नहीं देखता; वह देखता है कि समूह के भीतर स्कोर में कितना अंतर (variation) है।
- उपमा: धावकों के एक समूह की कल्पना करें। यदि शिक्षक शोर वाला है, तो स्कोर का "फैलाव" (spread) अजीब तरह से चौड़ा या संकीकर दिखाई देता है।
- सुधार: लेखकों ने महसूस किया कि केवल औसत स्कोर (मीन) को ठीक करना पर्याप्त नहीं था। आपको "फैलाव" (वेरिएंस) को भी ठीक करना होगा। उनका नया एल्गोरिदम स्कोर और फैलाव दोनों को समायोजित करता है ताकि यह सुनिश्चित हो सके कि रोबोट ठीक वैसे ही सीखता है जैसे कि शिक्षक पूर्ण होता।
4. परिणाम: "ठीक" से "शानदार" तक
शोधकर्ताओं ने गणित की समस्याओं (जैसे समीकरणों को हल करना) और कोडिंग कार्यों पर इसका परीक्षण किया।
- गणित में: जब उन्होंने एक शोर वाले शिक्षक का उपयोग किया, तो रोबोट की सटीकता काफी गिर गई। "नॉइज़ डिटेक्टिव" सुधार लागू करने के बाद, रोबोट की सटीकता वापस ऊपर आई, और कभी-कभी सिंथेटिक परीक्षणों में एक "पूर्ण" शिक्षक के साथ प्रशिक्षित रोबोट के प्रदर्शन को भी पीछे छोड़ दिया। उन्होंने सटीकता में 6.7 प्रतिशत अंक तक का सुधार देखा।
- कोडिंग में: कोडिंग को ग्रेड करना कठिन है (शिक्षक अक्सर सूक्ष्म बग्स को मिस कर देता है)। यहाँ भी, सुधार ने मदद की, जिससे सटीकता लगभग 1.5 प्रतिशत अंक बढ़ गई।
सारांश
यह पेपर मूल रूप से कह रहा है: "एक त्रुटिपूर्ण शिक्षक को अपने छात्र की क्षमता को बर्बाद न करने दें।"
यह गणितीय रूप से मॉडल करके कि शिक्षक कैसे गलतियाँ करता है और फिर प्रशिक्षण प्रक्रिया के दौरान उन गलतियों के लिए सक्रिय रूप से सुधार करके, वे AI मॉडल को अधिक सटीक और मजबूत बनाने के लिए प्रशिक्षित कर सकते हैं, भले ही उन्हें मिलने वाला फीडबैक अव्यवस्थित और अविश्वसनीय हो। उन्होंने एक "शोर वाले" सीखने के वातावरण को एक स्पष्ट, निष्पक्ष वातावरण में बदल दिया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।