N-GRPO: Embedding-Level Neighbor Mixing for Enhanced Policy Optimization
यह शोध पत्र N-GRPO को पेश करता है, जो ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (Group Relative Policy Optimization) के लिए एक नवीन अन्वेषण रणनीति है जो गणितीय तर्क क्षमता को बढ़ाने के लिए एंकर टोकन एम्बेडिंग को उनके निकटतम सिमेंटिक पड़ोसियों के साथ गतिशील रूप से मिश्रित करती है ताकि विविधता को समाविष्ट करते हुए सिमेंटिक निरंतरता को बनाए रखा जा सके, जिससे यह इन-डिस्ट्रीब्यूशन और आउट-ऑफ-डिस्ट्रीब्यूशन दोनों कार्यों पर मौजूदा बेसलाइनों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान छात्र (एक लार्ज लैंग्वेज मॉडल) को कठिन गणित के सवाल हल करना सिखा रहे हैं। वास्तव में अच्छा बनने के लिए, छात्र को एक ही समस्या को हल करने के कई अलग-अलग तरीकों को आज़माकर अभ्यास करने की आवश्यकता है। अभ्यास के इस चरण को "रोलआउट" (rollout) कहा जाता है।
लेखक एक नया तरीका पेश करते हैं जो इस छात्र को अभ्यास करने में मदद करता है, जिसे N-GRPO कहा जाता है। यह यहाँ कैसे काम करता है, इसे सरल अवधारणाओं में नीचे समझाया गया है:
समस्या: अभ्यास करने के दो बुरे तरीके
वर्तमान में, जब AI मॉडल अभ्यास करते हैं, तो वे आमतौर पर दो तरीकों से विविधता लाने की कोशिश करते हैं, लेकिन दोनों में कमियां हैं:
- "तोता" दृष्टिकोण (टोकन-लेवल सैंपलिंग):
कल्पना कीजिए कि आप छात्र को एक वाक्य को फिर से लिखने के लिए कहते हैं। वे कह सकते हैं, "बिल्ली चटाई पर बैठी थी" या "चटाई पर बिल्ली बैठी हुई थी।"
- समस्या: ये केवल पुनर्गठन (rephrasings) हैं। अंतर्निहित तर्क बिल्कुल वैसा ही है। छात्र गणित की समस्या को हल करने के नए तरीके नहीं सीख रहा है; वे बस एक ही बात को अलग शब्दों में कह रहे हैं। यह पियानो बजाने का अभ्यास करने जैसा है जहाँ आप केवल वॉल्यूम बदल रहे हैं, नोट्स नहीं।
- "स्थिर शोर" दृष्टिकोण (रैंडम एम्बेडिंग नॉइज़):
कल्पमा कीजिए कि आप छात्र की सोच को झकझोरने के लिए उन्हें बिजली का एक रैंडम झटका देते हैं।
- समस्या: यह बहुत अधिक अराजक है। यह ऐसा है जैसे गियरों में रिंच (wrench) डाल देना। छात्र अचानक "केले" के बारे में बात करने लग सकता है जब उसे "बीजगणित" (algebra) के बारे में बात करनी चाहिए। रैंडम शोर अर्थ को तोड़ देता है, जिससे छात्र भटक जाता है और असफल हो जाता है।
समाधान: N-GRPO (द "स्मार्ट नेबर" मेथड)
लेखक एक बीच का रास्ता प्रस्तावित करते हैं जिसे सेमेंटिक नेबर मिक्सिंग (Semantic Neighbor Mixing) कहा जाता है। इसे "गाइडेड ग्रुप ब्रेनस्टॉर्मिंग" के रूप में सोचें।
केवल शब्दों को फिर से लिखने या रैंडम शब्द चुनने के बजाय, मॉडल उस शब्द को देखता है जिसे वह सबसे अधिक संभावना के साथ कहना चाहता है ("एंकर")। फिर, यह अपने आंतरिक शब्दकोश में उस शब्द के 3 सबसे करीबी "पड़ोसियों" को खोजता है।
- उपमा: कल्पना कीजिए कि छात्र "वर्ग" (Square) शब्द बोलने वाला है।
- "तोता" दृष्टिकोण शायद "चतुर्भुज" (Quadrilateral) कहेगा (सिर्फ एक पर्यायवाची)।
- "स्थिर शोर" दृष्टिकोण शायद "केला" (Banana) कहेगा (रैंडम और गलत)।
- N-GRPO "वर्ग" को देखता है और उसके पड़ोसियों को खोजता है: "आयत" (Rectangle), "हीरा" (Diamond), और "घन" (Cube)। फिर यह चारों विचारों का एक मिश्रण, एक "मिश्रित विचार" बनाता है।
यह मिश्रण एक "निरंतर" (continuous) विचार है। यह अभी तक एक एकल शब्द नहीं है; यह उन संबंधित विचारों के बीच में स्थित एक धुंधली अवधारणा है।
यह क्यों काम करता है
- रास्ते पर बने रहना: क्योंकि पड़ोसियों को मूल शब्द के समान होने के आधार पर चुना जाता है, इसलिए नया "मिश्रित" विचार अभी भी गणितीय और तार्किक रूप से प्रासंगिक होता है। यह निरर्थक बातों (जैसे "केला" का उदाहरण) में नहीं भटकता है।
- नए रास्ते खोजना: क्योंकि यह एक मिश्रण है, यह मॉडल को समस्या के एक थोड़े अलग कोण से अन्वेषण करने की अनुमति देता है। यह जंगल के माध्यम से एक छिपे हुए शॉर्टकट को खोजने के लिए एक थोड़ा अलग रास्ता लेने जैसा है, बजाय इसके कि आप केवल एक ही रास्ते पर तेज़ या धीमे चलें।
इसका उपयोग कैसे किया जाता है
लेखक इसे GRPO नामक एक प्रशिक्षण ढांचे में एकीकृत करते हैं।
- प्रशिक्षण के दौरान: मॉडल अभ्यास करता है। कभी-कभी (लगेंट 10% बार), यह इस "स्मार्ट नेबर" मिश्रण का उपयोग करके समाधान उत्पन्न करता है। यदि वह समाधान एक सही उत्तर की ओर ले जाता है, तो मॉडल को इनाम मिलता है और वह सीखता है कि वह "मिश्रित" पथ अच्छा था।
- परीक्षण के दौरान (इन्फरेंस): दिलचस्प बात यह है कि लेख में पाया गया कि जबकि यह मिश्रण सीखने में मदद करता है, यह वास्तव में प्रदर्शन को नुकसान पहुँचाता है जब मॉडल अपने आप प्रश्न का उत्तर दे रहा होता है। इसलिए, वे अंतिम परीक्षण लेते समय इस मिश्रण को बंद कर देते हैं, और मानक, स्पष्ट उत्तरों का उपयोग करते हैं।
परिणाम
शोधकर्ताओं ने गणित की समस्याओं (जैसे AIME और MATH बेंचमार्क) पर विभिन्न आकार के AI मॉडल का परीक्षण किया।
- परिणाम: N-GRPO का उपयोग करने वाले मॉडलों ने पुराने तरीकों का उपयोग करने वाले मॉडलों की तुलना में अधिक समस्याओं को सही ढंग से हल किया।
- निष्कर्ष: समान शब्दों के "विचारों" को आपस में मिलाने से, AI बिना भ्रमित हुए या रास्ता भटके, अधिक रचनात्मक समाधानों का पता लगा सकता है।
सीमाएँ
लेख में दो मुख्य कमियाँ बताई गई हैं:
- गति: इन "पड़ोसियों" को खोजने और उन्हें मिलाने में अतिरिक्त कंप्यूटर पावर लगती है, जिससे प्रशिक्षण प्रक्रिया थोड़ी धीमी हो जाती है।
- दायरा: उन्होंने केवल गणित और विज्ञान पर इसका परीक्षण किया है। उन्होंने अभी तक इसे कोडिंग पर नहीं आज़माया है, जहाँ नियम बहुत सख्त होते हैं (आप कोड सिंटैक्स को बिना तोड़े "ब्लेंड" नहीं कर सकते)।
संक्षेप में, N-GRPO AI को समान विचारों को आपस में मिलाकर सोचने के लिए सिखाता है, जिससे वह अपना मानसिक संतुलन खोए बिना नए समाधानों का पता लगा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।