Dropout-GRPO: Variational Stochasticity for Continuous Latent Reasoning
यह शोध पत्र Dropout-GRPO का प्रस्ताव करता है, जो एक ऐसी विधि है जो निरंतर लेटेंट-रीजनिंग (latent-reasoning) मॉडल्स में आवश्यक ट्राजेक्टरी वेरिएंस (trajectory variance) उत्पन्न करने के लिए स्ट्रक्चर्ड ड्रॉपआउट को पेश करती है, जिससे प्रभावी ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन (Group Relative Policy Optimization) सक्षम होता है और GSM8K पर बेहतर प्रदर्शन प्रदर्शित होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ "DROPOUT-GRPO" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करके स्पष्टीकरण दिया गया है।
बड़ी समस्या: "रोबोट क्लोन" की दुविधा
कल्पना कीजिए कि आप एक रोबोट को गणित के सवाल हल करना सिखाने की कोशिश कर रहे हैं। आपके पास एक विशेष प्रशिक्षण विधि है जिसे GRPO (ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइज़ेशन) कहा जाता है।
GRPO आमतौर पर कैसे काम करता है:
एक शिक्षक की कल्पना करें जो छात्रों की एक कक्षा से एक ही गणित का सवाल हल करने के लिए कह रहा है।
- प्रत्येक छात्र इसे अपने दम पर हल करने की कोशिश करता है।
- क्योंकि छात्र अलग-अलग तरह से सोचते हैं, वे अलग-अलग रास्ते अपनाते हैं। कुछ गलतियाँ करते हैं; कुछ सही करते हैं।
- शिक्षक पूरी कक्षा के औसत (average) स्कोर को देखता है।
- यदि किसी छात्र ने औसत से बेहतर प्रदर्शन किया, तो उसे "अच्छा काम किया" का बोनस मिलता है। यदि उसने औसत से खराब प्रदर्शन किया, तो उसे "फिर से प्रयास करें" की पेनल्टी मिलती है।
- यह तुलना पूरी कक्षा को तेजी से सीखने में मदद करती है क्योंकि हर कोई यह देख सकता है कि वे अपने साथियों के मुकाबले कहाँ खड़े हैं।
"लेटेंट रीजनिंग" (Latent Reasoning) मॉडल्स के साथ समस्या:
यह पेपर एक नए प्रकार के AI (जैसे COCONUT) पर केंद्रित है जो शब्दों में "बोलकर नहीं सोचता" (think out loud)। इसके बजाय, यह एक छिपे हुए, निरंतर "ब्रेन स्टेट" (जैसे एक गुप्त आंतरिक कोड) में सोचता है।
- समस्या: यदि आप इस विशिष्ट AI को एक ही समस्या को 32 बार हल करने के लिए कहते हैं, तो यह एक परफेक्ट रोबोट क्लोन की तरह व्यवहार करता है। क्योंकि इसकी आंतरिक सोचने की प्रक्रिया नियत (deterministic/गणितीय रूप से निश्चित) है, इसलिए सभी 32 "छात्र" हर बार बिल्कुल एक जैसा उत्तर देते हैं।
- परिणाम: शिक्षक (GRPO) कक्षा को देखता है, देखता है कि सभी को बिल्कुल एक ही स्कोर मिला है, और "औसत" की गणना करता है। चूंकि सभी समान हैं, इसलिए किसी भी छात्र और औसत के बीच का अंतर शून्य है।
- क्रैश (विफलता): शून्य अंतर के साथ, शिक्षक के पास यह बताने का कोई तरीका नहीं बचता कि छात्रों को क्या सुधारना चाहिए। सीखने की प्रक्रिया रुक जाती है। यह एक ऐसी कार को चलाने की कोशिश करने जैसा है जिसका स्टीयरिंग व्हील ही नहीं है; आप बाएं या दाएं नहीं मुड़ सकते क्योंकि सिस्टम सोचता है कि आप पहले से ही बिल्कुल केंद्र में हैं।
समाधान: "शेयर्ड मास्क" (Shared Mask) का कमाल
लेखक, वूइल जंग (Wooil Jung) ने महसूस किया कि उन्हें कुछ "अराजकता" या रैंडमनेस (randomness) लाने की आवश्यकता है ताकि 32 छात्र अलग तरह से व्यवहार करें, लेकिन वे AI के दिमाग को बेतरतीब ढंग से नहीं बदल सकते थे (क्योंकि इससे गणित बिगड़ जाता)।
उन्होंने एक चतुर तकनीक का उपयोग किया जिसे स्ट्रक्चर्ड ड्रॉपआउट (Structured Dropout) कहा जाता है।
उपमा: "साझा धूप का चश्मा" (The Shared Sunglasses)
कल्पना कीजिए कि AI गणित के सवाल को धूप के चश्मे के माध्यम से देख रहा है।
- सेटअप: प्रत्येक 32 छात्रों (rollouts) के लिए, शिक्षक उन्हें एक अलग धूप का चश्मा देता है।
- मास्क: इन चश्मों के लेंस में रैंडम छेद हैं (यही "ड्रॉपआउट" है)। कुछ छात्रों के चश्मे में नंबरों के ऊपर छेद हैं; अन्य के पास ऑपरेटरों (operators) के ऊपर छेद हैं।
- नियम: एक बार जब छात्र ने अपना चश्मा पहन लिया, तो वह समस्या को हल करने के दौरान पूरे समय उसे पहने रहता है। वे इसे बीच में उतारते नहीं या बदलते नहीं हैं।
- प्रभाव: क्योंकि छात्र A समस्या को "छेद वाले" चश्मे के माध्यम से देख रहा है और छात्र B दूसरे "छेद वाले" चश्मे के माध्यम से देख रहा है, वे समस्या के थोड़े अलग संस्करण देखते हैं। वे अलग रास्ते अपनाते हैं और अलग परिणाम प्राप्त करते हैं।
- सीखना: अब, शिक्षक अंततः देख सकता है कि किसने औसत से बेहतर प्रदर्शन किया। "अच्छा काम किया" और "फिर से प्रयास करें" के संकेत वापस आते हैं, और AI सीखना शुरू कर देता है।
"रीप्ले" (Replay) का रहस्य:
इसमें एक पेच है। AI को सही ढंग से सिखाने के लिए, शिक्षक को यह जानना आवश्यक है कि छात्र ने उत्तर प्राप्त करते समय बिल्की क्या देखा था।
- पेपर कहता है: "हम प्रत्येक छात्र के लिए चश्मे के छेदों के सटीक पैटर्न (मास्क) को सहेजते हैं।"
- बाद में, जब शिक्षक छात्र के दिमाग को अपडेट करता है, तो वे छात्र को वही चश्मा वापस पहना देते हैं। यह सुनिश्चित करता है कि शिक्षक ठीक उसी विचार प्रक्रिया को ग्रेड दे रहा है जो उसने पहले देखी थी, बस एक थोड़े अपडेटेड दिमाग के साथ। यह गणित को ईमानदार रखता है और भ्रम को रोकता है।
यह क्यों महत्वपूर्ण है?
- यह एक नए प्रकार के AI को अनलॉक करता है: इससे पहले, आप इस शक्तिशाली ग्रुप-लर्निंग विधि (GRPO) का उपयोग इन "साइलेंट थिंकर" AI मॉडल्स पर नहीं कर सकते थे क्योंकि वे बहुत अधिक परफेक्ट और प्रेडिक्टेबल (पूर्वानुमेय) थे। यह विधि उनकी इस पूर्णता को थोड़ा तोड़ देती है ताकि सीखने की अनुमति मिल सके।
- यह काम करता है: लेखकों ने GSM8K नामक गणितीय डेटासेट पर इसका परीक्षण किया।
- AI ने 27.29% के स्कोर से शुरुआत की।
- इस "साझा धूप के चश्मे" (Shared Sunglasses) के कमाल के बाद, स्कोर बढ़कर 29.01% हो गया।
- इसने उस समस्या को भी ठीक किया जहाँ AI प्रशिक्षण के दौरान वास्तव में गणित में बदतर होता जा रहा था; इस नई विधि ने उन खोए हुए कौशल को वापस पाने में मदद की।
- यह सैद्धांतिक रूप से सुदृढ़ है: पेपर गणितीय रूप से सिद्ध करता है कि यह केवल एक तुक्का नहीं है। AI के मस्तिष्क के विभिन्न संस्करणों को सैंपल करने के तरीके के रूप में "चश्मे" को मानकर, यह विधि सांख्यिकीय रूप से वैध और कुशल है।
एक वाक्य में सारांश
यह पेपर उस समस्या को हल करता है जहाँ AI मॉडल एक-दूसरे से सीखने के लिए बहुत अधिक "परफेक्ट" थे, उन्हें एक अनूठा, अस्थायी "ब्लाइंडफोल्ड" (ड्रॉपआउट मास्क) देकर ताकि वे दुनिया को अलग तरह से देख सकें, जिससे एक ग्रुप-लर्निंग एल्गोरिदम अंततः उन्हें सुधारने का रास्ता खोज सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।