Parameter Exploration for RLVR via Variational Learning
यह शोध पत्र पर्सर्बड पैरामीटर पॉलिसी ऑप्टिमाइज़ेशन (3PO) को प्रस्तुत करता है, जो एक ऐसी विधि है जो विविध पॉलिसियों को उत्पन्न करने के लिए पैरामीटर स्पेस का अन्वेषण करके LLMs के लिए सुदृढीकरण शिक्षण (reinforcement learning) को उन्नत करती है, जिससे GRPO जैसी मानक एक्शन-स्पेस एक्सप्लोरेशन तकनीकों की तुलना में डाउनस्ट्रीम प्रदर्शन और प्रशिक्षण स्थिरता में सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को एक कठिन पहेली हल करना सिखाने की कोशिश कर रहे हैं, जैसे कि कोई जटिल गणित की समस्या या कोड का कोई हिस्सा लिखना। आप केवल उसे उत्तर नहीं दिखा सकते; इसके बजाय, आप रोबोट को कोशिश करने देते हैं, और यदि वह सही करता है, तो आप उसे एक 'हाई-फाइव' (एक इनाम) देते हैं। यदि वह गलत करता है, तो आप उसे धीरे से "फिर से कोशिश करो" कहते हैं। इसे 'रीइन्फोर्समेंट लर्निंग' (Reinforcement Learning) कहा जाता है। पेचीदा बात यह है कि रोबोट को खुद यह पता लगाना होगा कि उस 'हाई-फाइव' तक कैसे पहुँचना है। कभी-कभी, वह एक ही ढर्रे में फंस जाता है, बार-बार एक ही गलतियाँ दोहराता रहता है क्योंकि वह कुछ नया आज़माने से डरता है। इसे ठीक करने के लिए, वैज्ञानिक आमतौर पर रोबोट को थोड़ा अधिक "अराजक" (chaotic) या "रैंडम" बनाने की कोशिश करते हैं, इस उम्मीद में कि वह किसी शानदार नए समाधान तक पहुँच जाएगा।
लंबे समय तक, इस अराजकता को जोड़ने का मानक तरीका रोबोट के "तापमान" (temperature) में बदलाव करना रहा है। इसे रेडियो स्टैटिक (static) की आवाज़ बढ़ाने जैसा समझें: यह रोबोट के विकल्पों को थोड़ा अप्रत्याशित बनाता है, लेकिन यह वास्तव में यह नहीं बदलता कि वह क्या जानता है या कैसे सोचता है; यह बस उसके अनुमानों के क्रम को थोड़ा इधर-उधर कर देता है। यह एक शेफ को सूप में अधिक मसाले डालने के लिए कहने जैसा है बिना रेसिपी बदले। समस्या यह है कि, कभी-कभी सूप का स्वाद अभी भी बहुत खराब होता है, और रोबोट अपने ही गलत अनुमानों को बस एक अलग क्रम में दोहराता रहता है। यह शोध एक अलग, अधिक क्रांतिकारी विचार की खोज करता है: क्या होगा अगर हम केवल मसालों को इधर-उधर न करें, बल्कि वास्तव में शेफ के दिमाग में बदलाव करें? क्या होगा अगर हम रोबोट को हर एक प्रयास के लिए एक छोटा सा, अस्थायी "दिमागी धुंध" (brain fog) या "व्यक्तित्व परिवर्तन" दें? यह रोबोट को सोचने के पूरी तरह से नए तरीकों को खोजने की अनुमति देता है, न कि केवल नए तरीके से अनुमान लगाने की।
इस अध्ययन के पीछे के शोधकर्ताओं, वत्सल वेंकटकृष्ण, निको डेहेम और इरिना गुरेविच ने इस "दिमाग को ट्यून करने" वाले विचार को बड़े भाषा मॉडलों (Large Language Models - जो टेक्स्ट लिखते हैं और समस्याओं को हल करते हैं) पर परखने का फैसला किया। वे अपने नए तरीकों के परिवार को 3PO (Perturbed Parameter Policy Optimization) कहते हैं। केवल रोबोट के अनुमानों को रैंडम बनाने (action-space exploration) के बजाय, वे वास्तव में रोबोट के आंतरिक भार (internal weights) में थोड़ा शोर (noise) जोड़ते हैं (parameter-space exploration)। कल्पना कीजिए कि आपके पास एक पहेली सुलझाने के लिए 16 शेफ की एक टीम है। पुराना तरीका (जिसे GRB0 कहा जाता है) यह होगा कि सभी 16 शेफ एक ही रेसिपी बुक का उपयोग करेंगे, बस रैंडम अंदाज़ में अनुमान लगाएंगे। यदि वे सभी विफल होते हैं, तो पूरी टीम फंस जाती है।
3PO टीम ने चीज़ों को हिलाने-डुलाने के तीन अलग-अलग तरीके आजमाए। पहला, B3PO पूरे दौर के लिए पूरी टीम को एक थोड़ी अलग, धुंधली रेसिपी बुक देने जैसा है। दूसरा, M3PO टीम को एक के बाद एक चार अलग-अलग धुंधले संस्करणों वाली किताब आज़माने और फिर उनके परिणामों का औसत निकालने जैसा है। लेकिन असली सितारा C3PO है। C3PO में, टीम को विभाजित किया जाता है। इसके बजाय कि हर कोई एक ही किताब का उपयोग करे, वे 16 शेफ को छोटे समूहों में विभाजित करते हैं, और प्रत्येक समूह को रेसिपी बुक का एक पूरी तरह से अलग धुंधला संस्करण मिलता है। इसका मतलब है कि टीम एक ही समय में समाधानों के कई अलग-अलग "ब्रह्मांडों" की खोज कर रही है।
परिणाम काफी उत्साहजनक थे। जब उन्होंने कठिन गणितीय समस्याओं (जैसे AIME प्रतियोगिता) और कोडिंग चुनौतियों पर इन तरीकों का परीक्षण किया, तो C3PO विधि ने मानक विधियों से लगातार बेहतर प्रदर्शन किया। शोध पत्र बताता है कि इन विभिन्न "धुंधले" संस्करणों का उपयोग करके, टीम उन सही उत्तरों को खोजने में सक्षम रही जो मानक विधि से छूट गए थे। विशेष रूप से, C3PO ने उन प्रयासों के अधिक समूहों को "बचाने" (rescue) में सफलता पाई जो अन्यथा डेड एंड (dead end) होते (जहाँ प्रत्येक प्रयास एक ही गलत उत्तर देता था)। इसने कम "विकृत" (malformed) उत्तर भी दिए—वे अजीब, टूटे हुए जवाब जहाँ रोबलेट बस बकवास दोहराता रहता है।
दिलचस्प रूप से, शोध पत्र तर्क देता है कि केवल रोबोट को अधिक रैंडम बनाना (जैसे तापमान बढ़ाना) पर्याप्त नहीं है। वास्तव में, उन्होंने पाया कि रोबोट को बहुत अधिक रैंडम बनाने से अक्सर और भी अधिक कचरा उत्तर मिलते थे। मुख्य बात अन्वेषण (exploration) की संरचना थी: एक ही समूह में मॉडल के कई अलग-अलग संस्करणों का एक साथ काम करना। हालांकि यह शोध दावा नहीं करता है कि यह सब कुछ हल करने वाला जादुई हथियार है, लेकिन यह दृढ़ता से सुझाव देता है कि मॉडल के आंतरिक मापदंडों (parameters) को ट्यून करना एक शक्तिशाली नया उपकरण है। यह महसूस करने जैसा है कि छिपे हुए खजाने को खोजने के लिए, आपको केवल रैंडम दिशाओं में चलने की आवश्यकता नहीं है; आपको खोजकर्ताओं की एक पूरी टीम भेजनी होगी, जिनमें से प्रत्येक के पास थोड़ा अलग नक्शा हो, ताकि अधिक क्षेत्र कवर किया जा सके। शोधकर्ताओं ने पाया कि यह दृष्टिकोण बिना महत्वपूर्ण रूप से अधिक कंप्यूटर पावर की आवश्यकता के अच्छी तरह से काम करता है, जिससे यह स्मार्ट AI को प्रशिक्षित करने के लिए एक व्यावहारिक अपग्रेड बन जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।