Rethinking the Divergence Regularization in LLM RL
यह शोध पत्र डाइवर्जेंस रेगुलराइज्ड पॉलिसी ऑप्टिमाइजेशन (DRPO) का प्रस्ताव करता है, जो LLMs के लिए एक नवीन RL विधि है जो पूर्ववर्ती डाइवर्जेंस-आधारित दृष्टिकोणों में उपयोग किए जाने वाले हार्ड ग्रेडिएंट मास्किंग को एक सुचारू, एडवांटेज-वेटेड क्वाड्रेटिक रेगुलराइज़र से बदल देता है ताकि निरंतर सुधारात्मक संकेत प्रदान किए जा सकें और प्रशिक्षण स्थिरता में सुधार किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली लेकिन थोड़े अराजक (chaotic) छात्र (AI) को एक कठिन परीक्षा देने के लिए सिखा रहे हैं। छात्र ने पहले ही बुनियादी बातें सीख ली हैं, लेकिन अब आप चाहते हैं कि वह विशिष्ट, पेचीदा समस्याओं को बेहतर ढंग से हल करना सीखे। आप यह करने के लिए उसे अभ्यास प्रश्न देते हैं, उन्हें हल करने देते हैं, और फिर उसके प्रदर्शन के आधार पर उसे कहते हैं, "अच्छा काम किया!" या "फिर से कोशिश करो!" यह प्रक्रिया रीइन्फोर्समेंट लर्निंग (Reinforcement Learning - RL) कहलाती है।
हालाँकि, इसमें एक पेंच है: छात्र एक शांत पुस्तकालय (ट्रेनिंग) में अभ्यास करता है, लेकिन वास्तविक परीक्षा एक शोर-शराबे वाले, अराजक परीक्षा हॉल (इन्फरेंस) में देता है। क्योंकि वातावरण थोड़ा अलग है, छात्र भ्रमित हो सकता है या अपनी आदतों को बहुत अधिक बदल सकता है, जिससे एक 'मेल्टडाउन' की स्थिति पैदा हो सकती है जहाँ वह वह सब कुछ भूल जाता है जो उसने सीखा था।
इसे रोकने के लिए, शिक्षक एक "सुरक्षा क्षेत्र" (Trust Region) का उपयोग करते हैं। यह क्षेत्र कहता है, "आप बेहतर होने के लिए अपने उत्तर बदल सकते हैं, लेकिन उन्हें बहुत अधिक न बदलें, अन्यथा आप अपना संतुलन खो देंगे।"
समस्या: पुराने नियम बहुत कठोर थे
लंबे समय तक, शिक्षकों ने PPO (Proximal Policy Optimization) नामक एक विधि का उपयोग किया। PPO को एक सख्त नियम पुस्तिका की तरह समझें: "यदि आपका उत्तर 20% से अधिक बदलता है, तो रुक जाओ! उस उत्तर के लिए सारा क्रेडिट काट दो।"
लेखक इसके दो बड़े दोष बताते हैं:
- "अनुपात" का जाल (The "Ratio" Trap): PPO बदलाव को यह देखकर मापता है कि किसी उत्तर की संभावना (odds) कितनी बदली। लाखों संभावित शब्दों वाली दुनिया में (जैसे 50,000+ शब्दों वाली डिक्शनरी), एक बहुत ही दुर्लभ शब्द (जैसे "xylophone") की संभावना 0.0001% से बढ़कर 0.001% हो सकती है। यह एक बहुत बड़ा अनुपात (ratio) परिवर्तन है (10 गुना!), लेकिन बड़े परिप्रेक्ष्य में इसका बहुत कम महत्व है। वहीं, एक सामान्य शब्द (जैसे "the") 90% से गिरकर 80% हो सकता है। यह एक छोटा अनुपात परिवर्तन है, लेकिन यह अर्थ में एक बड़ा बदलाव है। PPO इसमें भ्रमित हो जाता है, दुर्लभ शब्दों को बहुत अधिक दंडित करता है और सामान्य शब्दों को बेकाबू होने देता है।
- "हार्ड कट" की समस्या (The "Hard Cut" Problem): नए तरीकों (जैसे DPPO) ने इसे ठीक करने की कोशिश की, जिसमें उन्होंने संभावना के वास्तविक बदलाव की मात्रा को मापा (जैसे केवल प्रतिशत के बजाय तय की गई दूरी को मापना)। लेकिन उन्होंने एक "हार्ड मास्क" का उपयोग किया। कल्पना कीजिए कि एक दीवार है। यदि छात्र एक इंच भी उस दीवार के पार कदम रखता है, तो शिक्षक तुरंत उसका हाथ मारकर कहता है, "रुक जाओ! इस कदम के लिए और कोई सीखना नहीं है।" यह एक बाइनरी स्विच है: या तो आपको पूरा क्रेडिट मिलता है, या शून्य। यह एक झटकेदार, अस्थिर सीखने की प्रक्रिया बनाता है। यदि छात्र दीवार से बस थोड़ा सा ही बाहर निकल गया है, तो उसे वापस चलने के लिए कोई मदद नहीं मिलती; उसे बस अनदेखा कर दिया जाता है।
समाधान: DRPO (द स्मूथ गाइड)
लेखक एक नई विधि DRPO (Divergence Regularized Policy Optimization) का प्रस्ताव करते हैं।
एक सख्त नियम या कठोर दीवार के बजाय, एक स्मार्ट, उछलने वाले ट्रैम्पोलिन (bouncy trampoline) की कल्पना करें जो सुरक्षा क्षेत्र के चारों ओर है।
- क्षेत्र के अंदर: यदि छात्र सुरक्षा क्षेत्र के भीतर अच्छे बदलाव कर रहा है, तो ट्रैम्पोलिन उसे धीरे से आगे धकेलता है, उसे सुधार जारी रखने के लिए प्रोत्साहित करता है।
- किनारे पर: जैसे-जैसे छात्र किनारे के करीब पहुँचता है, ट्रैम्पोलिन नरम होने लगता है। यह उसे अचानक नहीं रोकता; यह बस उसे धीरे से धीमा कर देता है।
- क्षेत्र के बाहर: यदि छात्र गलती से बहुत दूर निकल जाता है (एक "बुरा" कदम), तो ट्रैम्पोलिन उसे केवल काटता नहीं है। इसके बजाय, यह उसे वापस उछालता (bounce back) है। यह एक सौम्य, सुधारात्मक बल लगाता है जो कहता है, "ओह, आप बहुत दूर चले गए। चलिए आपको वापस केंद्र की ओर खींचते हैं।"
यह बेहतर क्यों काम करता है
लेख का दावा है कि DRPO एक स्मूथ, निरंतर मार्गदर्शक की तरह है, न कि एक टूटने वाली, ऑन/ऑफ स्विच की तरह।
- यह "लॉन्ग टेल" को बेहतर ढंग से संभालता है: AI की दुनिया में, हजारों दुर्लभ शब्द होते हैं। DRPO किसी शब्द के वास्तविक "दूरी" को मापता है, न कि "अनुपात" को। इसका मतलब है कि यह दुर्लभ शब्दों के बारे में भ्रमित नहीं होता जो लगभग शून्य से एक छोटी संख्या में बदल जाते हैं। यह बदलाव को निष्पक्ष रूप से देखता है, चाहे वह शब्द कितना भी सामान्य क्यों न हो।
- यह सीखना कभी बंद नहीं करता: भले ही छात्र गलती करता है और सुरक्षा क्षेत्र से बाहर कदम रखता है, DRPO उस सबक को फेंक नहीं देता। यह गलती का उपयोग उसे धीरे से वापस लाने के लिए करता है। यह सीखने की प्रक्रिया को अस्थिर या "क्रैश" होने से रोकता है।
- यह हर जगह काम करता है: लेखकों ने विभिन्न आकार के AI मॉडल (छोटे से लेकर विशाल तक), विभिन्न प्रकार के कंप्यूटर चिप्स, और यहाँ तक कि जब कंप्यूटर कम प्रिसिजन (जैसे थोड़ा धुंधले लेंस) पर चल रहा हो, पर इसका परीक्षण किया। हर मामले में, DRPO अधिक स्थिर था और इसने पुराने तरीकों की तुलना में AI को तेजी से और बेहतर तरीके से सीखने में मदद की।
निष्कर्ष
पुराने तरीकों को एक ऐसे शिक्षक के रूप में सोचें जो या तो आपके एक छोटी सी गलती करने पर चिल्लाकर कहता है "रुक जाओ!" या यदि आप थोड़ा सा भी भटक जाते हैं तो आपको पूरी तरह अनदेखा कर देता है।
DRPO एक बुद्धिमान कोच की तरह है जो कहता है, "आप बहुत अच्छा कर रहे हैं, लेकिन आप थोड़ा ज्यादा दूर जा रहे हैं। चलिए थोड़ा धीमे चलते हैं। यदि आप बहुत दूर चले गए, तो मैं आपको धीरे से वापस खींच लूँगा ताकि आप गिर न जाएँ।" यह सहज, निरंतर सुधार पूरी सीखने की प्रक्रिया को बहुत अधिक सुरक्षित, तेज़ और विश्वसनीय बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।