Towards Robust Reinforcement Learning for Small-Scale Language Model Agents
यह शोध पत्र विशिष्ट तकनीकी सुरक्षा उपायों के माध्यम से लघु-स्तरीय भाषा मॉडल सुदृढीकरण लर्निंग (reinforcement learning) में तीन महत्वपूर्ण विफलता मोड की पहचान और समाधान करता है, और एक "क्षमता-हेडरूम परिकल्पना" (capacity-headroom hypothesis) प्रस्तावित करता है जो यह प्रदर्शित करती है कि स्थिर PPO प्रशिक्षण और उत्कृष्ट प्रदर्शन मॉडल पैरामीटर गणना के बजाय एक प्रवाहपूर्ण पर्यवेक्षित पूर्ववर्ती (supervised prior) और एक सूचनात्मक पुरस्कार संकेत (reward signal) पर निर्भर करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक नन्हे, बेहद बुद्धिमान रोबोट को एक अच्छी कहानी सुनाना सिखाने की कोशिश कर रहे हैं। आप उसे बस इधर-उधर भटककर अंदाज़ा लगाने के लिए नहीं छोड़ेंगे; पहले आप उसे बेहतरीन कहानियों के कुछ उदाहरण देंगे, फिर उसे अपनी खुद की कहानी लिखने देंगे, और अंत में, इस आधार पर उसे 'थम्स-अप' (शाबाशी) या 'थम्स-डाउन' (नापसंदगी) देंगे कि उसने कितना अच्छा काम किया। फीडबैक से सीखने की यह प्रक्रिया, जिसे कंप्यूटर को सिखाने का तरीका कहा जाता है, "रीइन्फोर्समेंट लर्निंग" (Reinforcement Learning) कहलाती है। आमतौर पर, यह विशाल, बुद्धिमान कंप्यूटरों के लिए सबसे अच्छा काम करती है जिनमें अरबों "न्यूरॉन्स" (पैरामीटर्स) होते हैं। लेकिन क्या होगा अगर आप इस स्मार्ट रोबोट को एक जेब में रखे जाने वाले उपकरण, जैसे कि फोन या स्मार्टवॉच में डालना चाहते हैं? ये उपकरण उन विशाल कंप्यूटरों को नहीं संभाल सकते, इसलिए हमें "स्मॉल लैंग्वेज मॉडल्स" (SLMs) का उपयोग करना पड़ता है—जो केवल कुछ सौ मिलियन न्यूरॉन्स वाले छोटे संस्करण हैं। मुख्य सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: क्या ये नन्हे रोबोट फीडबैक पद्धति का उपयोग करके बेहतर कहानियाँ सुनाना सीख सकते हैं, या वे बस भ्रमित होकर क्रैश हो जाते हैं?
यह शोध पत्र ठीक इसी समस्या की गहराई में जाता है। शोधकर्ताओं ने पाँच अलग-अलग नन्हे रोबोटों (70 मिलियन से 410 मिलियन न्यूरॉन्स तक) को PPO नामक एक लोकप्रिय प्रशिक्षण पद्धति का उपयोग करके सिखाने की कोशिश की। उन्होंने पाया कि जबकि यह तरीका विशाल कंप्यूटरों के लिए काम करता है, यह अक्सर इन नन्हे रोबोटों को तीन बहुत ही विशिष्ट और चालाकी भरे तरीकों से तोड़ देता है। हार मानने के बजाय, उन्होंने इन रोबोटों को गिरने से बचाने के लिए एक "सुरक्षा जाल" (सेफ्टी नेट) बनाया। उन्होंने पाया कि सफलता का रहस्य केवल रोबोट को बड़ा बनाना नहीं है; बल्कि यह सुनिश्चित करना है कि फीडबैक प्रशिक्षण शुरू करने से पहले रोबोट बोलने में पहले से ही काफी अच्छा हो। यदि रोबोट पहले से ही धाराप्रवाह (fluent) है, तो छोटा फीडबैक लूप जादू की तरह काम करता है। यदि वह ऐसा नहीं है, तो रोबोट बस एक ही जगह पर चक्कर काटता रह जाएगा।
नन्हे रोबोट का बड़ा संघर्ष
एक स्मॉल लैंग्वेज मॉडल (SLM) को एक बहुत ही युवा, उत्साही प्रशिक्षु (apprentice) की तरह समझें। यदि आप इस प्रशिक्षु को कोई पेशा सिखाना चाहते हैं, तो आप पहले उसे कुछ आदर्श उदाहरण दिखाते हैं (इसे "सुपरवाइज्ड फाइन-ट्यूनिंग" या SFT कहा जाता है)। फिर, आप उसे अभ्यास करने देते हैं और उसके प्रदर्शन के आधार पर उसे एक स्कोर देते हैं (यह "रीइन्फोर्समेंट लर्निंग" या RL है)। विशाल प्रशिक्षुओं (अरबों पैरामीटर वाले बड़े AI मॉडल) के लिए, यह फीडबैक लूप सुगम होता है। लेकिन हमारे 70-से-500 मिलियन पैरामीटर वाले नन्हे प्रशिक्षुओं के लिए, शोधकर्ताओं ने पाया कि फीडबैक लूप अक्सर एक आपदा क्षेत्र में बदल जाता है।
टीम ने 15 अलग-अलग प्रयोग चलाए, जिसमें पाँच अलग-अलग छोटे मॉडलों को तीन अलग-अलग प्रकार के लेखन कार्यों (जैसे परी कथाएँ बनाना, समाचारों का सारांश लिखना, या इतिहास के बारे में लिखना) के साथ मिलाया गया। उन्हें उम्मीद थी कि नन्हे रोबोट सीखेंगे, लेकिन इसके बजाय, वे तीन अदृश्य दीवारों से टकराते रहे जिनके कारण प्रशिक्षण विफल हो गया।
दीवार #1: मौन जमाव (The Silent Freeze)
कल्पना कीजिए कि आप अपने प्रशिक्षु से कहते हैं, "जाओ अभ्यास करो!" लेकिन आपने गलती से उसके हाथों पर एक ताला लगा दिया है ताकि वह हिल न सके। रोबोट सीखने की कोशिश करता है, लेकिन उसके मस्तिष्क का वह हिस्सा जो वास्तव में बदलता है (जिसे "LoRA पैरामीटर्स" कहा जाता है) सॉफ्टवेयर द्वारा लॉक हो जाता है। रोबोट सोचता है कि वह सीख रहा है, लेकिन वास्तव में वह अपनी पुरानी गलतियों को ही दोहरा रहा है क्योंकि उसके हाथ जम गए हैं। शोधकर्ताओं ने पाया कि यह उनके द्वारा उपयोग किए जा रहे सॉफ्टवेयर टूल्स में चुपचाप होता रहा।
दीवार #2: गणितीय विस्फोट (The Math Explosion)
नन्हे रोबोट जगह बचाने में माहिर होते हैं, इसलिए वे अक्सर गणित करने का एक "शॉर्ट-हैंड" तरीका (जिसे bfloat16 कहा जाता है) अपनाते हैं। लेकिन जब रोबोट यह गणना करने की कोशिश करता है कि उसमें पहले की तुलना में कितना सुधार हुआ है, तो संख्याएँ इतनी बड़ी हो जाती हैं और गणित इतना सटीक हो जाता है कि शॉर्ट-हैंड टूट जाता है। यह वैसा ही है जैसे एक फुट के पैमाने वाले रूलर से चंद्रमा की दूरी मापने की कोशिश करना; संख्याएँ ओवरफ्लो हो जाती हैं और सिस्टम क्रैश हो जाता है। यह विशेष रूप से तब हुआ जब रोबोट 200 मिलियन न्यूरॉन्स से छोटा था।
दीवार #3: घबराहट का चक्रवात (The Panic Spiral)
कभी-कभी, रोबोट को बहुत अधिक या बहुत कम स्कोर मिलता है, और वह घबरा जाता है। वह अपने व्यवहार को इतनी तेज़ी से बदलने की कोशिश करता है कि वह बड़बड़ाने लगता है या एक ही शब्द को बार-बार दोहराने लगता है। इसे "पॉलिसी कोलैप्स" (policy collapse) कहा जाता है। यह उस छात्र की तरह है जिसे बुरा ग्रेड मिलता है, वह अपनी किताब फेंक देने का फैसला करता है, और रैंडम अक्षर चिल्चाने लगता है।
सुरक्षा जाल और "धाराप्रवाहता" का नियम
शोधकर्ताओं ने केवल समस्याओं की ओर इशारा नहीं किया; उन्होंने उन्हें ठीक करने के लिए तीन-स्तरीय सुरक्षा जाल बनाया।
- रीसेट बटन: जमे हुए हाथों को ठीक करने के लिए, उन्होंने "मर्ज-एंड-रीइनिशियलाइज़" (merge-and-reinitialize) नामक एक ट्रिक का उपयोग किया। उन्होंने प्रशिक्षु के वर्तमान ज्ञान को लिया, उसे उसके मस्तिष्क में समाहित किया, और फिर उसे अभ्यास के लिए एक नया, अनलॉक सेट दिया।
- बड़ा पैमाना: गणितीय विस्फोट को रोकने के लिए, उन्होंने रोबोट को प्रशिक्षण के कठिन हिस्सों के दौरान "फुल प्रिसिजन" (float32) गणित का उपयोग करने के लिए मजबूर किया, जिससे यह सुनिश्चित हुआ कि संख्याएँ संभालने योग्य सीमा से बाहर न जाएं।
- सुरक्षा गार्ड: घबराहट के चक्रवात को रोकने के लिए, उन्होंने एक गार्डरेल जोड़ा। यदि रोबोट का स्कोर बहुत ज्यादा अजीब होता है, तो गार्डरेल हस्तक्षेप करता है, संख्याओं को सुचारू बनाता है, और यदि रोबोट पागल होने लगता है, तो सिस्टम तुरंत पिछले सुरक्षित क्षण पर वापस चला जाता है, जैसे वीडियो गेम में "अनडू" (Undo) बटन दबाना।
लेकिन सबसे दिलचस्प खोज केवल सुरक्षा जाल नहीं थी; बल्कि एक नया नियम था जिसे उन्होंने "कैपेसिटी-हेडरूम हाइपोथीसिस" (Capacity-Headroom Hypothesis) कहा।
रोबोट के मस्तिष्क को एक बाल्टी की तरह समझें। "हेडरूम" बाल्टी के ऊपर खाली जगह है। शोधकर्ताओं ने पाया कि फीडबैक प्रशिक्षण के लिए, फीडबैक डालने से पहले बाल्टी का अधिकांश हिस्सा अच्छे भाषा ज्ञान से भरा होना चाहिए। विशेष रूप से, रोबोट को इतना "धाराप्रवाह" (fluent) होना चाहिए कि उसका कन्फ्यूजन स्कोर (जिसे पर्प्लेक्सिटी/Perplexity कहा जाता है) 20 से नीचे हो।
यदि रोबोट पहले से ही धाराप्रवाह है (Perplexity < 20), तो फीडबैक लूप खूबसूरती से काम करता है। रोबोट बेहतर कहानियाँ कहना सीख जाता है, और उसके स्कोर बढ़ जाते हैं। लेकिन यदि रोबोट अभी भी शब्दों के लिए लड़खड़ा रहा है (Perplexity > 20), तो फीडबैक लूप मदद नहीं करता; यह चीजों को बदतर बना देता है या कुछ भी नहीं करता। यह एक छोटे बच्चे को लाल पेन के साथ उपन्यास लिखना सिखाने जैसा है; यदि वे पेंसिल पकड़ना भी नहीं जानते, तो सुधार काम नहीं आएंगे। शोधकर्ताओं ने पाया कि केवल रोबोट को बड़ा बनाना (अधिक न्यूरॉन्स जोड़ना) समस्या को ठीक नहीं करता यदि रोबोट अभी तक धाराप्रवाह नहीं था। कुंजी यह सुनिश्चित करना थी कि रोबोट पहले एक अच्छा वक्ता हो।
परिणाम: छोटा लेकिन शक्तिशाली
जब उन्होंने इन सुधारों को लागू किया और "धाराप्रवाहता नियम" का पालन किया, तो परिणाम प्रभावशाली थे।
- स्थिरता: सुरक्षा जाल का उपयोग करने वाले और धाराप्रवाह रोबोट से शुरू होने वाले सभी 15 प्रयोग बिना क्रैश हुए पूरे हुए।
- प्रदर्शन: जो नन्हे रोबोट धाराप्रवाह थे (जैसे 410-मिलियन-न्यूरॉन वाला मॉडल), उन्होंने बहुत बेहतर कहानियाँ लिखना सीखा। परी कथाओं के एक परीक्षण पर, एक रोबोट ने अपने स्कोर में भारी सुधार किया, और उन प्री-ट्यून्ड, "निर्देश-अनुसरण करने वाले" मॉडलों को भी पीछे छोड़ दिया जिन्हें बहुत अधिक डेटा पर प्रशिक्षित किया गया था।
- दक्षता: इन नन्हे रोबोटों ने विशाल मॉडलों की तुलना में काफी कम प्रशिक्षण डेटा का उपयोग करके यह उच्च गुणवत्ता हासिल की।
हालाँकि, शोध पत्र इस बात पर ध्यान देने में सावधानी बरतता है कि क्या काम नहीं आया। यदि रोबोट ने उच्च कन्फ्यूजन स्कोर (20 से ऊपर) के साथ शुरुआत की, तो प्रशिक्षण ने इसमें सुधार नहीं किया। वास्तव में, एक विशिष्ट विषय पर एक मॉडल के लिए, प्रशिक्षण ने इसे थोड़ा और खराब कर दिया। यह साबित करता है कि आप बस एक नन्हे रोबोट को फीडबैक लूप में नहीं डाल सकते और उम्मीद नहीं कर सकते कि सब ठीक हो जाएगा; आपको पहले यह सुनिश्चित करना होगा कि वह तैयार है।
भविष्य के लिए इसका क्या अर्थ है
यह शोध पत्र सुझाव देता है कि हमारे पास ऑन-डिवाइस एजेंट (on-device agents) बनाने के लिए हमें अनिवार्य रूप से बड़े और बड़े कंप्यूटर बनाने की आवश्यकता नहीं है। इसके बजाय, हमें छोटे मॉडलों को प्रशिक्षित करने के तरीके के बारे में अधिक स्मार्ट होने की आवश्यकता है। इन तकनीकी गड़बड़ियों को ठीक करके जो नन्हे रोबोटों को क्रैश करती हैं और यह सुनिश्चित करके कि हम फीडबैक प्रशिक्षण शुरू करने से पहले वे धाराप्रवाह हों, हम उन्हें हमारे फोन और घड़ियों पर चलने के लिए पर्याप्त शक्तिशाली बना सकते हैं।
शोधकर्ताओं ने अपना सारा कोड, नन्हे रोबोट मॉडल और प्रशिक्षण स्क्रिप्ट साझा की है ताकि कोई भी इसे आज़मा सके। उन्होंने एक "फॉरवर्ड-कम्पैटिबल" (forward-compatible) सिस्टम भी बनाया है, जो भविष्य में इन रोबोटों को लंबी, बहु-चरणीय बातचीत संभालने के लिए सिखाने के ब्लूप्रिंट की तरह है, हालांकि उन्होंने अभी इस हिस्से का परीक्षण नहीं किया है। मुख्य निष्कर्ष स्पष्ट है: छोटे AI के लिए, स्थिरता और एक अच्छी शुरुआत, कच्चे आकार (raw size) से अधिक महत्वपूर्ण है। यदि आप एक नन्हे रोबोट को एक ठोस आधार और एक सुरक्षा जाल देते हैं, तो वह अद्भुत चीजें करना सीख सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।