Mitigating Exploration Bias in RL for Multi-Instruction Following
यह शोध पत्र व्यवहारिक बूटस्ट्रैपिंग (behavioral bootstrapping) के माध्यम से कठिन निर्देशों को सक्रिय करने और उन्हें प्राथमिकता देने के लिए अभाव-जागरूक पुरस्कारों (scarcity-aware rewards) को संयोजित करने वाले एक दो-चरणीय ढांचे का प्रस्ताव करके, RL-आधारित बहु-निर्देश अनुपालन में आसान निर्देशों की ओर झुकाव वाले अन्वेषण पूर्वाग्रह (exploration bias) को संबोधित करता है, जो सत्यापन योग्य बेंचमार्क में मॉडल के प्रदर्शन में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
लार्ज लैंग्वेज मॉडल्स (LLMs) उन चैटबॉट्स और लेखन सहायकों के पीछे के इंजन हैं जो दैनिक जीवन का हिस्सा बन गए हैं। मूल रूप से, ये सिस्टम निर्देशों का पालन करने के लिए डिज़ाइन किए गए हैं, जो उपयोगकर्ता के अनुरोध को लेकर उसे एक सहायक प्रतिक्रिया में बदलते हैं। वर्षों से, शोधकर्ताओं ने इन मॉडल्स को इस कार्य में बेहतर बनाने के लिए 'रीइन्फोर्समेंट लर्निंग' नामक प्रशिक्षण पद्धति का उपयोग किया है। इस दृष्टिकोण में, मॉडल एक समस्या को हल करने का प्रयास करता है, इस आधार पर एक स्कोर प्राप्त करता है कि उसने कैसा प्रदर्शन किया, और अपने अगले प्रयास को सुधारने के लिए उस फीडबैक का उपयोग करता है। यह व्यवहार को परिष्कृत करने का एक शक्तिशाली तरीका है, ठीक वैसे ही जैसे किसी जानवर को इनाम देकर प्रशिक्षित किया जाता है, लेकिन इसे जटिल डिजिटल तर्क पर लागू किया गया है। हालाँकि, एक नया अध्ययन बताता है कि जब ये मॉडल्स एक एकल अनुरोध का सामना करते हैं जिसमें कई अलग-अलग नियम या बाधाएं शामिल होती हैं, तो मानक प्रशिक्षण पद्धति अक्सर उन्हें विफल कर देती है। अनुरोध के हर हिस्से को पूरा करने के बजाय, मॉडल कठिन हिस्सों को अनदेखा करने और केवल आसान हिस्सों पर ध्यान केंद्रित करने लगता है, जिससे उपयोगकर्ता को एक ऐसी प्रतिक्रिया मिलती है जो केवल आंशिक रूप से सही होती है।
इस अध्ययन के पीछे के शोधकर्ताओं ने, टेक्सास और कैलिफोर्निया के विश्वविद्यालयों की टीमों के साथ मिलकर, यह समझने का प्रयास किया कि ऐसा क्यों होता है और इसे कैसे ठीक किया जाए। उन्होंने पाया कि यह समस्या दो मुख्य कारणों से उत्पन्न होती है। पहला, जब एक मॉडल प्रशिक्षण शुरू करता है, तो वह अक्सर एक जटिल अनुरोध के सबसे कठिन हिस्सों को हल करने के लिए बहुत कमजोर होता है। क्योंकि वह इन कठिन कार्यों में सफल नहीं हो पाता, उसे सीखने के लिए आवश्यक सकारात्मक फीडबैक कभी नहीं मिलता, इसलिए वह बस प्रयास करना छोड़ देता है। दूसरा, प्रशिक्षण के दौरान उपयोग की जाने वाली स्कोरिंग प्रणाली हर निर्देश को समान मानती है। यदि एक मॉडल एक आसान नियम और एक कठिन नियम को पूरा करता है, तो उसे उतना ही कुल स्कोर मिलता है जितना कि तब मिलता जब उसने दो आसान नियमों को पूरा किया होता। यह मॉडल को अपना स्कोर जल्दी बढ़ाने के लिए आसान जीत हासिल करने के लिए प्रोत्साहित करता है, बजाय इसके कि वह उन कठिन बाधाओं के लिए संघर्ष करे जिनमें अधिक प्रयास की आवश्यकता होती है। परिणाम स्वरूप, मॉडल एक ऐसे पक्षपात की ओर झुक जाता है जो आसान रास्ते को चुनता है, जिससे कठिन चुनौतियाँ अनछुए रह जाते हैं।
इसे हल करने के लिए, टीम ने एक दो-चरणीय फ्रेमवर्क प्रस्तावित किया जिसे मॉडल को कठिन निर्देशों पर ध्यान देने के लिए मजबूर करने हेतु डिज़ाइन किया गया है। पहला चरण एक तैयारी चरण है जिसे वे 'बिहेवियरल बूटस्ट्रैपिंग' (behavioral bootstrapping) कहते हैं। मुख्य प्रशिक्षण शुरू होने से पहले, शोधकर्ता उन विशिष्ट प्रकार के निर्देशों की पहचान करते हैं जिनका पालन करने में मॉडल वर्तमान में विफल रहता है। इसके बाद वे उदाहरणों का एक छोटा, केंद्रित सेट तैयार करते हैं जहाँ मॉडल को इन विशिष्ट कठिन कार्यों में सफल होने के लिए निर्देशित किया जाता है। केवल थोड़े समय के लिए इस क्यूरेटेड डेटा पर प्रशिक्षण देकर, मॉडल इन कठिन बाधाओं को संभालने की अपनी क्षमता को "जगा" लेता है। यह मॉडल को शुरुआत से सब कुछ सिखाने के बारे में नहीं है, बल्कि उसे एक छोटा सा धक्का देने के बारे में है ताकि यह सुनिश्चित हो सके कि वास्तविक प्रशिक्षण शुरू होने से पहले उसके पास सफल होने का एक मौका हो। यह चरण सुनिश्चित करता है कि वास्तविक प्रशिक्षण शुरू होने पर मॉडल कठिन हिस्सों को देखते ही हार न मान ले।
दूसरे चरण में मुख्य प्रशिक्षण चरण के दौरान मॉडल को पुरस्कृत करने के तरीके को बदलना शामिल है। हर निर्देश को समान महत्व देने के बजाय, शोधकर्ताओं ने एक नई स्कोरिंग पद्धति पेश की जो इस बात पर ध्यान देती है कि कोई विशिष्ट निर्देश कितना दुर्लभ या कठिन है। यदि मॉडल एक ऐसे निर्देश का सफलतापूर्वक पालन करता है जिसे वह शायद ही कभी सही कर पाता है, तो उसे बड़ा पुरस्कार मिलता है। यदि वह एक ऐसा निर्देश पूरा करता है जिसमें वह पहले से ही महारत हासिल कर चुका है, तो पुरस्कार छोटा होता है। यह मॉडल के लिए उस कठिन क्षेत्र को खोजने के लिए एक मजबूत प्रोत्साहन बनाता है जिसे वह पहले टाल रहा था। शोधकर्ताओं ने निर्देशों को सफलतापूर्वक संयोजित करने के लिए एक बोनस भी जोड़ा। यदि कोई मॉडल एक साथ दो नियमों को पूरा करने में सक्षम होता है, विशेष रूप से जब वे नियम एक साथ लागू करना कठिन हो, तो उसे अतिरिक्त क्रेडिट मिलता है। यह मॉडल को उन समाधानों की तलाश करने के लिए प्रोत्साहित करता है जो बाधाओं के पूरे सेट को संतुष्ट करते हैं, बजाय इसके कि वह केवल सबसे आसान विकल्पों को चुन ले।
टीम ने इन विचारों का परीक्षण दो अलग-अलग संस्करणों का उपयोग करके किया: एक 1.7 बिलियन पैरामीटर्स वाला मॉडल और दूसरा 7 बिलियन वाला। उन्होंने इन मॉडल्स को तीन से पांच निर्देशों वाले प्रॉम्प्ट्स के एक डेटासेट पर प्रशिक्षित किया। परिणाम चौंकाने वाले थे। नए दो-चरणीय विधि से प्रशिक्षित मॉडल्स ने मानक दृष्टिकोण की तुलना में काफी बेहतर प्रदर्शन किया। निर्देश पालन की जांच के लिए डिज़ाइन किए गए एक प्राथमिक परीक्षण सेट पर, सर्वश्रेष्ठ मॉडल ने मानक पद्धति की तुलना में सटीकता में नौ अंकों से अधिक का सुधार किया। यह सुधार इतना महत्वपूर्ण था कि छोटा 1.7 बिलियन वाला मॉडल, इस नई विधि के साथ प्रशिक्षित होने पर, उन बड़े व्यावसायिक मॉडल्स के समान प्रदर्शन कर सका जिनके पास दर्जनों गुना अधिक कंप्यूटिंग पावर है। शोधकर्ताओं ने मॉडल के प्रदर्शन के संतुलन को भी मापा और पाया कि नई विधि ने आसान बनाम कठिन निर्देशों को संभालने के बीच के अंतर को सफलतापूर्वक कम कर दिया।
अध्ययन ने यह भी देखा कि प्रशिक्षण के दौरान मॉडल के भीतर क्या होता है। उन्होंने देखा कि मानक प्रशिक्षण पद्धति मॉडल की विभिन्न संभावनाओं को खोजने की क्षमता को समाप्त कर देती है, जिसे 'एंट्रॉपी कोलैप्स' (entropy collapse) कहा जाता है—जहाँ मॉडल सुरक्षित और आसान उत्तरों के एक संकीर्ण चक्र में फंस जाता है। इसके विपरीत, नई विधि ने मॉडल की खोज क्षमता को जीवित रखा, जिससे वह जटिल समाधानों की तलाश जारी रख सका। शोधकर्ताओं ने नोट किया कि यह दृष्टिकोण तब सबसे अच्छा काम करता है जब प्रशिक्षण डेटा सावधानीपूर्वक संतुलित हो; प्रारंभिक तैयारी चरण में बहुत अधिक डेटा वास्तव में बाद में मॉडल के लचीलेपन को नुकसान पहुँचा सकता है। हालाँकि इस विधि का परीक्षण उन निर्देशों पर किया गया था जिन्हें कंप्यूटर प्रोग्राम द्वारा जांचा जा सकता है, शोधकर्ता स्वीकार करते हैं कि शैली या लहजे (style or tone) से जुड़े अधिक खुले अनुरोधों पर इसे लागू करने के लिए आगे काम करने की आवश्यकता होगी। फिर भी, ये निष्कर्ष जटिल, बहु-आयामी अनुरोधों के सामने आर्टिफिशियल इंटेलिजेंस को अधिक विश्वसनीय बनाने के लिए एक स्पष्ट मार्ग प्रदान करते हैं। आसान रास्ते के प्रति पक्षपात को संबोधित करके, यह कार्य यह सुनिश्चित करने में मदद करता है कि ये शक्तिशाली उपकरण वास्तव में उपयोगकर्ता के पूर्ण इरादे का पालन कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।