Enough is as good as a feast: A Comprehensive Analysis of How Reinforcement Learning Mitigates Task Conflicts in LLMs
यह शोध पत्र यह प्रदर्शित करता है कि सुदृढीकरण शिक्षण (RL), छोटे ग्रेडिएंट अपडेट के माध्यम से कार्य संघर्षों को कम करके, एक अभिसरण अनुकूलन उद्देश्य (convergent optimization objective) जो परस्पर विरोधी पैरामीटर परिवर्तनों को न्यूनतम करता है, और मजबूत, निष्पक्ष प्रदर्शन सुनिश्चित करने के लिए सकारात्मक और नकारात्मक उदाहरणों के संयुक्त अनुकूलन द्वारा, मॉडल विलय (model merging) में सुपरवाइज्ड फाइन-ट्यूनिंग की तुलना में काफी बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल पुस्तकालय में हैं जहाँ हर किताब एक सुपर-स्मार्ट रोबोट दिमाग है, जिसे लार्ज लैंग्वेज मॉडल (LLM) के रूप में जाना जाता है। ये दिमाग अविश्वसनीय हैं, लेकिन अक्सर इन्हें केवल एक ही चीज़ में विशेषज्ञ होने के लिए प्रशिक्षित किया जाता है: एक को गणित पसंद है, दूसरा कोडिंग का जादूगर है, और तीसरा चुटकुले सुनाने में माहिर है। कभी-कभी, हम इन दिमागों को एक ही "सुपर-ब्रेन" में मिलाना चाहते हैं जो एक साथ सब कुछ कर सके। इस प्रक्रिया को मॉडल मर्जिंग (model merging) कहा जाता है। इसे दो अलग-अलग स्मूदी मिलाने जैसा समझें—एक स्ट्रॉबेरी और एक पालक—एक ही कप में। आमतौर पर, जब हम इन्हें मिलाते हैं, तो स्वाद आपस में टकरा जाते हैं, और आपको एक अजीब, पहचानने योग्य न रहने वाला कीचड़ जैसा मिश्रण मिलता है जहाँ न तो स्ट्रॉबेरी का सही स्वाद आता है और न ही पालक का। एआई (AI) की दुनिया में, इस "कीचड़" को टास्क कॉन्फ्लिक्ट (task conflict) कहा जाता है, जहाँ एक कार्य का ज्ञान दूसरे कार्य को खराब कर देता है।
लंबे समय से, वैज्ञानिक इस बात को सुलझाने की कोशिश कर रहे हैं कि बिना स्वाद बिगाड़े इन दिमागों को कैसे मिलाया जाए। वे आमतौर पर उन दो मॉडलों को लेते हैं जिन्हें सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) नामक विधि का उपयोग करके सिखाया गया है। आप SFT को एक सख्त शिक्षक के रूप में देख सकते हैं जो छात्र को सही उत्तरों वाली एक पाठ्यपुस्तक देता है और कहता है, "इसे ठीक इसी तरह याद करो।" लेकिन हाल ही में, रीइन्फोर्समेंट लर्निंग (RL) नामक एक नई विधि लोकप्रिय हुई है। RL एक वीडियो गेम की तरह है: एआई चीज़ें आज़माता है, अच्छे मूव्स के लिए अंक प्राप्त करता है, और स्कोर को अधिकतम करने के लिए परीक्षण और त्रुटि (trial and error) से सीखता है। बड़ा सवाल यह है कि यदि हम अपने विशेषज्ञ दिमागों को इस "वीडियो गेम" शैली (RL) का उपयोग करके प्रशिक्षित करते हैं, न कि इस "सख्त पाठ्यपुस्तक" शैली (SFT) का उपयोग करके, तो क्या वे आपस में बेहतर तरीके से मिल पाएंगे?
"इनफ इज एज गुड एज अ फीस्ट" (Enough Is as Good as a Feast) शीर्षक वाला यह शोध पत्र इसी सवाल की गहराई में जाता है। शोधकर्ताओं ने दोनों विधियों से प्रशिक्षित मॉडलों को लिया और उन्हें विभिन्न तरीकों से मर्ज करने का प्रयास किया, उनका पांच अलग-अलग कौशलों पर परीक्षण किया: गणित, कोडिंग, निर्देशों का पालन करना, तर्क पहेलियाँ सुलझाना और वस्तुओं को रैंक करना। उन्होंने एक आश्चर्यजनक बात पाई: RL-प्रशिक्षित मॉडल मर्ज करने में बहुत बेहतर होते हैं। जबकि SFT मॉडल आपस में मिलने पर उस "अजीब कीचड़" में बदल गए, जिससे कुछ कार्यों पर उनकी क्षमता 65% तक कम हो गई, RL मॉडल आश्चर्यजनक रूप से तेज रहे, और उनके प्रदर्शन में बहुत कम गिरावट आई।
ऐसा क्यों होता है? लेखक इसके तीन कारणों का सुझाव देते हैं, अपने स्वयं के चतुर उपमाओं का उपयोग करते हुए। पहला, RL ऑन-पॉलिसी डेटा (on-policy data) का उपयोग करता है, जिसका अर्थ है कि एआई किसी निश्चित पाठ्यपुस्तक के बजाय अपने स्वयं के हालिया प्रयासों से सीखता है। यह एआई के "सीखने के कदमों" को छोटा और कोमल रखता है, ताकि एआई अनजाने में उस ज्ञान को ओवरराइट न कर दे जो उसने पहले से ही अन्य कार्यों से प्राप्त किया है। दूसरा, RL में एक स्वाभाविक "स्टॉप बटन" होता है। जैसे-जैसे एआई किसी कार्य में बहुत अच्छा होता जाता है, उसके मस्तिष्क में किए जाने वाले बदलाव छोटे और छोटे होते जाते हैं। शोध पत्र इस विचार को "इनफ इज एज गुड एज अ Feast" (जितना पर्याप्त है, उतना ही अच्छा है) कहता है। एक बार जब ए-आई काम को अच्छी तरह से करने के लिए पर्याप्त सीख लेता है, तो वह बड़े, विघटनकारी बदलाव करना बंद कर देता है। इसके विपरीत, SFT तब भी बड़े बदलाव करता रहता है जब मॉडल पहले से ही पूर्ण होता है, जो दूसरे मॉडल के साथ मिश्रण करने पर गड़बड़ी पैदा करता है। अंत में, RL अच्छे उदाहरणों और बुरे उदाहरणों (सकारात्मक और नकारात्मक नमूनों) दोनों से सीखता है। यह एआई को न केवल यह समझने में मदद करता है कि क्या करना है, बल्कि यह भी कि क्या नहीं करना है, जिससे निर्देशों का एक साफ, अधिक संतुलित सेट बनता है जो अन्य कार्यों के साथ नहीं टकराता है।
संक्षेप में, यह शोध पत्र सुझाव देता है कि यदि आप अलग-अलग विशेषज्ञों को मिलाकर एक बहुमुखी, बहु-प्रतिभाशाली एआई बनाना चाहते हैं, तो रीइन्फोर्समेंट लर्निंग के साथ प्रशिक्षण करना एक स्मूदी को मिलाने के लिए एक कोमल, सटीक हाथ का उपयोग करने जैसा है, जबकि पारंपरिक विधि उच्च गति पर ब्लेंडर में सामग्री फेंकने जैसी है। परिणाम? एक बहुत अधिक स्वादिष्ट, अधिक सक्षम सुपर-ब्रेन।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।