Multi-Task GRPO: Reliable LLM Reasoning Across Tasks
यह शोध पत्र मल्टी-टास्क GRPO (MT-GRPO) का प्रस्ताव करता है, जो एक नवीन एल्गोरिदम है जो मल्टी-टास्क सुदृढीकरण शिक्षण (reinforcement learning) में अनुकूलन असंतुलन को दूर करने के लिए कार्यों के भार को गतिशील रूप से अनुकूलित करता है और एक अनुपात-संरक्षण सैंपलर (ratio-preserving sampler) का उपयोग करता है, जिससे मानक GRPO और DAPO की तुलना में सबसे खराब कार्य प्रदर्शन और प्रशिक्षण दक्षता में महत्वपूर्ण सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट असिस्टेंट को हर तरह की पहेलियाँ सुलझाने के लिए प्रशिक्षित कर रहे हैं, चाहे वे गणित की समस्याएँ हों या तर्क वाली पहेलियाँ। आप चाहते हैं कि यह रोबोट एक सच्चा जनरललिस्ट (सर्वज्ञ) बने, जो कुछ भी उसके सामने आए उसे बिना भ्रमित हुए या विफल हुए हल कर सके। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "रीजनिंग" (तर्क करने की क्षमता) कहा जाता है, और इन रोबोट्स को "लार्ज लैंग्वेज मॉडल्स" (LLMs) कहा जाता है। इन मॉडल्स को बेहतर बनाने के लिए, वैज्ञानिक "रीइन्फोर्समेंट लर्निंग" (सुदृढीकरण सीखना) नामक तकनीक का उपयोग करते हैं, जो बिल्कुल वैसा ही है जैसे रोबोट को सही उत्तर देने पर एक 'हाई-फाइव' (पुरस्कार) देना और गलत होने पर धीरे से कहना "फिर से कोशिश करो"। इसे करने का एक लोकप्रिय तरीका है GRPO, जो एक चतुर विधि है जिससे यह पता लगाया जाता है कि रोबोट को प्रत्येक प्रयास से कितना सीखना चाहिए। हालाँकि, इसमें एक पेच है: यदि आप रोबोट को एक साथ दस अलग-अलग प्रकार की पहेलियाँ सीखने के लिए कहते हैं, तो वह अक्सर अटक जाता है। वह आसान पहेलियों में बहुत अच्छा हो सकता है लेकिन कठिन पलों को पूरी तरह से अनदेखा कर सकता है, या वह किसी विशिष्ट प्रकार की पहेली पर अटक सकता है जबकि अन्य को करने की क्षमता भूल सकता है। बड़ा सवाल यह है कि हम एक ही मस्तिष्क को हर चीज़ में समान रूप से कुशल कैसे बना सकते हैं, यह सुनिश्चित करते हुए कि कोई भी एक कौशल पीछे न छूट जाए?
यही वह समस्या है जिसे एक नई विधि Multi-Task GRPO (MT-GRPO) हल करती है। इस नए प्रशिक्षण प्रक्रिया को एक ऐसे शिक्षक की तरह समझें जो छात्रों की एक ऐसी कक्षा को पढ़ाने की कोशिश कर रहा है जिनकी सीखने की गति बहुत अलग-अलग है। यदि शिक्षक केवल "औसत" छात्र पर ध्यान केंद्रित करता है, तो होशियार बच्चे ऊब सकते हैं जबकि संघर्ष कर रहे बच्चे और पीछे छूट सकते हैं। मानक दृष्टिकोण अक्सर आसान कार्यों को प्रशिक्षण पर "हाइजैक" (कब्जा) करने देता है, जिससे मॉडल औसत में तो अच्छा दिखता है लेकिन गुप्त रूप से कठिन चुनौतियों में विफल रहता है। लेखकों ने महसूस किया कि केवल स्कोर का औसत निकालना एक विश्वसनीय रोबोट नहीं बनाता; आपको यह सुनिश्चित करने की आवश्यकता है कि कक्षा में सबसे खराब प्रदर्शन करने वाला भी बेहतर हो रहा है।
इसे ठीक करने के लिए, उन्होंने दो-भागों वाली रणनीति बनाई। सबसे पहले, उन्होंने एक गतिशील "वेटिंग सिस्टम" (भार प्रणाली) बनाया। कल्पना करें कि एक कोच लगातार स्कोरबोर्ड देखता रहता है। यदि रोबोट "काउंटडाउन" (एक गणित का खेल) में बहुत अच्छा कर रहा है लेकिन "जेब्रा पहेलियों" (तर्क पहेलियों) में बहुत बुरा है, तो कोच तुरंत ध्यान बदल देता है। वे रोबोट को जेब्रा श्रेणी की अधिक अभ्यास समस्याएँ देना शुरू कर देते हैं और गणित श्रेणी की कम। लेकिन यहाँ एक पेचीदा बात है: कभी-कभी रोबोट एक जेब्रा पहेली आज़माता है और उसे "जीरो" स्कोर मिलता है क्योंकि उसने उसे ठीक से हल करने की कोशिश भी नहीं की, जिसका अर्थ है कि वह उस प्रयास से कुछ भी नहीं सीखता। यदि कोच केवल समस्याओं की संख्या गिनता है, तो वे सोच सकते हैं कि वे जेब्रा पहेलियाँ सिखा रहे हैं, लेकिन वास्तव में, रोबोट केवल गणित वाली समस्याओं से सीख रहा है क्योंकि जेब्रा के प्रयास "जीरो-ग्रेडिएंट्स" (खाली लर्निंग) थे।
इस आविष्कार के दूसरे भाग को हल करने के लिए, उन्होंने एक "रेशियो-प्रिजर्विंग सैंपलर" (अनुपात-संरक्षण नमूनाकार) बनाया। यह एक बहुत ही सख्त लाइब्रेरियन की तरह है जो यह सुनिश्चित करता है कि भले ही रोबोट बेकार अभ्यास प्रयासों को फेंक दे, फिर भी उपयोगी अभ्यास समस्याओं का अंतिम ढेर अभी भी सही मिश्रण रखता है। यदि कोच चाहता है कि अभ्यास का 30% तर्क पहेलियाँ हों, तो लाइब्रेरियन यह सुनिश्चित करता है कि कचरे को छानने के बाद भी, शेष अच्छे प्रश्नों में से 30% तर्क पहेलियाँ ही हों। यह सुनिश्चित करता है कि आसान कार्य गलती से प्रशिक्षण सत्र पर कब्जा न कर लें क्योंकि कठिन कार्यों के अधिक "विफल" प्रयास मौजूद हैं।
इस नए तरीके के परिणाम काफी उत्साहजनक हैं। जब टीम ने तीन अलग-अलग रीजनिंग कार्यों के मिश्रण पर इसका परीक्षण किया, तो उनके नए MT-GRPO तरीके ने मानक पद्धति की तुलना में सबसे खराब प्रदर्शन करने वाले कार्य की सटीकता में 16-28% का सुधार किया, और एक अन्य उन्नत पद्धति DAPO की तुलना में 6% का सुधार किया। इससे भी अधिक प्रभावशाली बात यह है कि इसने प्रतिस्पर्धा की तुलना में 50% कम प्रशिक्षण चरणों का उपयोग करके सबसे कठिन कार्यों पर 50% सटीकता की सीमा को प्राप्त कर लिया। नौ अलग-अलग कार्यों के एक बड़े परीक्षण में, यह विधि अन्य तरीकों से बेहतर प्रदर्शन करना जारी रखती है, जो दर्शाता है कि यह अधिक जटिल और विविध चुनौतियों को संभालने के लिए स्केल (विस्तारित) हो सकती है। लेखकों ने पाया कि एक "नॉब" (एक पैरामीटर जिसे कहा जाता है) को समायोजित करके, वे यह नियंत्रित कर सकते हैं कि मॉडल अपने कमजोर कौशल को ठीक करने को कितनी प्राथमिकता देता है बनाम केवल औसत में बेहतर होना।
संक्षेप में, यह पेपर सुझाव देता है कि रोबोट को यह चुनने में अधिक स्मार्ट होकर कि उसे किन समस्याओं का अभ्यास करना है और यह सुनिश्चित करके कि वे समस्याएँ वास्तव में प्रशिक्षण सत्र तक पहुँचें, हम एक ऐसा AI बना सकते हैं जो न केवल आसान चीजों में अच्छा है, बल्कि हर क्षेत्र में विश्वसनीय रूप से सक्षम है। यह एक ऐसे AI के निर्माण की दिशा में एक कदम है जो केवल एक संकीर्ण क्षेत्र में विशेषज्ञ नहीं है, बल्कि वास्तव में वास्तविक दुनिया की विविध समस्याओं के माध्यम से तर्क कर सकता है बिना अपने किसी भी कौशल को पीछे छोड़े।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।