Cooperative Coevolution for Resource-Constrained Agentic LLM Post-Training
यह शोध पत्र को-ऑपरेटिव पैरामीटर-सबस्पेस इवोल्यूशन स्ट्रैटेजी (CoPES) का परिचय देता है, जो एक मेमोरी-कुशल विधि है जो एजेंटिक LLMs के प्रभावी संसाधन-सीमित पोस्ट-ट्रेनिंग को सक्षम करने के लिए पैरामीटर स्पेस को डीकंपोज करती है, और पूर्ण-पैरामीटर GRPO के प्रदर्शन लाभों का 92% प्राप्त करते हुए काफी कम GPU मेमोरी आवश्यकताओं को सुनिश्चित करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल चैट नहीं करते, बल्कि वास्तव में काम भी करते हैं। वे वेब ब्राउज़ कर सकते हैं, कोड चला सकते हैं, और कई चरणों को पूरा करके, अपने काम की जाँच करके और फिर से प्रयास करके जटिल पहेलियों को हल कर सकते हैं। यह "एजेंटिक" (agentic) AI का रोमांचक क्षेत्र है। लेकिन इसमें एक समस्या है: इन डिजिटल सहायकों को बेहतर बनाना अविश्वसनीय रूप से महंगा है। उन्हें प्रशिक्षित करने का सामान्य तरीका एक उच्च-दांव वाले वीडियो गेम की तरह है जहाँ कंप्यूटर हर एक हिस्से के लिए "ग्रेडिएंट्स" (सफलता का गणितीय ढाल) की गणना करके सही चाल समझने की कोशिश करता है। इसके लिए बहुत अधिक कंप्यूटर मेमोरी की आवश्यकता होती है, जैसे किसी पहेली को सुलझाते समय अपने दिमाग में किताबों का एक पुस्तकालय रखने की कोशिश करना। यदि कार्य लंबा और जटिल है, तो आवश्यक मेमोरी बहुत बढ़ जाती है, जिससे अधिकांश लोगों के लिए सुपरकंप्यूटर के बिना इन एजेंटों को प्रशिक्षित करना असंभव हो जाता है।
यहाँ एक अलग दृष्टिकोण आता है जिसे "इवोल्यूशनरी स्ट्रैटेजीज़" (Evolution Strategies) कहा जाता है। ढालों की गणना करने के बजाय, यह विधि "हॉट और कोल्ड" (Hot or Cold) के खेल की तरह है। आप AI के मस्तिष्क में छोटे, यादृच्छिक (random) बदलाव करते हैं, देखते हैं कि क्या वह बेहतर होता है, और यदि ऐसा होता है, तो आप उस बदलाव को बनाए रखते हैं। यह मेमोरी के मामले में बहुत हल्का है क्योंकि आपको वहां तक पहुँचने के लिए लिए गए रास्ते को याद रखने की आवश्यकता नहीं होती है। हालाँकि, एक नई समस्या है: क्योंकि आप यादृच्छिक रूप से अनुमान लगा रहे हैं, इसलिए आपको अच्छे परिणाम प्राप्त करने के लिए बहुत बार प्रयास करने की आवश्यकता होगी, जिसमें बहुत अधिक समय और कंप्यूटर शक्ति लगेगी। यह एक घास के ढेर में सुई खोजने की तरह है जहाँ आप एक बार में एक तिनका जाँचते हैं; आप अंततः इसे पा लेंगे, लेकिन आपको इसमें एक सदी लग सकती है। बड़ा सवाल वैज्ञानिकों के लिए यह है: क्या हम "हॉट और कोल्ड" विधि की मेमोरी बचत को बरकरार रख सकते हैं, लेकिन इसे इतना तेज़ बना सकते हैं कि यह कुछ साधारण कंप्यूटरों पर उपयोगी हो सके?
यह शोध पत्र ठीक इसी समस्या को हल करने के लिए एक चतुर नई तकनीक पेश करता है जिसे CoPES (Cooperative Parameter-subspace Evolution Strategy) कहा जाता है। शोधकर्ताओं ने महसूस किया कि पूरे AI मस्तिष्क को एक साथ बदलने की कोशिश करना अक्षम है। इसलिए, उन्होंने मस्तिष्क को छोटे, प्रबंधनीय टुकड़ों में विभाजित किया। कल्पना कीजिए कि आप एक विशाल ऑर्केस्ट्रा को एकदम सटीक ध्वनि के लिए ट्यून करने की कोशिश कर रहे हैं। हर एक संगीतकार को एक ही समय में यादृच्छिक रूप से अपना वाद्य यंत्र बदलने के लिए कहने के बजाय (जो अराजकता पैदा करेगा), आप वायलिन सेक्शन को एक नया सेटिंग आज़माने के लिए कहते हैं, फिर ब्रास सेक्शन को, फिर पर्कशन को, जबकि बाकी सब स्थिर रहते हैं। इन छोटे समूहों को एक-एक करके टेस्ट करके, लेकिन पूरे ऑर्केस्ट्रा को एक साथ बजाते हुए, आप बहुत तेज़ी से पता लगा सकते हैं कि क्या काम करता है।
पेपर में, लेखकों ने इसे गणित की समस्याओं को हल करने के लिए प्रशिक्षित एक विशिष्ट AI मॉडल (Qwen3.5-4B) पर परखा। उन्होंने अपने नए "ऑर्केस्ट्रा ट्यूनर" तरीके की तुलना मानक "हॉट और कोल्ड" विधि और भारी-मेमोरी वाले "ग्रेडिएंट" तरीके से की। उन्होंने पाया कि CoPES संसाधन-सीमित सेटिंग्स में एक गेम-चेंजर है। जबकि मानक यादृच्छिक विधि को एक अच्छे स्तर के प्रदर्शन तक पहुँचने के लिए लगभग 480.60 GPU-घंटे (कंप्यूटर समय का एक माप) की आवश्यकता थी, CoPES ने केवल 68.65 GPU-घंटे में लगभग समान परिणाम प्राप्त किए। इससे भी अधिक प्रभावशाली बात यह है कि एक सख्त समय सीमा के तहत, जहाँ भारी-मेमोरी वाला तरीका केवल 16 स्टेप्स तक प्रशिक्षित हो सकता था, CoPES ने उस भारी तरीके द्वारा प्राप्त किए गए प्रदर्शन लाभों का 92% हिस्सा हासिल कर लिया, जबकि मानक यादृच्छिक विधि केवल 67% ही प्रबंधित कर पाई।
अध्ययन ने यह भी दिखाया कि CoPES रोज़मर्रा के हार्डवेयर के लिए बहुत अधिक व्यावहारिक है। जबकि भारी-मेमोरी वाले तरीके को लंबे कार्यों पर प्रशिक्षण शुरू करने के लिए ही 8 हाई-एंड GPUs के विशाल सेटअप की आवश्यकता थी, CoPES एक एकल, मानक 24GB GPU पर सफलतापूर्वक चल सकता है। इसका मतलब है कि डेटा सेंटर की आवश्यकता के बजाय, अब एक शोधकर्ता जिसके पास एक शक्तिशाली कंप्यूटर है, वह उन्नत AI एजेंटों को प्रशिक्षित कर सकता है। लेखकों ने इसे केवल गणित ही नहीं, बल्कि प्रश्न-उत्तर कार्यों पर भी परखा और पाया कि यह विधि वहां भी अच्छी तरह काम करती है, और लगातार मानक यादृच्छिक दृष्टिकोण को मात देती है।
पेपर सुझाव देता है कि समस्या को सहकारी उपसमूहों (cooperative subgroups) में तोड़कर और परिणामों को सावधानीपूर्वक संयोजित करके, हम दोनों दुनियाओं का सर्वश्रेष्ठ प्राप्त कर सकते हैं: विकासवादी विधियों की कम मेमोरी लागत और ग्रेडिएंट-आधारित विधियों की उच्च गति। यह दावा नहीं करता है कि यह सब कुछ तुरंत हल करने वाला कोई जादुई समाधान है, लेकिन यह मेमोरी और समय के बीच एक काफी बेहतर संतुलन प्रदर्शित करता है। परिणाम संकेत देते हैं कि इस नई रणनीति के साथ, शक्तिशाली AI एजेंटों को प्रशिक्षित करना बहुत अधिक लोगों के लिए संभव हो जाता है, जिससे एक ऐसा कार्य जो कभी सुपरकंप्यूटर की मांग करता था, अब एक एकल वर्कस्टेशन पर भी संभव हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।