MARLaaS: Multi-Tenant Asynchronous Reinforcement Learning as a Service
यह शोध पत्र MARLaaS को प्रस्तुत करता है, जो एक मल्टी-टेनेंट एसिंक्रोनस सर्विस है जो हल्के LoRA एडेप्टर के साथ एक विसेग्रेटेड आर्किटेक्चर को जोड़कर कई उपयोगकर्ताओं के लिए कुशल, समवर्ती सुदृढीकरण शिक्षण (reinforcement learning) फाइन-ट्यूनिंग को सक्षम बनाता है, जिससे अत्याधुनिक प्रदर्शन बनाए रखते हुए एक्सेलेरेटर उपयोगिता और प्रशिक्षण समय में महत्वपूर्ण सुधार प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, हाई-टेक बेकरी चलाते हैं जिसका नाम है "द रीजनिंग बेकरी" (The Reasoning Bakery)। आपका लक्ष्य अपने बेकर्स (AI मॉडल्स) को एक आदर्श केक बनाना सिखाना है (जटिल समस्याओं को हल करना) जिसके लिए वे एक विशेष रेसिपी का उपयोग करते हैं जिसे रिनफोर्समेंट लर्निंग विद वेरिफिएबल रिवॉर्ड्स (RLVR) कहा जाता है।
यहाँ समस्या यह है कि बेकरी चलाने का पुराना तरीका अविश्वसनीय रूप से बर्बादी भरा और धीमा है।
पुराना तरीका: "स्टॉप-एंड-गो" असेंबली लाइन
पारंपरिक सेटअप में, आपकी बेकरी में तीन अलग-अलग स्टेशन होते हैं:
- दौ (Dough) स्टेशन: बेकर आटे का एक बैच बनाता है (एक रिस्पॉन्स जनरेट करता है)।
- ओवन स्टेशन: आटा ओवन में जाता है और आप इंतज़ार करते हैं कि वह पक जाए और चेक करें कि वह तैयार है या नहीं (टूल्स या एनवायरनमेंट के साथ इंटरैक्ट करना)।
- रेसिपी स्टेशन: हेड शेफ केक को चखता है, सुधार के लिए नोट्स लिखता है, और निर्देशों को अपडेट करता है (मॉडल को ट्रेन करना)।
द बॉटलनेक (रुकावट): पुराने सिस्टम में, ये तीनों स्टेशन एक सिंगल-फाइल लाइन की तरह एक-दूसरे से जुड़े होते हैं।
- दौ स्टेशन को अगला बैच बनाने के लिए रेसिपी स्टेशन के निर्देशों को अपडेट करने तक रुकना पड़ता है।
- ओवन स्टेशन तब खाली बैठा रहता है जब दौ स्टेशन काम कर रहा होता है।
- रेसिपी स्टेशन तब खाली बैठा रहता है जब ओवन में केक पक रहा होता है।
यह ऐसा है जैसे आपके पास एक फेरारी इंजन हो लेकिन आप उसे हैंडब्रेक लगाकर पार्किंग लॉट में चला रहे हों। आपके पास शक्तिशाली कंप्यूटर (एक्सेलेरेटर्स) हैं, लेकिन वे अगले स्टेप के होने का इंतज़ार करने में अपना अधिकांश समय बिताते हैं। यह महंगा और धीमा है।
नया समाधान: MARLAAS (द "कन्वेयर बेल्ट" सिस्टम)
MARLAAS (मल्टी-टेनेंट एसिंक्रोनस रिनफोर्समेंट लर्निंग एज़ अ सर्विस) का परिचय इस बेकरी को एक व्यस्त, कुशल फैक्ट्री में बदलने के लिए दिया गया है जिसमें एक स्मार्ट कन्वेयर बेल्ट सिस्टम है।
MARLAAS इस बर्बादी को दो मुख्य ट्रिक्स का उपयोग करके कैसे ठीक करता है, यहाँ बताया गया है:
1. "शेयर्ड बेस, कस्टम एप्रन" ट्रिक (मल्टी-टेनेंट LoRA)
कल्पना कीजिए कि आपके पास 32 अलग-अलग बेकर्स (यूजर्स) हैं जो सभी अलग-अलग प्रकार के केक (मैथ, कोडिंग, सर्च) बनाना सीखना चाहते हैं।
- पुराना तरीका: आप 32 अलग-अलग किचन बनाते हैं, जिनमें से प्रत्येक में अपना खुद का विशाल, महंगा ओवन और सामग्री का पूरा सेट होता है। इसमें बहुत अधिक जगह (मेमोरी) और पैसा खर्च होता है।
- MARLAAS का तरीका: आपके पास एक विशाल, साझा किचन (बेस मॉडल) है। प्रत्येक बेकर एक हल्का, कस्टम एप्रन (जिसे LoRA अडैप्टर कहा जाता है) पहनता है, जिसमें केवल उनके केक के प्रकार के विशिष्ट निर्देश होते हैं।
- लाभ: क्योंकि एप्रन बहुत छोटे होते हैं, आप एक ही किचन में बिना जगह खत्म किए 32 बेकर्स को फिट कर सकते हैं। वे सभी एक ही उपकरण का उपयोग करके एक साथ काम कर सकते हैं।
2. "एसिंक्रोनस डांस" (डिकपल्ड स्टेजेस)
एक सिंगल-फाइल लाइन के बजाय, MARLAAS इन तीन स्टेशनों को स्वतंत्र रूप से और ओवरलैप होकर काम करने देता है।
- दौ स्टेशन एक साथ सभी 32 बेकर्स के लिए आटे के बैच बनाना जारी रखता है, साझा किचन का उपयोग करते हुए।
- ओवन स्टेशन (जवाबों की जाँच करना) बैकग्राउंड में चलता रहता है।
- रेसिपी स्टेशन (ट्रेनिंग) एक तैयार बैच को पकड़ता है, रेसिपी को अपडेट करता है, और नए निर्देशों को वापस शेल्फ पर रख देता है।
जादू: जब रेसिपी स्टेशन बेकर #1 के लिए निर्देश अपडेट करने में व्यस्त होता है, तो दौ स्टेशन पहले से ही बेकर #2, #3 और #4 के लिए आटा बनाना शुरू कर देता है। कोई इंतज़ार नहीं होता। मशीनें कभी रुकती नहीं हैं।
यह क्यों मायने रखता है (परिणाम)
पेपर ने इस सिस्टम का परीक्षण 32 अलग-अलग कार्यों को एक साथ चलाने के साथ किया। यहाँ उन्होंने क्या पाया:
- कोई खाली समय नहीं: पुराने सिस्टम में, कंप्यूटर लगभग 70-90% समय खाली (कुछ भी न करते हुए) बैठे रहते थे। MARLAAS के साथ, वे लगभग पूरे समय व्यस्त रहते हैं।
- गति: उन्होंने हार्डवेयर उपयोग के मामले में मॉडल्स को 4.3 गुना तेज़ी से ट्रेन किया और कुल ट्रेनिंग समय में 85% की कमी की।
- गुणवत्ता: भले ही वे कई कार्यों को एक साथ मिला रहे थे और उन्हें एसिंक्रोनस तरीके से चला रहे थे, लेकिन अंतिम "केक" (AI मॉडल्स) उतने ही अच्छे थे जितने कि वे पुराने, धीमे तरीके से एक-एक करके बनाए गए होते।
पकड़ (सीमाएं)
पेपर स्वीकार करता है कि हालांकि यह सिस्टम मशीनों को व्यस्त रखने में बहुत अच्छा है, फिर भी इसकी कुछ सीमाएं हैं:
- रेसिपी स्टेशन एक सिंगल लेन है: भले ही सबके लिए आटा एक साथ बनाया जाता है, लेकिन "रेसिपी अपडेट" (ट्रेनिंग) अभी भी एक समय में एक ही कार्य के लिए होती है। यदि आपके पास बहुत अधिक बेकर्स हैं, तो यह स्टेशन भीड़भाड़ वाला और धीमा हो सकता है।
- स्पेस लिमिट्स: छोटे एप्रन होने के बावजूद, यदि केक बहुत बड़ा हो जाता है (बहुत लंबी बातचीत या जटिल कार्य), तो किचन में काउंटर स्पेस (मेमोरी) खत्म हो जाता है।
सारांश
MARLAAS एक धीमे, स्टॉप-एंड-गो असेंबली लाइन को एक हाई-स्पीड, ओवरलैपिंग कन्वेयर बेल्ट में बदलने जैसा है। एक ही महंगे उपकरण को साझा करने के लिए कई उपयोगकर्ताओं को अनुमति देकर और काम के विभिन्न चरणों को एक साथ होने देकर, यह अंतिम उत्पाद को बदतर बनाए बिना बहुत सारा समय और पैसा बचाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।