MinT: Managed Infrastructure for Training and Serving Millions of LLMs
MinT एक प्रबंधित इंफ्रास्ट्रक्चर सिस्टम है जो एक ही बड़े बेस मॉडल को निवासी रखते हुए और हल्के एडॉप्टर रिवीज़न को गतिशील रूप से प्रबंधित करके लाखों LoRA-आधारित LLM पॉलिसियों के कुशल प्रशिक्षण और सर्विंग को सक्षम बनाता है, जिससे डेंस और MoE आर्किटेक्चर में स्केलेबिलिटी, मेमोरी दक्षता और परिनियोजन गति में महत्वपूर्ण सुधार प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप किताबों का एक विशाल, अविश्वसनीय रूप से महंगा पुस्तकालय चलाते हैं (बेस मॉडल - Base Model)। ये किताबें बहुत बड़ी हैं, एक पूरे कमरे जितनी जगह घेरती हैं, और इन्हें हिलाना-डुलाना बहुत कठिन है।
पुराने तरीके में, यदि आप किसी किताब को कोई नया हुनर सिखाना चाहते थे—जैसे कि गणित के सवाल हल करना या कानूनी अनुबंध लिखना—तो आपको उस पूरी किताब की फोटोकॉपी करनी पड़ती थी, उसके हाशिये (margins) में नए नोट्स लिखने पड़ते थे, और फिर उस पूरे भारी नए संस्करण को लोगों को दिखाने के लिए दूसरे कमरे में ले जाना पड़ता था। यदि आप 1,000 अलग-अलग हुनर सिखाना चाहते, तो आपको उस किताब की 1,000 भारी प्रतियां चाहिए होतीं, जो बहुत अधिक जगह घेरतीं और उन्हें इधर-उधर ले जाने में बहुत समय लगता।
MinT (MindLab Toolkit) खेल बदल देता है। पूरी किताब को ले जाने के बजाय, MinT कहता है: "आइए इस भारी किताब को लाइब्रेरी में ही रहने दें, लॉक करके। हम बस छोटे, हल्के वजन वाले स्टिकी नोट्स (जिन्हें LoRA adapters कहा जाता है) पर नए हुनर लिखेंगे।"
यहाँ बताया गया है कि MinT कैसे काम करता है, जिसे तीन सरल विचारों में बांटा गया है:
1. "स्टिकी नोट" सिस्टम (स्केल डाउन - Scale Down)
एक 100 पाउंड का विश्वकोश (encyclopedia) ले जाने के बजाय, आप केवल 1 औंस का स्टिकी नोट ले जाते हैं।
- पुराना तरीका: किसी मॉडल को अपडेट करने के लिए, आप नोट्स को वापस किताब में मिला देते हैं (merge कर देते हैं), जिससे एक नई भारी फाइल बन जाती है। इसे सेव करने और ले जाने में बहुत समय लगता है।
- MinT का तरीका: आप भारी किताब (Base Model) को कंप्यूटर की मेमोरी में ही रहने देते हैं। जब आप एक नया कौशल सिखाते हैं, तो आप केवल छोटा सा स्टिकी नोट सेव करते हैं।
- परिणाम: "अपडेट" को ले जाना अविश्वसनीय रूप से तेज़ है। शोध पत्र में पाया गया कि मध्यम आकार के मॉडल के लिए केवल स्टिकी नोट को ले जाना 18 गुना तेज़ था और एक विशाल मॉडल के लिए लगभग 3 गुना तेज़ था। यह ईंट भेजने के बजाय टेक्स्ट मैसेज भेजने जैसा है।
2. "स्विचिंग स्टेशन" (स्केल अप - Scale Up)
कल्पना कीजिए कि आपके पास एक विशाल, जटिल मशीन (सुपर-कंप्यूटर) है जो एक बार में केवल एक ही भारी किताब रख सकती है।
- समस्या: आमतौर पर, यदि आप किसी नीति (policy) के 5 अलग-अलग संस्करणों को प्रशिक्षित करना चाहते हैं (जैसे, एक गणित के लिए, एक कोडिंग के लिए, एक कानून के लिए), तो आपको 5 अलग-अलग मशीनों की आवश्यकता होती है, जिनमें से प्रत्येक में भारी किताब की एक प्रति होती है। यह पैसों की बर्बादी है।
- MinT का समाधान: MinT एक स्मार्ट स्विचबोर्ड की तरह काम करता है। यह भारी किताब को मशीन में लोड रखता है। जब "गणित" वाला संस्करण प्रशिक्षित करने का समय आता है, तो यह "गणित" का स्टिकी नोट बदल देता है। जब "कोडिंग" की बारी आती है, तो यह उस नोट को निकालता है और "कोडिंग" का नोट लगा देता है।
- परिणाम: आप अतिरिक्त कंप्यूटरों की आवश्यकता के बिना एक ही मशीन पर कई अलग-अलग "नीतियां" प्रशिक्षित कर सकते हैं। पेपर ने दिखाया कि इसने 4-बिलियन पैरामीटर वाले मॉडल के लिए प्रशिक्षण को 1.77 गुना तेज़ और 30-बिलियन पैरामीटर वाले मॉडल के लिए 1.45 गुना तेज़ बना दिया, और इसके लिए अतिरिक्त मेमोरी की भी आवश्यकता नहीं पड़ी।
3. "स्मार्ट कैटलॉग" (स्केल आउट - Scale Out)
कल्पना कीजिए कि एक लाइब्रेरी में दस लाख अलग-अलग स्टिकी नोट्स हैं, लेकिन आपकी पढ़ने वाली मेज (reading desk) पर एक समय में केवल कुछ ही रखे जा सकते हैं।
- समस्या: यदि कोई उपयोगकर्ता एक विशिष्ट स्टिकी नोट मांगता है, और वह मेज पर नहीं है, तो आपको स्टोरेज रूम में जाना होगा, उसे ढूंढना होगा और वापस लाना होगा। यदि 1,000 लोग एक साथ 1,000 अलग-अलग नोट्स मांगते हैं, तो स्टोरेज रूम जाम हो जाएगा और हर कोई लंबी कतार में इंतजार करेगा।
- MinT का समाधान: MinT इसे एक स्मार्ट डिलीवरी सर्विस की तरह व्यवस्थित करता है।
- कैटलॉग (The Catalog): यह दस लाख अलग-अलग स्टिकी नोट्स (नीतियों) का हिसाब रख सकता है।
- कैश (The Cache): यह सबसे लोकप्रिय नोट्स को डेस्क के पास एक शेल्फ (CPU cache) पर रखता है ताकि वे तुरंत उपलब्ध रहें।
- "पैकिंग" ट्रिक: कभी-कभी, एक स्टिकी नोट वास्तव में हजारों छोटे-छोटे टुकड़ों से बना होता है (जैसे एक पहेली/puzzle)। MinT इन टुकड़ों को डेस्क पर भेजने से पहले एक एकल, सुव्यवस्थित पैकेज में चिपका देता है। यह डिलीवरी को 8.5 गुना तेज़ बनाता है क्योंकि डिलीवरी ट्रक को हजारों छोटे पहेली के टुकड़ों को उठाने के लिए 37,000 बार रुकना नहीं पड़ता; वह बस एक बॉक्स उठाता है।
बड़ी तस्वीर (The Big Picture)
MinT अनिवार्य रूप से AI ट्रेनिंग के लिए एक मैनेजर है। यह विशाल फाइलों को इधर-उधर ले जाने में आपका समय और पैसा बर्बाद होने से रोकता है। इसके बजाय, यह भारी "मस्तिष्क" (Base Model) को एक स्थान पर रखता है और उन हजारों छोटे "कौशलों" (Adapters) को मैनेज करता है जो इसके साथ जोड़े जाते हैं।
- ट्रेनिंग के लिए: यह आपको पूरे मस्तिष्क को रीलोड किए बिना विभिन्न कौशलों के बीच तेज़ी से स्विच करने की अनुमति देता है।
- सर्विंग (Serving) के लिए: यह आपको उपयोगकर्ताओं को लाखों अलग-अलग कौशल प्रदान करने में सक्षम बनाता है, केवल उन्हीं विशिष्ट कौशलों को लोड करता है जिनकी ठीक उसी क्षण आवश्यकता होती है, और ऐसा करने के लिए एक ऐसा तरीका अपनाता है जिससे सिस्टम जाम न हो।
संक्षेप में: हाथी को मत हिलाओ; बस चूहे को हिलाओ। MinT एक साझा, महंगी नींव पर लाखों अलग-अलग AI व्यक्तित्वों को चलाने को संभव बनाता है, बिना उस नींव को हिलाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।