Unlocking the Edge deployment and ondevice acceleration of multi-LoRA enabled one-for-all foundational LLM
यह शोध पत्र एक हार्डवेयर-अवेयर फ्रेमवर्क प्रस्तुत करता है जो डायनेमिक टास्क स्विचिंग, मल्टी-स्ट्रीम डिकोडिंग और डायनेमिक सेल्फ-स्पेक्टुलेटिव डिकोडिंग को एकीकृत करके सैमसंग गैलेक्सी S24/S25 उपकरणों पर एक मल्टी-LoRA-सक्षम LLaMA फाउंडेशन मॉडल के कुशल ऑन-डिवाइस परिनियोजन को सक्षम बनाता है, जिससे कई भाषाओं और कार्यों में सटीकता बनाए रखते हुए मेमोरी और लेटेंसी में महत्वपूर्ण कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट, बहुभाषी रोबोट दिमाग (एक लार्ज लैंग्वेज मॉडल या LLM) है जो क्लाउड में रहता है। यह बहुत बुद्धिमान है, लेकिन यह बहुत विशाल है, इसे बुलाने में समय लगता है, और इसके लिए इंटरनेट कनेक्शन की आवश्यकता होती है। अब, उस दिमाग को अपने स्मार्टफोन के अंदर फिट करने के लिए सिकोड़ने की कल्पना करें, ताकि यह तुरंत काम करे, निजी रहे, और बिना वाई-फाई के चल सके। यही वह विशाल इंजीनियरिंग चुनौती है जिसे यह शोध पत्र हल करता है।
सैमसंग के शोधकर्ताओं ने यह पता लगा लिया है कि कैसे आपके फोन में (विशेष रूप से गैलेक्सी S24 और S25 में) एक "स्विस आर्मी नाइफ" जैसी AI डाल दी जाए जो एक साथ कई अलग-अलग काम कर सके, उनके बीच तुरंत स्विच कर सके, और यहाँ तक कि एक साथ विभिन्न "व्यक्तित्वों" में लिख भी सके।
उन्होंने इसे कैसे किया, यहाँ सरल उपमाओं के माध्यम से समझाया गया है:
1. "एक दिमाग, कई टोपियाँ" वाली समस्या
आमतौर पर, यदि आप चाहते हैं कि एक रोबोट फ्रेंच बोले, कविता लिखे और आपकी व्याकरण की जाँच करे, तो आपको तीन अलग-अलग रोबोटों या एक ही रोबोट के तीन अलग-अलग संस्करणों की आवश्यकता हो सकती है। यह आपके फोन में बहुत अधिक जगह घेरता है।
समाधान: उन्होंने एक ही स्थिर दिमाग (फाउंडेशन मॉडल) बनाया और आठ अलग-अलग "टोपियाँ" (जिन्हें LoRA कहा जाता है) बनाईं जिन्हें तुरंत पहना और उतारा जा सकता है।
- पुराना तरीका: टोपी बदलने के लिए, आपको रोबोट को रोकना पड़ता था, पूरे दिमाग को बाहर निकालना पड़ता था, उसे एक नए दिमाग से बदलना पड़ता था, और फिर से शुरू करना पड़ता था।
- नया तरीका: रोबोट का वही दिमाग रहता है। आप बस चलते हुए काम के दौरान उसे एक अलग "टोपी" (एक छोटा डेटा फ़ाइल) थमा देते हैं। रोबोट तुरंत समझ जाता है, "ओह, अब मैं 'विनम्र' वाली टोपी पहने हुए हूँ," या "अब मैं 'व्याकरण जाँचकर्ता' वाली टोपी पहने हुए हूँ।" कोई रीस्टार्ट नहीं, कोई रीलोडिंग नहीं।
2. "समानांतर रसोई" (मल्टी-स्ट्रीम डिकोडिंग)
कल्पना कीजिए कि आप एक शेफ (AI) हैं और एक ग्राहक आपसे रेसिपी मांगता है। लेकिन वे एक ही समय में तीन संस्करण देखना चाहते हैं: एक "औपचारिक" (Formal), एक "अनौपचारिक" (Casual), और एक "मजाकिया" (Funny)।
- पुराना तरीका: शेफ औपचारिक संस्करण पकाता है, और उसे परोस देता है। फिर, वे स्टेशन साफ करते हैं और अनौपचारिक संस्करण पकाते हैं। फिर मजाकिया वाला। इसमें बहुत समय लगता है।
- नया तरीका: शेफ को एहसास होता है कि तीनों रेसिपी का पहला कदम एक ही है (जैसे प्याज काटना)। इसलिए, वे प्याज एक ही बार काटते हैं, लेकिन फिर वे काम को तीन समानांतर पैनों में विभाजित कर देते हैं। वे एक ही बार में तीनों शैलियों को एक साथ पकाते हैं।
- परिणाम: 8 अलग-अलग शैलियों को पाने के लिए 8 सेकंड इंतजार करने के बजाय, आपको वे सभी 1 सेकंड में मिल जाती हैं। शोध पत्र इसे "मल्टी-स्ट्रीम डिकोडिंग" कहता है, और यह इन कार्यों के लिए AI को 6 गुना तेज़ बनाता है।
3. "क्रिस्टल बॉल" वाला अनुमान लगाने का खेल (स्पेक्टिवल डिकोडिंग)
जब कोई AI वाक्य लिखता है, तो वह आमतौर पर एक बार में एक शब्द लिखता है, और हर शब्द के बाद अपना काम चेक करता है। यह धीमा है, जैसे एक लेखक जो हर शब्द के बाद डिक्शनरी देखने के लिए रुक जाता है।
- नया तरीका: शोधकर्ताओं ने AI को एक "क्रिस्टल बॉल" (एक तकनीक जिसे डायनेमिक सेल्फ-स्पेक्टिवल डिकोडिंग कहा जाता है) दी है। AI आगे देखता है और तुरंत अगले 2 या 3 शब्दों का अनुमान लगा लेता है।
- प्रक्रिया: यह शब्दों का पूरा समूह तेजी से लिखता है। फिर, यह एक त्वरित "स्पॉट चेक" करता है कि क्या अनुमान सही थे। यदि वे सही थे, तो बहुत अच्छा! यह आगे बढ़ जाता है। यदि नहीं, तो यह केवल गलत वाले हिस्सों को ठीक करता है।
- परिणाम: यह उस प्रेडिक्टिव टेक्स्ट की तरह है जो इतना अच्छा है कि आपके लिए पूरे वाक्य लिख देता है, और आपको केवल उन्हें सत्यापित करना होता है। इसने टेक्स्ट जेनरेट करने की गति को 2.3 गुना तेज़ कर दिया।
4. सूटकेस पैक करना (क्वांटाइजेशन और ऑप्टिमाइजेशन)
एक पूर्ण AI मॉडल एक विशाल, भारी सूटकेस की तरह है जो आपके कैरी-ऑन बैग (आपके फोन की मेमोरी) में फिट नहीं होगा।
- ट्रिक: शोधकर्ताओं ने कपड़ों (बुद्धिमत्ता) को फेंका नहीं; उन्होंने बस उन्हें और भी सलीके से तह किया। उन्होंने मॉडल की मेमोरी को एक भारी "32-बिट" फॉर्मेट से कम करके एक हल्के "4-बिट" फॉर्मेट में कंप्रेस कर दिया (जैसे ऊनी कोट को एक पतले, हाई-टेक थर्मल लेयर में बदलना)।
- हार्डवेयर: उन्होंने फोन के प्रोसेसर (NPU) के अंदर की "रसोई" को भी पुनर्गठित किया ताकि AI फोन के मौजूदा टूल्स (जो आमतौर पर फोटो के लिए उपयोग किए जाते हैं) का उपयोग करके गणित बहुत तेज़ी से कर सके।
निचोड़ (The Bottom Line)
इन ट्रिक्स को मिलाकर, टीम ने निम्नलिखित हासिल किया:
- जगह बचाई: AI आपके स्टोरेज को खत्म किए बिना आपके फोन में फिट हो जाता है।
- समय बचाया: यह तुरंत जवाब देता है, भले ही आप भाषाओं या कार्यों के बीच स्विच कर रहे हों।
- ऑफलाइन काम करता है: इन स्मार्ट फीचर्स का उपयोग करने के लिए आपको इंटरनेट की आवश्यकता नहीं है।
संक्षेप में: उन्होंने एक विशाल, धीमे, क्लाउड-निर्भर सुपरकंप्यूटर को एक फुर्तीले, इंस्टेंट, जेब में रखे जाने वाले सहायक में बदल दिया जो कई टोपियाँ पहन सकता है और एक साथ कई भाषाएँ बोल सकता है। यही वह तकनीक है जो सैमसंग के नवीनतम फोन में "गैलेक्सी AI" फीचर्स को शक्ति प्रदान करती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।