AuroraEdge-V-2B: A Faster And Stronger Edge Visual Large Language Model
यह शोध पत्र AuroraEdge-V-2B को प्रस्तुत करता है, जो एज डिप्लॉयमेंट के लिए डिज़ाइन किया गया एक कॉम्पैक्ट 2B-पैरामीटर वाला विजुअल लार्ज लैंग्वेज मॉडल है, जो समान आकार के मौजूदा मॉडलों की तुलना में नौ बेंचमार्क में बेहतर प्रदर्शन करने के साथ-साथ तेज़ इन्फरेंस और कम कम्प्यूटेशनल लागत प्राप्त करने के लिए एक नवीन कंप्रेशन-फ्यूजन पद्धति का उपयोग करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक अत्यंत बुद्धिमान, उच्च शिक्षित सहायक है जो किसी चित्र को देख सकता है, उसके बारे में उत्तर दे सकता है, या उसके अंदर लिखे टेक्स्ट को पढ़ सकता है। यही एक विजुअल लार्ज लैंग्वेज मॉडल (VLLM) करता है।
हालाँकि, कारखानों और औद्योगिक मशीनों की वास्तविक दुनिया में, एक समस्या है। ये "बुद्धिमान सहायक" आमतौर पर विशाल, भारी सुपरकंप्यूटरों की तरह होते हैं। वे तुरंत प्रतिक्रिया देने के लिए बहुत धीमे हैं (जैसे ट्रैफिक लाइट का बहुत देर से बदलना) और उन्हें चलाने के लिए विशाल, महंगे पावर प्लांट की आवश्यकता होती है। दूसरी ओर, पुराने ज़माने की विशेष मशीनें (जिन्हें DLMs कहा जाता है) तेज़ और सस्ती हैं, लेकिन वे विशेष रोबोटों की तरह हैं: वे केवल एक विशिष्ट कार्य को पूरी तरह से कर सकती हैं और यदि आप उन्हें कुछ थोड़ा अलग दिखाएं, तो वे विफल हो जाती हैं।
इस शोध पत्र के लेखक, शियांग चेन (Xiang Chen), एक नए प्रकार का सहायक बनाना चाहते थे: जो कई अलग-अलग कार्यों को संभालने के लिए पर्याप्त स्मार्ट हो लेकिन इतना छोटा और तेज़ हो कि इसे एक साधारण एज डिवाइस (जैसे कैमरा या कारखाने के फर्श पर लगा एक छोटा कंप्यूटर) पर चलाया जा सके।
यहाँ उन्होंने AuroraEdge-V-2B को कैसे बनाया गया है, इसे सरल उपमाओं के माध्यम से समझाया गया है:
1. समस्या: बहुत अधिक "विजुअल नॉइज़" (दृश्य शोर)
जब एक मानक VLLM किसी फोटो को देखता है, तो वह छवि को सैकड़ों छोटे टुकड़ों में तोड़ देता है जिन्हें "विजुअल टोकन" कहा जाता है। कल्पना कीजिए कि आप बिल्ली की एक फोटो देख रहे हैं और उसे 576 छोटे पहेली के टुकड़ों में तोड़ रहे हैं। कंप्यूटर को बिल्ली को समझने के लिए हर एक टुकड़े को पढ़ना होगा। इसमें बहुत समय और ऊर्जा लगती है, जिससे यह वास्तविक समय के औद्योगिक उपयोग के लिए बहुत धीमा हो जाता है।
2. समाधान: "कंप्रेशन-फ्यूजन" (संपीड़न-विलय) का तरीका
लेखकों ने मॉडल को अपनी बुद्धिमत्ता खोए बिना तेज़ बनाने के लिए दो मुख्य नवाचार पेश किए:
टोकन कंप्रेसर (द समराइज़र - सारांशकार):
सभी 576 पहेली के टुकड़ों को पढ़ने के बजाय, यह मॉड्यूल एक अत्यंत कुशल संपादक की तरह कार्य करता है। यह 576 टुकड़ों को देखता है और उन्हें केवल 64 मुख्य टुकड़ों में सिकोड़ देता है। यह अनावश्यक जानकारी को हटा देता है, जिससे कंप्यूटर का काम बहुत कम हो जाता है।- परिणाम: अन्य मॉडलों की तुलना में यह मॉडल 16% से भी कम गणितीय गणना (फ्लोटिंग-पॉइंट ऑपरेशंस) करता है, जो इसे अविश्वसनीय रूप से तेज़ बनाता है।
फ्यूजन मॉड्यूल (द मेमोरी कीपर - स्मृति रक्षक):
यहाँ एक जोखिम है: 400 से अधिक पहेली के टुकड़ों को फेंकने से, मॉडल महत्वपूर्ण विवरण भूल सकता है (जैसे बिल्ली की आँखों का रंग)। इसे ठीक करने के लिए, लेखकों ने एक फ्यूजन मॉड्यूल जोड़ा है।
इसे एक अनुवादक के रूप में सोचें जो मूल विस्तृत जानकारी लेता है और उसे सीधे उस टेक्स्ट में "इंजेक्ट" (प्रविष्ट) करता है जिसे मॉडल पढ़ रहा है। यह ऐसा है जैसे सहायक के बोलने से ठीक पहले उसके कान में छूटे हुए विवरण फुसफुसा देना, ताकि सारांश देखने के बावजूद वह महत्वपूर्ण बातें न भूले।
3. प्रशिक्षण: एक तीन-चरणीय स्कूल
इस नए मॉडल को सिखाने के लिए, लेखकों ने केवल डेटा नहीं डाला। उन्होंने एक तीन-चरणीय पाठ्यक्रम का उपयोग किया:
- विज़न ट्रेनिंग (दृष्टि प्रशिक्षण): "आंखों" (एनकोडर) और "अनुवादक" (प्रोजेक्टर) को छवियों और टेक्स्ट को एक साथ समझना सिखाना।
- LLM फाइन-ट्यूनिंग (भाषा मॉडल ट्यूनिंग): "मस्तिष्क" (भाषा मॉडल) को यह सिखाना कि वे जो देखते हैं उसके बारे में कैसे उत्तर दिया जाए।
- जॉइंट ट्रेनिंग (संयुक्त प्रशिक्षण): सब कुछ एक साथ मिलाना ताकि पूरा सिस्टम एक इकाई के रूप में सुचारू रूप से कार्य कर सके।
उन्होंने बहुत सारे ओपन-सोर्स डेटा का उपयोग किया और यहाँ तक कि अपना स्वयं का सिंथेटिक डेटा (अधिक उदाहरण उत्पन्न करने के लिए AI का उपयोग करके) भी बनाया ताकि यह सुनिश्चित किया जा सके कि मॉडल अच्छी तरह से शिक्षित है।
4. परिणाम: तेज़, सस्ता और मजबूत
शोध पत्र का दावा है कि AuroraEdge-V-2B एक "2 बिलियन पैरामीटर" वाला मॉडल है (जो इस प्रकार के AI के लिए छोटा है)। समान आकार के अन्य लोकप्रिय मॉडलों (जैसे Qwen2-VL-2B या InternVL-2.5-2B) के विरुद्ध परीक्षण करने पर:
- गति: यह अपने प्रतिस्पर्धियों की तुलना में 3 गुना तेज़ है।
- दक्षता: यह काफी कम कंप्यूटिंग शक्ति का उपयोग करता है (चलाने में सस्ता)।
- प्रदर्शन: इसने छवियों में टेक्स्ट पढ़ने, आरेख (डायग्राम) समझने और सामान्य प्रश्नों के उत्तर देने जैसी चीज़ों को कवर करने वाले 11 में से 9 विभिन्न परीक्षणों (बेंचमार्क) में उच्च स्कोर प्राप्त किया।
सारांश
संक्षेप में, लेखकों ने एक कॉम्पैक्ट, उच्च-गति वाला विजुअल AI बनाया जो एज (जैसे एक छोटे डिवाइस) पर फिट हो सके। उन्होंने समय बचाने के लिए विजुअल डेटा को कंप्रेस (संक्षिप्त) करके और सटीकता बचाने के लिए खोए हुए विवरणों को वापस टेक्स्ट में फ्यूज (विलय) करके इसे हासिल किया। परिणाम एक ऐसा मॉडल है जो वास्तविक दुनिया के औद्योगिक उपयोग के लिए तैयार है, जो एक स्मार्ट AI की लचीलापन और एक विशेष मशीन की गति दोनों प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।