Eddy-VL 1.9B: Structural Pruning and Layered Distillation for Edge-Deployable Multimodal Embedding
यह शोध पत्र Eddy-VL 1.9B को प्रस्तुत करता है, जो एज डिप्लॉयमेंट के लिए डिज़ाइन किया गया एक संकुचित मल्टीमॉडल एम्बेडिंग मॉडल है, जो प्रोब-ड्रिवन स्ट्रक्चरल प्रूनिंग और लेयर्ड नॉलेज डिस्टिलेशन के माध्यम से अपने 2.13B के टीचर के 91.7% प्रदर्शन को प्राप्त करते हुए पैरामीटर्स में 9.5% और लेटेंसी में 10% की कमी करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर एक ही समय में "देख" और "पढ़" सकते हैं, और वे एक चटाई पर बैठी बिल्ली की तस्वीर को उतनी ही अच्छी तरह समझ सकते हैं जितना कि वे "चटाई पर बिल्ली" शब्दों को समझते हैं। यह मल्टीमॉडल एआई (multimodal AI) का क्षेत्र है, जो विज्ञान की एक ऐसी शाखा है जहाँ मशीनें छवियों, टेक्स्ट और वीडियो को एक साझा भाषा में जोड़ने के लिए सीखती हैं। ऐसा करने के लिए, ये एआई मॉडल एक विशाल अनुवादक की तरह काम करते हैं, जो उनके द्वारा देखी गई हर चीज़ को संख्याओं की एक लंबी सूची में बदल देते हैं जिसे एम्बेडिंग (embedding) कहा जाता है। एम्बेडिंग को किसी सामग्री के एक अद्वितीय फिंगरप्रिंट के रूप में समझें; यदि दो फिंगरप्रिंट बहुत समान हैं, तो कंप्यूटर जान जाता है कि सामग्री संबंधित है।
हालाँकि, इसमें एक पेंच है। सबसे स्मार्ट अनुवादक आमतौर पर सबसे भारी होते हैं। वे क्लाउड-आधारित सुपरकंप्यूटर की तरह विशाल होते हैं जिन्हें काम करने के लिए निरंतर, हाई-स्पीड इंटरनेट कनेक्शन की आवश्यकता होती है। लेकिन क्या होगा यदि आप एक गुप्त बेसमेंट, पुलिस साक्ष्य कक्ष, या एक दूरस्थ फील्ड स्टेशन में हों जहाँ इंटरनेट कटा हुआ हो? आपको एक ऐसे अनुवादक की आवश्यकता है जो जटिल सुरागों को समझने के लिए पर्याप्त स्मार्ट हो लेकिन इतना छोटा भी हो कि एक स्थानीय लैपटॉप या हैंडहेल्ड डिवाइस पर फिट हो सके। यही एज डिप्लॉयमेंट (edge deployment) की चुनौती है: शक्तिशाली एआई को बिना क्लाउड कनेक्शन के, ऑफलाइन, तेज़ी से और कुशलता से चलाना।
पेश है Eddy-VL 1.9B, एक नया मॉडल जिसे विशेष रूप से इन "एयर-गैप्ड" स्थितियों के लिए डिज़ाइन किया गया है जहाँ गोपनीयता और गति ही सब कुछ है। इस प्रोजेक्ट के पीछे के शोधकर्ताओं ने एक बहुत ही स्मार्ट, लेकिन बहुत भारी, शिक्षक मॉडल Qwen3-VL-Embedding-2B से शुरुआत की। यह शिक्षक एक प्रतिभाशाली प्रोफेसर की तरह है जिसके पास सोचने के 28 गहरे स्तर (layers) हैं, लेकिन इसे बैकपैक में लेकर घूमना बहुत भारी है। टीम ने एक सरल प्रश्न पूछा: क्या हम इस प्रोफेसर को बिना कुछ भुलाए छोटा कर सकते हैं?
उन्होंने केवल इसके हिस्सों को बेतरतीब ढंग से नहीं काटा; उन्होंने स्ट्रक्चरल प्रूनिंग (structural pruning) नामक एक चतुर रणनीति का उपयोग किया। कल्पना करें कि शिक्षक का मस्तिष्क 28 मंजिला इमारत है। शोधकर्ताओं ने एक विशेष "प्रोब" का उपयोग करके यह मापा कि प्रत्येक मंजिल अपने ऊपर और नीचे की मंजिलों के काम को कितनी बार दोहरा रही थी। उन्होंने पाया कि चार विशिष्ट मंजिलें बहुत अधिक अनावश्यक काम कर रही थीं—जैसे कि एक के बजाय क्रम में चार समान फोटोकॉपी मशीनें रखना। उन्होंने इन चार मंजिलों को हटा दिया, जिससे इमारत 28 मंजिलों से घटकर 24 मंजिलों की हो गई।
लेकिन यहाँ पेच यह है: जब आप एक इमारत से मंजिलें हटाते हैं, तो ऊपरी मंजिल पर रहने वाले लोग रास्ता भटक सकते हैं। इसे ठीक करने के लिए, टीम ने लेयर्ड डिस्टिलेशन (layered distillation) का उपयोग किया। इसे एक मास्टर आर्किटेक्ट (मूल 28-मंजिला शिक्षक) द्वारा एक नए, छोटे आर्किटेक्ट (24-मंजिला छात्र) को मार्गदर्शन देने के रूप में समझें। शिक्षक केवल यह नहीं कहता कि "बनाओ"; वे छात्र को हर कदम पर यह दिखाते हैं कि कैसे सोचना है। उन्होंने CKA (जो दो परतों के विचारों की समानता को मापता है) नामक एक तकनीक का उपयोग किया ताकि यह सुनिश्चित हो सके कि छात्र की मध्य परतें शिक्षक की तरह ही सोच रही हैं, और उन्होंने अंतिम उत्तर के लिए एक विशेष "मैट्रियोस्का" (Matryoshka) विधि का उपयोग किया, जिससे यह सुनिश्चित हुआ कि छात्र ज़रूरत के अनुसार अलग-अलग आकार के उत्तर दे सके।
परिणामस्वरूप Eddy-VL 1.9B प्राप्त हुआ। यह एक मॉडल है जिसमें लगभग 1.93 बिलियन पैरामीटर हैं, जिसका वजन 3.85 GB है—इतना छोटा कि यह कई आधुनिक उपकरणों पर फिट हो सके। परीक्षणों में, इस "सिकुड़े हुए" मॉडल ने मूल शिक्षक की बुद्धिमत्ता का लगभग 91.7% बनाए रखा। जबकि मूल शिक्षक ने 78 विभिन्न कार्यों (जिसे MMEB-V2 कहा जाता है) के एक विशाल परीक्षण में 68.9 स्कोर किया, Eddy-VL ने 63.2 स्कोर किया। यह सुनने में गिरावट लग सकती है, लेकिन याद रखें, मॉडल ने सोचने के चार पूरे स्तर खो दिए! बिना विशेष शिक्षण युक्तियों के, यह स्कोर गिरकर 56.8 हो जाता। डिस्टिलेशन प्रक्रिया ने खोई हुई ज़मीन के 6.4 अंक सफलतापूर्वक वापस पा लिए।
मॉडल को गति का भी लाभ मिला। क्योंकि इसमें प्रोसेस करने के लिए कम परतें हैं, यह मूल मॉडल की तुलना में लगभग 10% तेज़ चलता है, जो 150.0 मिलीसेकंड के बजाय 136.4 मिलीसेकंड प्रति इमेज लेता है। यह सुनने में बहुत बड़ा अंतर नहीं लग सकता है, लेकिन एक वास्तविक जांच में जहाँ आप ऑफलाइन हज़ारों जब्त की गई तस्वीरों को स्कैन कर रहे हैं, वे अतिरिक्त सेकंड घंटों के समय की बचत करते हैं।
शोधकर्ताओं ने सावधानीपूर्वक नोट किया कि मॉडल कहाँ संघर्ष करता है। जबकि यह शब्दों और छवियों के बीच जटिल संबंधों को समझने में शिक्षक के लगभग बराबर हो गया (एक परीक्षण में 86.4% के मुकाबले 86.1% स्कोर किया), इसे विनोग्राउंड (Winoground) नामक एक विशिष्ट प्रकार की पहेली में थोड़ी कठिनाई हुई, जहाँ इसने शिक्षक के 8.5 के मुकाबले 6.8 स्कोर किया। यह सुझाव देता है कि जबकि मॉडल सामान्य रिट्रीवल (retrieval) के लिए उत्कृष्ट है, कुछ बहुत ही कठिन तार्किक पहेलियों के लिए अभी भी पूर्ण, अन-प्रून्ड (unpruned) मस्तिष्क की आवश्यकता होती है।
अंततः, Eddy-VL 1.9B कोई जादुई समाधान नहीं है जो हर समस्या को हल कर दे, लेकिन यह एक बहुत ही विशिष्ट कार्य के लिए एक शक्तिशाली उपकरण है। यह साबित करता है कि आप एक विशाल, क्लाउड-निर्भर एआई को उसकी आत्मा को बहुत अधिक खोए बिना एक हल्के, ऑफलाइन-रेडी पैकेज में संकुचित कर सकते हैं। जांचकर्ताओं, फॉरेंसिक विशेषज्ञों और उन सभी के लिए जो ऐसी जगहों पर काम कर रहे हैं जहाँ इंटरनेट एक विलासिता है जिसे वे वहन नहीं कर सकते, यह मॉडल नेटवर्क के किनारे (edge) पर ही रोशनी चालू रखने और बुद्धिमत्ता को उच्च बनाए रखने का एक तरीका प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।