Prune Once: Retraining-Free Task-Agnostic Pruning for Vision-Language Models
यह शोध पत्र PORTA को प्रस्तुत करता है, जो विज़न-लैंग्वेज मॉडल्स के लिए एक रिट्रेनिंग-मुक्त (retraining-free), कार्य-अज्ञेय (task-agnostic) प्रूनिंग फ्रेमवर्क है, जो उच्च संपीड़न दरों (compression rates) को प्राप्त करने के लिए एक्टिवेशन वेरिएशन और एडेप्टिव स्पैरसिटी एलोकेशन का लाभ उठाता है और बिना किसी कार्य-विशिष्ट डेटा या फाइन-ट्यूनिंग की आवश्यकता के व्यापक डाउनस्ट्रीम प्रदर्शन को बनाए रखता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट दिमाग है जो एक तस्वीर को देख सकता है और एक वाक्य को पढ़ सकता है, और फिर तुरंत समझ सकता है कि वे कैसे जुड़ते हैं। यह विज़न-लैंग्वेज मॉडल्स (VLMs) की दुनिया है। इन मॉडल्स को ऐसे विशाल, भूखे पुस्तकालयों के रूप में सोचें जिन्होंने इंटरनेट पर मौजूद हर किताब पढ़ी है और हर फोटो देखी है। वे पहेलियाँ सुलझाने, सवाल पूछने और विशिष्ट छवियों को खोजने में अद्भुत हैं, लेकिन इसमें एक पेंच है: वे अविश्वसनीय रूप से भारी हैं। उन्हें चलाने के लिए भारी मात्रा में मेमोरी और पावर वाले विशाल कंप्यूटरों की आवश्यकता होती है, जो बिल्कुल वैसा ही है जैसे पहाड़ पर चढ़ते समय अपनी पीठ पर एक पूरा पुस्तकालय ले जाने की कोशिश करना। इस कारण, इन स्मार्ट रोबोटों को फोन या टैबलेट जैसे छोटे उपकरणों पर रखना बहुत कठिन है।
इसे ठीक करने के लिए, वैज्ञानिक प्रूनिंग (pruning) नामक तकनीक का उपयोग करते हैं। कल्पना कीजिए कि रोबोट का दिमाग कनेक्शनों का एक विशाल जाल है। प्रूनिंग उन छोटे, बेकार धागों को सावधानी से काटने जैसा है जो रोबोट को सोचने में मदद नहीं करते, जिससे केवल मजबूत और महत्वपूर्ण धागे ही बचते हैं। यह रोबोट को अपना काम करना भुलाए बिना उसे हल्का और तेज़ बनाता है। हालाँकि, यह तय करने के मौजूदा तरीकों में से अधिकांश एक अलग देश के नक्शे की तरह हैं; उन्हें रोबोट द्वारा सामना किए जाने वाले हर कार्य के लिए विशिष्ट अभ्यास परीक्षणों (डेटा) की आवश्यकता होती है, या वे भ्रमित हो जाते हैं जब रोबोट तस्वीरों को देखने से शब्दों को पढ़ने की ओर स्विच करता है। यह शोध पत्र इस समस्या का समाधान करता है कि इन विशाल दिमागों को एक बार, पूरी तरह से कैसे तराशा जाए, ताकि वे बिना किसी नए प्रशिक्षण या ट्यूनिंग के कहीं भी चल सकें।
"वन-एंड-डन" ब्रेन ट्रिम (एक बार में काम खत्म करने वाली मस्तिष्क छंटाई)
मिलिए PORTA (Prune-Once: Retraining-free Task-Agnostic pruning) से, जो शोधकर्ता मिन्सेओक कांग और उनकी टीम द्वारा पेश किया गया एक नया तरीका है। उनका लक्ष्य एक निराशाजनक समस्या को हल करना था: वर्तमान प्रूनिंग विधियाँ अक्सर एक ऐसे दर्जी की तरह व्यवहार करती हैं जिसे हर बार आपके अलग शर्ट पहनने पर आपके लिए सूट नापना पड़ता है। यदि आप चाहते हैं कि रोबलेट इमेज क्लासिफिकेशन करे, तो आप इसे एक तरीके से प्रून करते हैं; यदि आप चाहते हैं कि यह रिट्रीवल (खोज) करे, तो आपको इसे फिर से प्रून करना होगा। यह धीमा और महंगा है। PORTA अलग है। यह एक मास्टर दर्जी की तरह है जो कपड़े को एक बार देखता है, उसे पूरी तरह से काटता है, और फिर परिणामी सूट किसी भी अवसर के लिए तैयार होता है—चाहे आप दौड़ लगा रहे हों, मीटिंग में बैठे हों, या डांस कर रहे हों।
पेपर सुझाव देता है कि अन्य विधियों के इस "वन-एंड-डन" दृष्टिकोण में विफल होने का मुख्य कारण यह है कि वे रोबोट के आंतरिक संकेतों के आकार (मैग्निट्यूड) पर निर्भर करती हैं कि क्या रखना है। लेखक तर्क देते हैं कि इन विशाल मॉडल्स में, सिग्नल का आकार भ्रामक हो सकता है क्योंकि दिमाग का "भाषा" वाला हिस्सा और "विज़न" वाला हिस्सा अलग तरह से व्यवहार करते हैं। यह एक लाइब्रेरी में चिल्लाने और एक स्टेडियम में चिल्लाने के बीच के अंतर को समझने जैसा है; आवाज़ (मैग्निट्यूड) अलग है, लेकिन अर्थ समान हो सकता है। इस कारण, जो विधियाँ केवल आवाज़ (वॉल्यूम) को देखती हैं, वे गलत चीजों को काट देती हैं, खासकर जब रोबोट को ऐसे कार्य के लिए कहा जाता है जो उसने पहले नहीं देखा है।
सीक्रेट सॉस: वॉल्यूम के बजाय वेरिएंस (परिवर्तनशीलता)
सिग्नल कितना तेज़ है, यह सुनने के बजाय, PORTA यह सुनता है कि वह कितना परिवर्तनशील है। शोधकर्ता इसे एक्टिवेशन वेरिएशन (activation variation) कहते हैं।
यहाँ एक उपमा है: कल्पना कीजिए कि कक्षा में छात्रों का एक समूह है।
- पुराना तरीका (मैग्निट्यूड): शिक्षक पूछता है, "सबसे तेज़ कौन है?" और केवल उन छात्रों को रखता है जो सबसे अधिक चिल्लाते हैं। लेकिन शायद सबसे तेज़ छात्र केवल एक विशिष्ट विषय के बारे में उत्साहित होने के कारण चिल्ला रहा है, जबकि शांत छात्र वास्तव में शिक्षक की हर बात पर ध्यान दे रहा है।
- PORTA का तरीका (वेरिएंस): शिक्षक पूछता है, "प्रश्न के आधार पर कौन अपना उत्तर सबसे अधिक बदलता है?" वह छात्र जो विषय के आधार पर अपने उत्तर को अनुकूलित करता है, वही वास्तव में विषय को समझता है।
रोबोट के दिमाग में, PORTA उन फीचर्स को खोजता है जो विभिन्न इनपुट्स के माध्यम से बहुत अधिक वेरिएशन (उतार-चढ़ाव) दिखाते हैं। यदि दिमाग का एक हिस्सा कई अलग-अलग चित्रों या शब्दों के प्रति अलग तरह से प्रतिक्रिया करता है, तो वह महत्वपूर्ण काम कर रहा है। यदि दिमाग का एक हिस्सा कुछ भी दिखाने पर एक जैसा रहता है, तो वह शायद केवल बेकार भार है। इस "परिवर्तनशीलता" स्कोर का उपयोग करके, PORTA यह पता लगा सकता है कि रोबोट के कौन से हिस्से वास्तव में उपयोगी हैं, चाहे वह बिल्ली को देख रहा हो या कविता पढ़ रहा हो। यह इस प्रूनिंग को "मोडैलिटी-एग्नोस्टिक" बनाता है, जिसका अर्थ है कि यह विज़न और लैंग्वेज दोनों हिस्सों के साथ निष्पक्ष रहता है, बिना किसी एक पक्ष की ओर झुके।
स्मार्ट कट: सभी लेयर्स समान नहीं हैं
एक बार जब PORTA जान लेता है कि कौन से फीचर्स महत्वपूर्ण हैं, तो उसे यह तय करना होता है कि रोबोट के दिमाग की प्रत्येक लेयर से कितना काटना है। दिमाग एक समान ब्लॉक नहीं है; कुछ लेयर्स घर की नींव की तरह हैं, और कुछ छत की तरह। आप नींव को छत की तुलना में इतनी आक्रामक तरीके से नहीं काटेंगे।
PORTA एक चतुर एडैप्टिव स्पैरसिटी (adaptive sparsity) तंत्र का उपयोग करता है। यह देखता है कि उसके आउटपुट के वेरिएशन के आधार पर प्रत्येक लेयर कितना "काम" कर रही है।
- यदि कोई लेयर बहुत भारी काम कर रही है (आउटपुट में उच्च वेरिएशन), तो PORTA कहता है, "इतना मत छेड़ो!" और उसे कम प्रूनिंग रेश्यो देता है (अधिकतम हिस्सा रखता है)।
- यदि कोई लेयर बस आराम कर रही है (कम वेरिएशन), तो PORTA कहता है, "हम इसे काफी कम कर सकते हैं।"
यह सुनिश्चित करता है कि हमने रोबोट को छोटा करने की कोशिश की है, इसलिए वह अपनी सोचने की क्षमता न खो दे। पेपर दिखाता है कि यह विधि उन "परफॉरमेंस क्लिफ्स" (प्रदर्शन में अचानक गिरावट) को रोकती है जहाँ अन्य विधियाँ अचानक गिर जाती हैं जब आप बहुत अधिक काटने की कोशिश करते हैं।
परिणाम: मज़बूत, हल्का, और हर चीज़ के लिए तैयार
शोधकर्ताओं ने PORTA का परीक्षण तीन प्रसिद्ध रोबोट दिमागों पर किया: CLIP, BLIP, और Qwen2-VL। उन्होंने इसे केवल एक कार्य पर टेस्ट नहीं किया; उन्होंने इस पर सब कुछ आज़माया:
- इमेज क्लासिफिकेशन: चित्र में क्या है पहचानना (जैसे फूल और कुत्ते के बीच अंतर बताना)।
- रिट्रीवल (खोज): टेक्स्ट विवरण के लिए सही चित्र ढूंढना (या इसके विपरीत)।
- VQA (विजुअल क्वेश्चन आंसरिंग): एक छवि के बारे में जटिल प्रश्नों के उत्तर देना।
परिणाम प्रभावशाली थे। यहाँ तक कि जब उन्होंने रोबोट के 65% पैरामीटर्स को हटा दिया (इसे बहुत छोटा बना दिया), तब भी PORTA ने अन्य विधियों की तुलना में बहुत बेहतर प्रदर्शन बनाए रखा।
- CLIP मॉडल पर, 65% स्पैरसिटी पर, PORTA ने SparseGPT नामक विधि की तुलना में औसत प्रदर्शन में 12.6% और Wanda की तुलना में 21.5% का सुधार किया।
- BLIP (45% स्पैरसिटी पर), PORTA ने 90.26 का औसत स्कोर प्राप्त किया, जो SparseGPT के 89.95 से बेहतर है।
- Qwen2-VL (50% स्पैरसिटी पर), PORTA ने 54.30 की औसत सटीकता हासिल की, जो अगली सर्वश्रेष्ठ विधि (Wanda) से 0.87 प्रतिशत अंक अधिक है।
शायद सबसे महत्वपूर्ण बात यह है कि PORTA रोबस्ट (मजबूत) है। पेपर दिखाता है कि इससे कोई फर्क नहीं पड़ता कि आप प्रूनिंग को "कैलिब्रेट" करने के लिए चित्रों का एक छोटा सेट उपयोग करते हैं या एक बड़ा सेट, या यदि आप एक वेबसाइट के चित्र उपयोग करते हैं या दूसरी वेबसाइट के, PORTA स्थिर रहता है, जबकि अन्य विधियाँ उपयोग किए गए डेटा के आधार पर प्रदर्शन में भारी उतार-चढ़ाव दिखाती हैं।
निचोड़
PORTA सुझाव देता है कि हमें इन विशाल मॉडल्स को छोटा करने के लिए उन्हें फिर से प्रशिक्षित करने की आवश्यकता नहीं है। केवल यह देखकर कि रोबोट के आंतरिक सिग्नल कितने बदलते हैं (न कि वे कितने तेज़ हैं), और उन लेयर्स से अधिक काटकर जो कम काम करती हैं, हम एक एकल, सुव्यवस्थित मॉडल बना सकते हैं जो किसी भी काम के लिए तैयार है। यह एक "एक बार काटें, हमेशा उपयोग करें" वाला दृष्टिकोण है जो अंततः इन सुपर-स्मार्ट विज़न-लैंग्वेज मॉडल्स को हमारी जेबों में रखे उपकरणों पर चलने में सक्षम बना सकता है, बिना उन्हें चलाने के लिए सुपरकंप्यूटर की आवश्यकता के। लेखक व्यापक ज़ीरो-शॉट प्रयोगों के माध्यम से इसकी पुष्टि करते हैं, जो दिखाते हैं कि PORTA के साथ प्रून किया गया मॉडल बिना किसी अतिरिक्त प्रशिक्षण के सीधे नए कार्यों में कूद सकता है, और भारी रूप से संकुचित होने के बावजूद उच्च सटीकता बनाए रखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।