TwinPrune: Density-Aware Two-Phase Token Pruning for Vision-Language Models
TwinPrune एक एकीकृत घनत्व-जागरूक (density-aware) दो-चरणीय टोकन प्रूनिंग फ्रेमवर्क पेश करता है जो प्रीफिल के लिए बाइटाइट मर्ज (bipartite merge) और डिकोड के लिए KV इविक्शन (KV eviction) का उपयोग करता है, जिससे कई विजन-लैंग्वेज मॉडल्स में बेहतर दक्षता-सटीकता ट्रेड-ऑफ प्राप्त होता है और साथ ही डिकोड-चरण संपीड़न (decode-phase compression) के उचित मूल्यांकन के लिए पूर्ण-पाइपलाइन बेंचमार्क की महत्वपूर्ण आवश्यकता पर प्रकाश डालता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक कंप्यूटर एक तस्वीर को समझने की कोशिश कर रहा है। ऐसा करने के लिए, मशीन उस छवि को हजारों छोटे टुकड़ों में तोड़ देती है, और प्रत्येक टुकड़े को सूचना की एक अलग इकाई के रूप में मानती है। जैसे-जैसे ये मॉडल अधिक परिष्कृत हुए हैं, उन्होंने इन टुकड़ों को अविश्वसनीय विवरण के साथ संसाधित करना सीखा है, लेकिन इसकी एक भारी कीमत है। छवि जितनी विस्तृत होगी, कंप्यूटर को उन्हें समझने के लिए अपने अल्पकालिक स्मृति (short-term memory) में उतने ही अधिक टुकड़ों को रखना होगा। यह एक बाधा (bottleneck) पैदा करता है: कंप्यूटर या तो जगह खत्म कर देता है या सोचने में बहुत अधिक समय लेता है, खासकर जब छवि उच्च-रिज़ॉल्यूशन वाली हो या जब बातचीत के लिए लंबे, विस्तृत उत्तर की आवश्यकता हो। वर्षों तक, शोधकर्ताओं ने कंप्यूटर को छवि के कम महत्वपूर्ण टुकड़ों को अनदेखा करना सिखाकर इसे हल करने की कोशिश की, इस उम्मीद में कि वह समझदार टुकड़ों को रखेगा और बाकी को हटा देगा।
हालाँकि, एक नया अध्ययन बताता है कि वैज्ञानिक इन "अनदेखा करने" वाली रणनीतियों का परीक्षण करने के लिए जिस तरह से उपयोग कर रहे थे, वह मौलिक रूप से त्रुटिपूर्ण था। लंबे समय से, यह क्षेत्र उन परीक्षणों पर निर्भर था जहाँ कंप्यूटर को केवल एक शब्द का उत्तर देना होता था, जैसे कि बहुविकल्पीय सूची से एक अक्षर चुनना या "हाँ" या "नहीं" कहना। इस नए कार्य के पीछे के शोधकर्ताओं ने पाया कि ये सरल परीक्षण केवल यह मापते हैं कि कंप्यूटर प्रक्रिया की शुरुआत में छवि को कितनी अच्छी तरह समझता है। वे यह पकड़ने में विफल रहते हैं कि जब कंप्यूटर को लगातार बोलते रहने के लिए अपनी स्मृति का उपयोग करना पड़ता है, तब क्या होता है। वास्तव में, अध्ययन दिखाता है कि एक विधि सरल परीक्षणों पर एकदम सटीक दिख सकती है, लेकिन लंबी व्याख्या लिखने के लिए पूछे जाने पर पूरी तरह से विफल हो सकती है, क्योंकि सरल परीक्षण वास्तव में प्रक्रिया के स्मृति वाले हिस्से की जांच ही नहीं करते हैं।
इसे ठीक करने के लिए, टीम ने एक नया तरीका विकसित किया जिससे यह तय किया जा सके कि छवि के कौन से टुकड़े रखने योग्य हैं। यह देखने के बजाय कि कोई टुकड़ा किसी विशिष्ट प्रश्न के लिए कितना महत्वपूर्ण है, उन्होंने इस बात पर ध्यान दिया कि एक टुकड़ा अपने आस-पास के टुकड़ों की तुलना में कितना अद्वितीय है। यदि छवि का एक हिस्सा अपने आस-पास के हिस्सों के समान दिखता है, तो इसकी संभावना है कि वह अनावश्यक है और उसे सुरक्षित रूप से हटाया जा सकता है। यदि वह अलग दिखता है, तो इसमें महत्वपूर्ण जानकारी होने की संभावना है। इस "घनत्व" (density) स्कोर की गणना शुरुआत में एक बार की जाती है और फिर दो अलग-अलग कार्यों के लिए उपयोग की जाती है। पहला, यह कंप्यूटर को सोचने से पहले छवि के समान टुकड़ों को आपस में जोड़ने में मदद करता है, जिससे कंप्यूटिंग शक्ति बचती है। दूसरा, यह कंप्यूटर को यह तय करने में मदद करता है कि लंबा उत्तर लिखते समय सूचना के किन टुकड़ों को अपनी स्मृति से बाहर फेंकना है, जिससे यह सुनिश्चित होता है कि वह सबसे अद्वितीय और उपयोगी विवरणों को बनाए रखे।
शोधकर्ताओं ने इस दृष्टिकोण का परीक्षण कई अलग-अलग प्रकार के विजन-लैंग्वेज मॉडलों पर किया, जिनमें छोटे मॉडलों से लेकर अरबों पैरामीटर वाले विशाल सिस्टम शामिल हैं। उन्होंने अपने तरीके की तुलना मौजूदा सबसे मजबूत तकनीकों से दोनों तरीकों से की: पुराने, सरल परीक्षणों और नए, अधिक मांग वाले परीक्षणों के माध्यम से जिनमें लंबे उत्तरों की आवश्यकता होती है। सरल परीक्षणों पर, उनका तरीका सर्वश्रेष्ठ प्रतिस्पर्धियों के समान ही प्रदर्शन करता है। लेकिन मांग वाले परीक्षणों पर, जहाँ कंप्यूटर को पूर्ण वाक्य बनाने होते हैं, अंतर बहुत स्पष्ट था। जबकि अन्य विधियों के कारण संक्षिप्त होने के लिए पूछे जाने पर कंप्यूटर की सटीकता गिर जाती थी, नए तरीके ने मूल छवि डेटा के एक बहुत छोटे अंश को रखने के बावजूद भी उच्च सटीकता बनाए रखी। उदाहरण के लिए, छवियों में टेक्स्ट से संबंधित एक विशिष्ट बेंचमार्क पर, नए तरीके ने स्मृति को गंभीर रूप से सीमित करने पर अगले सबसे अच्छे तकनीक की तुलना में लगभग दस प्रतिशत अधिक बेहतर प्रदर्शन किया।
शायद सबसे महत्वपूर्ण बात यह है कि अध्ययन ने यह भी उजागर किया कि पुराना परीक्षण करने का तरीका एक बड़ी समस्या को छिपा रहा था। जब शोधकर्ताओं ने लेखन चरण के दौरान कंप्यूटर से सभी विजुअल मेमोरी को हटा दिया, तो सरल परीक्षणों में प्रदर्शन में लगभग कोई बदलाव नहीं आया, जबकि लंबे उत्तर वाले परीक्षणों में गुणवत्ता में भारी गिरावट देखी गई। इसने साबित कर दिया कि सरल परीक्षण उस चीज़ के प्रति अंधे थे जो वास्तविक दुनिया के उपयोग के लिए सबसे अधिक मायने रखती है: एक लंबी बातचीत के दौरान जानकारी को याद रखने और पुनः प्राप्त करने की क्षमता। नए तरीके ने, प्रारंभिक सोच और दीर्घकालिक स्मृति दोनों को प्रबंधित करने के लिए एक एकल, सुसंगत नियम का उपयोग करके, कंप्यूटर की प्रारंभिक प्रोसेसिंग को तीन गुना से अधिक तेज कर दिया और साथ ही इसके मेमोरी फुटप्रिंट को भी काफी कम कर दिया।
निष्कर्ष बताते हैं कि यह क्षेत्र गलत मीट्रिक (metric) के लिए अनुकूलन (optimize) कर रहा था। पूर्ण, लंबे प्रारूप वाले उत्तरों की आवश्यकता वाले परीक्षणों पर ध्यान केंद्रित करके, शोधकर्ताओं ने दिखाया है कि जटिल दृश्यों को समझने की क्षमता से समझौता किए बिना इन शक्तिशाली कंप्यूटरों को बहुत तेज़ और अधिक कुशल बनाया जा सकता है। यह दृष्टिकोण विभिन्न मॉडल आकारों, छोटे उपकरणों से लेकर सबसे बड़े सुपरकंप्यूटरों तक, लगातार काम करता है, और इसके लिए कंप्यूटर को पुन: प्रशिक्षित करने की आवश्यकता नहीं है। यह इन उन्नत प्रणालियों को रोजमर्रा के उपकरणों पर तैनात करने के लिए एक व्यावहारिक मार्ग प्रदान करता है, जिससे यह सुनिश्चित होता है कि वे उच्च-रिज़ॉल्यूशन वाली छवियों और लंबी बातचीत को बिना थके संभाल सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।