RoRA: Role-Oriented Regional Allocation for Visual Token Pruning in MLLMs
RoRA मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स के लिए एक ट्रेनिंग-फ्री विजुअल टोकन प्रूनिंग फ्रेमवर्क है जो टोकन्स को सिमेंटिक (semantic), कॉन्टेक्स्टुअल (contextual) और डिटेल (detail) भूमिकाओं में विभाजित करके और उन्हें व्यापक ऑब्जेक्ट कवरेज सुनिश्चित करने के लिए अटेंशन-एंकोर्ड रीजन्स (Attention-Anchored Regions) के माध्यम से आवंटित करके, रिटेंड टोकन्स को विनिमेय (interchangeable) न मानते हुए, इन्फरेंस दक्षता और सटीकता में सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट को दुनिया देखना सिखाने की कोशिश कर रहे हैं। आप उसे सिर्फ एक तस्वीर नहीं दिखाते; बल्कि आप रोबोट को "टोकन्स" नामक छोटे डिजिटल पहेली के टुकड़ों की एक विशाल, अंतहीन धारा खिलाते हैं। प्रत्येक टुकड़ा छवि के बारे में जानकारी का एक छोटा सा हिस्सा रखता है। एक साधारण फोटो के लिए, यह ठीक है। लेकिन एक हाई-रेज़ोल्यूशन तस्वीर, वीडियो या जटिल दृश्य के लिए, रोबोट हजारों टुकड़ों से भर जाता है। यह कोने में बैठी एक बिल्ली के बारे में एक एकल प्रश्न का उत्तर देने के लिए किताबों की एक पूरी लाइब्रेरी पढ़ने की कोशिश करने जैसा है। रोबोट अभिभूत हो जाता है, सोचने में बहुत समय लेता है, और उन सभी टुकड़ों को अपने दिमाग में रखने के लिए बहुत अधिक मेमोरी की आवश्यकता होती है। यह वह समस्या है जिसे मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) के क्षेत्र के शोधकर्ता हल करने की कोशिश कर रहे हैं: रोबोट को शोर-शराबे में फंसे बिना छवि के महत्वपूर्ण हिस्सों पर ध्यान केंद्रित करने में मदद कैसे की जाए।
सामान्य तरकीब यह है कि उन टुकड़ों को फेंक दिया जाए जो कम महत्वपूर्ण लगते हैं। लेकिन यहाँ एक पेच है: रोबोट का दिमाग यह तय करने में परफेक्ट नहीं होता कि क्या महत्वपूर्ण है। कभी-कभी, वह तस्वीर के किनारों से विचलित हो जाता है या किसी विशिष्ट स्थान पर अटक जाता है, और उस वास्तविक वस्तु को अनदेखा कर देता है जिसके बारे में आपने पूछा था। अन्य तरीके कोशिश करते हैं कि टुकड़ों को पूरी छवि में समान रूप से फैला दिया जाए, लेकिन यह भीड़ की फोटो लेने और हर व्यक्ति की शर्ट से कुछ पिक्सेल रखने जैसा है, जिससे चेहरे पूरी तरह से छूट जाते हैं। परिणाम अक्सर एक ऐसा रोबोट होता है जो बैकग्राउंड तो देखता है लेकिन मुख्य घटना को मिस कर देता है।
यहीं पर एक नई विधि आती है जिसे RoRA (रोल-ओरिएंटेड रीजनल एलोकेशन) कहा जाता है, जो रोबोट की दृष्टि के लिए एक चतुर संपादक की तरह काम करती है। केवल "सबसे महत्वपूर्ण" टुकड़ों को चुनने या उन्हें बेतरतीब ढंग से फैलाने के बजाय, RoRA छवि को एक कहानी की तरह मानती है जिसे सही ढंग से बताने के लिए तीन विशिष्ट प्रकार के साक्ष्यों की आवश्यकता होती है।
सबसे पहले, RoRA सिमेंटिक कोर (Semantic Core) की पहचान करती है। इसे कहानी का "मुख्य पात्र" समझें। यदि आप पूछते हैं, "उस खिलाड़ी की जर्सी पर कौन सा नंबर है?", तो कोर वह विशिष्ट, उच्च-आत्मविश्वास वाले पिक्सेल हैं जो सीधे उस जर्सी पर हैं। RoRA इन टुकड़ों की रक्षा पूरी मजबूती से करती है, यह सुनिश्चित करते हुए कि रोबोट मुख्य विषय को कभी न खोए, चाहे वह बाकी छवि को कितना भी कम क्यों न कर दे।
दूसरा, यह कॉम्प्लीमेंट्री कॉन्टेक्स्ट (Complementary Context) को देखता है। यह "सहायक कलाकार" और "सेटिंग" है। एक बार जब रोबोट को मुख्य पात्र के बारे में पता चल जाता है, तो उसे यह जानने की भी आवश्यकता होती है कि वे कहाँ खड़े हैं और उनके आसपास क्या हो रहा है। RoRA यह सुनिश्चित करती है कि मुख्य पात्र के तत्काल क्षेत्र के बाहर से टुकड़े उठाए जाएं, ताकि रोबोट केवल एक तैरती हुई जर्सी न देखे बल्कि यह समझे कि वह एक स्टेडियम में खिलाड़ी पर है। यह सक्रिय रूप से एक ही जगह से बहुत अधिक टुकड़े लेने से बचता है (जो अनावश्यक होगा) और इसके बजाय आसपास के क्षेत्रों में नई जानकारी की तलाश करता है।
तीसरा, यह फाइन-ग्रेन्ड डिटेल (Fine-Grained Detail) के लिए एक छोटा बजट बचाता है। ये "प्लॉट ट्विस्ट" या छोटे सुराग हैं, जैसे कि किसी साइन पर लिखा छोटा टेक्स्ट, कपड़े की बनावट, या कोने में छिपा कोई छोटा सा ऑब्जेक्ट। क्योंकि ये विवरण अक्सर छोटे होते हैं और आसानी से छूट सकते हैं, RoRA उन्हें एक विशेष "रेस्क्यू मिशन" देती है ताकि यह सुनिश्चित किया जा सके कि उन्हें गलती से हटाया न जाए, भले ही वे तस्वीर में सबसे बड़ी चीज़ न हों।
RoRA का जादू यह है कि वह इन भूमिकाओं को कैसे व्यवस्थित करती है। यह केवल यह नहीं पूछती कि "कौन से टुकड़े सबसे चमकदार हैं?" बल्कि यह पूछती है, "क्या हमारे पास हमारा मुख्य पात्र है? क्या हमारे पास सेटिंग है? क्या हमारे पास छोटे सुराग हैं?" यह अटेंशन-एंकरड रीजन्स (Attention-Anchored Regions - AARs) नामक एक स्मार्ट मैप का उपयोग करती है ताकि यह चिह्नित किया जा सके कि मुख्य पात्र कहाँ है, ताकि इसे पता चल सके कि सेटिंग (मैप के बाहर) के लिए कहाँ देखना है और सुरागों (मैप के अंदर) के लिए कहाँ देखना है।
इसके परिणाम प्रभावशाली हैं। LLaVA और Qwen-VL जैसे शक्तिशाली रोबोट ब्रेन्स पर परीक्षण करते समय, RoRA ने छवि के टुकड़ों की संख्या को भारी मात्रा में कम कर दिया—कुछ मॉडल्स पर 88.9% तक—जबकि मूल सटीकता का 96.5% बनाए रखा। वास्तव में, कुछ परीक्षणों में, यह इतना कुशल था कि इसने रोबोट के सोचने के समय को 24.6% तक तेज कर दिया, जिससे यह अनकट वर्शन की तुलना में 1.33 गुना तेज़ हो गया। इससे भी महत्वपूर्ण बात यह है कि इसने केवल अनुमान नहीं लगाया; इसने वास्तविक हार्डवेयर (एक NVIDIA H800 GPU) पर इसे मापा, जो दिखाता है कि यह तय करने में केवल 0.7 मिलीसेकंड का समय लेता है कि किन टुकड़ों को रखना है।
अन्यों की तरह जो शायद गलती से छवि के गलत हिस्सों पर ध्यान केंद्रित कर सकते हैं या हर टुकड़े की हर दूसरे टुकड़े के साथ तुलना करने के लूप में फंस सकते हैं (जो धीमा और महंगा है), RoRA तेज़ और केंद्रित है। इसने साबित कर दिया कि छवि के टुकड़ों को केवल "सर्वश्रेष्ठ" चुनने के बजाय उन्हें विशिष्ट "काम" सौंपकर, हम इन सुपर-स्मार्ट रोबोट्स को स्पष्ट रूप से, तेज़ी से और बहुत अधिक डेटा के सिरदर्द के बिना दुनिया देखना सिखा सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।