Learning to Predict Middle-Layer Attention in MLLMs for Visual Token Prunin
यह शोध पत्र मिडिल-लेयर अटेंशन प्रेडिक्शन (MAP) का प्रस्ताव करता है, जो एक ऐसी विधि है जो नमूना-विशिष्ट इष्टतम अटेंशन लेयर्स को गतिशील रूप से पहचानती है और उन्हें एक हल्के प्रेडिक्टर में डिस्टिल करती है ताकि लैंग्वेज मॉडल प्रोसेसिंग से पहले विजुअल टोकन को छांटा जा सके, जिससे LLaVA-NeXT-7B पर प्रदर्शन का 97.5% बनाए रखते हुए 3.09x एंड-टू-एंड स्पीडअप प्राप्त होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान रोबोट को एक साथ दुनिया को देखने और उसके बारे में बात करने के लिए सिखाने की कोशिश कर रहे हैं। यह मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) की दुनिया है। इन मॉडल्स को एक चतुर जासूस के रूप में सोचें जो एक तस्वीर को देख सकता है और उसके बारे में सवालों के जवाब दे सकता है, जैसे कि "कुत्ते के पट्टे का रंग क्या है?" या "व्यक्ति क्यों दौड़ रहा है?" ऐसा करने के लिए, रोबोट केवल चित्र को "देखता" नहीं है; वह चित्र को हजारों छोटे डिजिटल पहेली के टुकड़ों में तोड़ देता है जिन्हें विजुअल टोकन (visual tokens) कहा जाता है। प्रत्येक टोकन चित्र के एक हिस्से के बारे में जानकारी का एक छोटा सा अंश है।
समस्या यह है कि ये रोबोट अविश्वसनीय रूप से भूखे होते हैं। एक चित्र को वास्तव में अच्छी तरह से देखने के लिए, उन्हें इन हजारों टोकनों को प्रोसेस करने की आवश्यकता हो सकती है। यह एक बिल्ली की टोपी के बारे में एक साधारण प्रश्न का उत्तर खोजने के लिए पूरी विश्वकोश को पढ़ने की कोशिश करने जैसा है। इसमें बहुत समय और ऊर्जा (कंप्यूटिंग पावर) लगती है, जिससे रोबोट धीमा और चलाने में महंगा हो जाता है। वैज्ञानिक इन रोबोटों को तेज़ बनाने के लिए उपयोगी टुकड़ों को शुरू करने से पहले ही फेंक देने का तरीका खोजने की कोशिश कर रहे हैं। इसे विजुअल टोकन प्रूनिंग (visual token pruning) कहा जाता है। असली चुनौती यह जानना है कि कौन से टुकड़े रखना है और किन्हें फेंक देना है। यदि आप गलत टुकड़ा फेंक देते हैं, तो रोबोट भ्रमित हो जाएगा। यदि आप बहुत अधिक टुकड़े रखते हैं, तो यह अभी भी धीमा रहेगा। बड़ा सवाल यह था: हम यह कैसे जान सकते हैं कि पूछे गए विशिष्ट प्रश्न के लिए चित्र के कौन से हिस्से सबसे अधिक महत्वपूर्ण हैं?
समस्या: एक आकार सभी के लिए उपयुक्त नहीं है (One Size Does Not Fit All)
इस शोध के पीछे के शोधकर्ताओं ने, जिनका नेतृत्व युयाओ सन और ताओ डेंग ने किया, यह पाया कि वर्तमान में हम इन रोबोटों को यह तय करने में मदद करने के तरीके में एक पेचीदा खामी है कि उन्हें क्या रखना चाहिए।
पहले, वैज्ञानिक सोचते थे कि यदि वे रोबोट के "अटेंशन" (एक फैंसी तरीका यह कहने का कि "रोबोट किस चीज़ पर ध्यान केंद्रित कर रहा है") को उसके मस्तिष्क के एक विशिष्ट, मध्य परत (middle layer) से देखते हैं, तो वे सबसे महत्वपूर्ण चित्र के टुकड़ों को पा सकते हैं। यह यह कहने जैसा था कि, "हे रोबोट, बस उस पर ध्यान दो जो तुम अपनी सोच की प्रक्रिया के बीच में सोच रहे थे, और उन चित्र के टुकड़ों को रखो।"
लेकिन लेखकों ने पाया कि यह "एक-आकार-सभी-के-लिए" वाला दृष्टिकोण टूटा हुआ है। कल्पना करें कि आप समुद्र तट की एक फोटो देख रहे हैं।
- यदि कोई पूछता है, "रेत का रंग क्या है?", तो रोबोट का मस्तिष्क अपनी सोच की प्रक्रिया के बीच में रेत पर चमकता है।
- यदि कोई पूछता है, "आकाश का रंग क्या है?", तो रोबोट का मस्तिष्क आकाश पर चमकता है, लेकिन शायद उसकी सोच के एक अलग चरण में।
शोधकर्ताओं ने दिखाया कि मस्तिष्क की कौन सी परत (layer) देखने के लिए "सर्वश्रेष्ठ" है, यह पूरी तरह से विशिष्ट प्रश्न पर निर्भर करता है। कभी उत्तर लेयर 10 में होता है, कभी लेयर 20 में। एक निश्चित लेयर का उपयोग करना एक इमारत में हर दरवाजे के लिए एक ही चाबी का उपयोग करने जैसा है; यह कुछ के लिए काम करता है, लेकिन अन्य के लिए विफल हो जाता है।
इसके अलावा, एक दूसरी, बड़ी समस्या थी। यह पता लगाने के लिए कि किसी विशिष्ट प्रश्न के लिए कौन सी लेयर "सर्वश्रेष्ठ" थी, रोबोट को पहले उन सभी लेयर्स के माध्यम से पूरे चित्र को प्रोसेस करना पड़ता। यह स्कूल जाने के सबसे अच्छे रास्ते को खोजने के लिए पहले पूरे रास्ते गाड़ी चलाने जैसा है, सिर्फ यह देखने के लिए कि कौन सा मोड़ सबसे अच्छा था। जब तक आप यह तय करते हैं कि कौन से टुकड़े रखने हैं, तब तक आप वह सारा समय और ऊर्जा बर्बाद कर चुके होते हैं जिसे आप बचाने की कोशिश कर रहे थे!
समाधान: "क्वेश्चन कॉन्ट्रास्ट" जासूस (The "Question Contrast" Detective)
इस समस्या को हल करने के लिए, टीम ने MAP (मिडल-लेयर अटेंशन प्रेडिक्शन) नामक एक नया तरीका प्रस्तावित किया। रोबोट को वास्तविक बातचीत के दौरान भारी काम करने के बजाय, उन्होंने एक छोटे, सुपर-फास्ट सहायक को यह अनुमान लगाने के लिए प्रशिक्षित किया कि रोबोट क्या ध्यान केंद्रित करता।
उन्होंने इस सहायक को इस प्रकार प्रशिक्षित किया:
"कॉन्ट्रास्ट" ट्रिक (QCTS): वे प्रत्येक प्रश्न के लिए सही "शिक्षक" चुनने का एक चतुर तरीका लेकर आए। उन्होंने एक छवि ली और रोबोट से दो चीजें पूछीं:
- प्रश्न A: वास्तविक प्रश्न (जैसे, "नाव का रंग क्या है?")।
- प्रश्न B: एक उबाऊ, सामान्य प्रश्न (जैसे, "इस छवि में क्या है?")।
फिर उन्होंने दोनों प्रश्नों के लिए रोबोट के अटेंशन की तुलना की। वे लेयर्स जहाँ दोनों प्रश्नों के बीच रोबोट का फोकस सबसे अधिक बदला, वे थीं जो वास्तव में नाव के विशिष्ट विवरणों की परवाह करती थीं। यह विधि, जिसे क्वेश्चन कॉन्ट्रास्टिव टीचर सिलेक्शन (QCTS) कहा जाता है, एक स्पॉटलाइट की तरह काम करती है, जो तुरंत पहचान लेती है कि रोबोट के मस्तिष्क का कौन सा हिस्सा विशिष्ट प्रश्न के बारे में सबसे अधिक उत्साहित है।
लाइट-वेट प्रेडिक्टर (The Light-Weight Predictor): एक बार जब उन्हें पता चल गया कि किसी विशिष्ट प्रश्न के लिए कौन सी लेयर "स्टार" है, तो उन्होंने उस भारी लेयर को नहीं रखा। इसके बजाय, उन्होंने एक छोटे, हल्के प्रेडिक्टर को उस स्टार लेयर के व्यवहार की नकल करने के लिए प्रशिक्षित किया। यह प्रेडिक्टर इतना छोटा और तेज़ है कि यह बड़े रोबट के सोचने शुरू करने से पहले ही छवि और प्रश्न को देख सकता है और तुरंत कह सकता है, "चित्र के इन 5% टुकड़ों को रखें, बाकी को फेंक दें।"
परिणाम: तेज़, हल्का और स्मार्ट
टीम ने कई अलग-अलग रोबोट दिमागों (MLLMs) और विविध कठिन प्रश्नों पर इस नए सिस्टम का परीक्षण किया। परिणाम प्रभावशाली थे।
- गति (Speed): उनके एक परीक्षण मॉडल (LLaVA-NeXT-7B) पर, MAP ने रोबोट को शुरू से अंत तक 3.09 गुना तेज़ बना दिया। यह 10 मिनट की पैदल यात्रा को 3 मिनट की दौड़ में बदलने जैसा है।
- दक्षता (Efficiency): वे 94.4% विजुअल टोकन को फेंकने में सफल रहे (केवल 5.56% टोकन रखे) और रोबोट ने अभी भी उन सही उत्तरों का 97.5% प्राप्त किया जो वह पूर्ण चित्र के साथ प्राप्त करता।
- स्मार्ट चयन (Smart Selection): अन्य तरीकों के विपरीत जो केवल अनुमान लगाते हैं या एक निश्चित नियम का उपयोग करते हैं, MAP के "विविधता" नियम ने यह सुनिश्चित किया कि बहुत कम टोकन रखने के बावजूद, यह केवल समान दिखने वाले टुकड़े नहीं चुनता। इसने ऐसे टुकड़े चुने जो एक-दूसरे से भिन्न थे लेकिन फिर भी प्रश्न के लिए प्रासंगिक थे, जिससे यह सुनिश्चित हुआ कि रोबोट कोई भी महत्वपूर्ण विवरण मिस न करे।
यह क्यों मायने रखता है
यह पेपर केवल एक अच्छा विचार ही नहीं सुझाता है; यह एक काम करने वाला उपकरण प्रदान करता है जो एक वास्तविक बाधा को हल करता है। यह साबित करके कि "सर्वश्रेष्ठ" लेयर हर प्रश्न के लिए बदलती है और हम भारी काम किए बिना इसकी भविष्यवाणी कर सकते हैं, MAP इन शक्तिशाली AI मॉडल्स को मानक कंप्यूटरों पर बहुत तेज़ी से चलाने की अनुमति देता है। यह एक लाइब्रेरियन को एक जादुई इंडेक्स कार्ड देने जैसा है जो उसे लाइब्रेरी में जाने से पहले ही बताता है कि कौन सी किताब शेल्फ से निकालनी है, जिससे उन्हें दीवार पर मौजूद हर एक किताब को स्कैन करने से बचाया जा सके।
लेखक दिखाते हैं कि इस विधि के साथ, हम अपने केक को रख भी सकते हैं और खा भी सकते हैं (दोनों लाभ प्राप्त कर सकते हैं): हम रोबोट की बुद्धिमत्ता को उच्च रख सकते हैं और साथ ही इसे काफी तेज़ और कम महंगा बना सकते हैं। यह सुझाव देता है कि AI का भविष्य केवल बड़े, भारी दिमाग बनाने के बारे में नहीं है, बल्कि उन्हें यह सिखाने के बारे में है कि वे किस चीज़ पर ध्यान दें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।