CRISP: Pre-LLM Yet Text-Driven Visual Token Pruning for Efficient LVLM Inference
CRISP एक प्री-LLM, टेक्स्ट-ड्रिवन विजुअल टोकन प्रूनिंग फ्रेमवर्क है जो निर्देश-प्रासंगिक टोकन की पहचान करने और सिमेंटिक विविधता को बढ़ाने के लिए एक दो-चरणीय पाइपलाइन का उपयोग करता है, जिससे लार्ज विजन-लैंग्वेज मॉडल्स के लिए 99.5% से अधिक सटीकता प्रतिधारण (accuracy retention) प्राप्त होता है और इन्फरेंस लेटेंसी में 2 गुना से अधिक की कमी आती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं, लेकिन आपके पास कुछ सुरागों के बजाय लाखों किताबों से भरी एक लाइब्रेरी है, जो एक साथ खुली हुई है। आधुनिक "लार्ज विजन-लैंग्वेज मॉडल्स" (LVLMs) वास्तव में इसी तरह काम करते हैं। ये अत्यंत बुद्धिमान कंप्यूटर प्रोग्राम हैं जो एक तस्वीर को देख सकते हैं और उसके बारे में सवालों के जवाब दे सकते हैं, जैसे कि एक डिजिटल जासूस। ऐसा करने के लिए, वे छवि को हजारों छोटे डिजिटल टुकड़ों में तोड़ देते हैं जिन्हें "टोकन" कहा जाता है। इन टोकन्स को पहेली के व्यक्तिगत टुकड़ों के रूप में समझें। समस्या यह है कि कंप्यूटर आपके सवाल को देखने से पहले ही पहेली के हर एक टुकड़े को पढ़ने की कोशिश करता है, यहाँ तक कि उन टुकड़ों को भी जो केवल नीला आसमान या खाली फर्श हैं। यह प्रक्रिया को अविश्वसनीय रूप से धीमा और कंप्यूटर की शक्ति के प्रति भूखा बना देता है, जैसे कि बिल्ली के कॉलर का रंग जानने के लिए पूरी विश्वकोश पढ़ने की कोशिश करना।
लंबे समय तक, वैज्ञानिकों ने इसे तेज करने के लिए या तो पहेली के टुकड़ों को बेतरतीब ढंग से फेंकने की कोशिश की (जिससे कभी-कभी बिल्ली का कॉलर ही गायब हो जाता था) या फिर तब तक इंतजार करने की कोशिश की जब तक कि कंप्यूटर ने पूरी किताब पढ़नी शुरू न कर दी हो (जो समय बचाने के लिए बहुत देर हो चुकी थी)। बड़ा सवाल यह था: क्या हम कंप्यूटर को पहले सवाल को देखने के लिए सिखा सकते हैं, और फिर केवल उन विशिष्ट पलों/टुकड़ों को चुनने के लिए जो सवाल का जवाब देने के लिए आवश्यक हैं, बिना पूरे सिस्टम को धीमा किए?
यहीं पर CRISP नामक एक नई विधि आती है। CRISP को एक अत्यंत कुशल लाइब्रेरियन के रूप में समझें जो जासूस के पढ़ना शुरू करने से पहले ही काम करता है। वह पूरी लाइब्रेरी को मेज पर डालने के बजाय, आपके सवाल को पहले सुनता है। यदि आप पूछते हैं, "हैंडबैग का रंग क्या है?", तो CRISP तुरंत छवि को स्कैन करता है और केवल वे पहेली के टुकड़े उठा लेता है जो हैंडबैग और उसके आस-पास के क्षेत्र को दिखाते हैं। वह केवल यहीं नहीं रुकता; वह कुछ अतिरिक्त टुकड़े भी उठा लेता है ताकि यह सुनिश्चित हो सके कि बैकग्राउंड का संदर्भ (जैसे कि सड़क या उसे पकड़े हुए व्यक्ति) खो न जाए।
CRISP के पीछे के शोधकर्ताओं ने पाया कि यह "पहले पूछो, फिर देखो" वाला दृष्टिकोण पुराने "पहले देखो, फिर पूछो" वाले तरीकों की तुलना में बहुत अधिक स्मार्ट है। अपने परीक्षणों में, उन्होंने दिखाया कि CRISP छवि के 88.9% तक विजुअल पहेली के टुकड़ों को फेंक सकता है (छवि को सैकड़ों टोकन से घटाकर केवल 64 या 128 कर सकता है) और फिर भी इसकी सटीकता को लगभग वैसा ही रख सकता है जैसा कि पूरी छवि को देखने पर होती। वास्तव में, कुछ परीक्षणों में, यह सही सुराग खोजने में इतना अच्छा था कि इसने "हैलुसिनेशन" (hallucinations)—यानी वे क्षण जब एक AI ऐसी चीजें बना देता है जो वहां मौजूद नहीं हैं—को भी कम कर दिया।
पेपर स्पष्ट रूप से आज के दो सामान्य तरीकों के विरुद्ध तर्क देता है। एक तरीका यह है कि केवल छवि के सबसे "महत्वपूर्ण" दिखने वाले टुकड़ों को चुनना जो सवाल से स्वतंत्र हो (टेक्स्ट-एग्नोस्टिक), जिसे लेखक एक पेंटिंग को यह जाने बिना घूरने जैसा बताते हैं कि आप क्या ढूंढ रहे हैं। दूसरा तरीका यह है कि जब तक कंप्यूटर अपनी सोचने की प्रक्रिया के बीच में न पहुँच जाए तब तक टुकड़ों को हटाने के लिए इंतजार करना, जिसे लेखक ऊर्जा की बर्बादी मानते हैं क्योंकि कंप्यूटर ने पहले ही सब कुछ पढ़ने का कठिन काम कर लिया है। CRISP इन दोनों को खारिज करता है, और यह साबित करता है कि भारी सोच शुरू होने से पहले प्रूनिंग (छंटनी) करके आप तेज़ और स्मार्ट दोनों हो सकते हैं।
परिणाम मापे गए हैं और काफी विशिष्ट हैं। LLaVA-1.5 जैसे लोकप्रिय मॉडल पर, CRISP ने मूल प्रदर्शन का 99.5% बनाए रखा जबकि इसने सामान्य 576 के बजाय केवल 128 टोकन का उपयोग किया। एक नए मॉडल, LLaVA-NeXT पर, इसने केवल 320 टोकन के साथ 96.9% प्रदर्शन बनाए रखा। शायद सबसे प्रभावशाली बात यह है कि इस स्पीड-अप ने केवल सटीकता ही नहीं बचाई; इसने उत्तर प्राप्त करने में लगने वाले समय को आधे से अधिक कम कर दिया। लेखक सुझाव देते हैं कि यह विधि इन स्मार्ट इमेज-रीडिंग कंप्यूटरों को बहुत तेज़ और चलाने में सस्ता बनाने के लिए एक व्यावहारिक, तैयार-उपयोग समाधान है, विशेष रूप से उन उपकरणों पर जिनमें बहुत अधिक शक्ति नहीं होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।