← नवीनतम पेपर
🤖 machine learning

CAPA: Contribution-Aware Pruning and FFN Approximation for Efficient Large Vision-Language Models

यह शोध पत्र CAPA प्रस्तुत करता है, जो लार्ज विजन-लैंग्वेज मॉडल्स के लिए एक कुशल फ्रेमवर्क है जो अटेंशन कॉन्ट्रिब्यूशन मेट्रिक्स के माध्यम से पहचाने गए कम योगदान वाले विजुअल टोकन को हटाकर और मध्यवर्ती परतों में अनावश्यक फीड-फॉरवर्ड नेटवर्क गणनाओं का अनुमान लगाकर इन्फरेंस गति में सुधार करता है।

मूल लेखक: Samyak Jha, Junho Kim

प्रकाशित 2026-02-03
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Samyak Jha, Junho Kim

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़े विज़न-लैंग्वेज मॉडल (LVLM) की कल्पना एक अत्यंत बुद्धिमान, लेकिन अविश्वसनीय रूप से व्यस्त कला समीक्षक के रूप में करें। जब आप इसे एक तस्वीर दिखाते हैं और उससे कोई प्रश्न पूछते हैं, तो यह केवल चित्र को "देखता" नहीं है; बल्कि यह चित्र को हज़ारों छोटे पहेली के टुकड़ों (जिन्हें विजुअल टोकन कहा जाता है) में तोड़ देता है। फिर यह इन टुकड़ों को आपके टेक्स्ट के साथ पढ़ता है, यह समझने की कोशिश करता है कि क्या महत्वपूर्ण है।

समस्या यह है कि यह समीक्षक बहुत अधिक बोझ महसूस कर रहा है। यह पहेली के हर एक टुकड़े को समान तीव्रता के साथ प्रोसेस करने की कोशिश करता है, यहाँ तक कि उबाऊ, खाली बैकग्राउंड वाले हिस्सों को भी। यह इस प्रक्रिया को धीमा और महंगा बना देता है, जैसे किसी एक विशिष्ट तथ्य को खोजने के लिए पूरी विश्वकोश को पढ़ना।

यह शोध पत्र एक नया तरीका पेश करता है जिसे CAPA (कंट्रीब्यूशन-अवेयर प्रूनिंग एंड FFN एप्रोक्सिमेशन) कहा जाता है, ताकि इस समीक्षक को बिना भ्रमित हुए तेज़ी से काम करने में मदद मिल सके। CAPA को एक स्मार्ट सहायक के रूप में सोचें जो समीक्षक को दो नए करतब सिखाता है:

करतब 1: "वास्तविक प्रभाव" फ़िल्टर (कंट्रीब्यूशन-अवेयर प्रूनिंग)

पुराना तरीका (दोषपूर्ण अंतर्ज्ञान):
पहले, समीक्षक यह तय करता था कि किन पहेली के टुकड़ों को अनदेखा करना है, इस आधार पर कि उन्हें कितना "अटेंशन" (ध्यान) मिला। यदि चित्र का कोई हिस्सा (जैसे नीले आकाश का एक पैच) टेक्स्ट से बहुत अधिक ध्यान प्राप्त करता था, तो समीक्षक उसे रखता था। यदि उसे कम ध्यान मिलता था, तो वह उसे फेंक देता था।

  • समस्या: यह एक फिल्म के दृश्य को केवल दर्शकों के शोर के आधार पर आंकने जैसा है। कभी-कभी, एक पात्र को बहुत सारा शोर (अटention) मिल सकता है लेकिन वास्तव में वह कुछ भी महत्वपूर्ण नहीं कहता। शोध पत्र की शब्दावली में, इन्हें "प्रोबेबिलिटी डम्प्स" (Probability Dumps) कहा जाता है। ये शोर तो करते हैं लेकिन बेकार होते हैं। इसके विपरीत, कुछ शांत टुकड़े सारा भारी काम कर रहे हो सकते हैं लेकिन उन्हें अनदेखा कर दिया जाता है क्योंकि वे पर्याप्त "शोर" नहीं कर पा रहे थे।

CAPA का तरीका (स्मार्ट फ़िल्टर):
CAPA नियम बदल देता है। केवल "शोर" (अटेंशन स्कोर) सुनने के बजाय, यह "वास्तविक प्रभाव" (अटेंशन कंट्रीब्यूशन) की जाँच करता है।

  • उपमा: एक निर्माण स्थल की कल्पना करें। "शोर" वह है कि कितने लोग एक विशिष्ट ईंट पर चिल्ला रहे हैं। "प्रभाव" वह है कि वह ईंट वास्तव में कितना भार उठाती है।
    • प्रकार A (प्रोबेबिलिटी डम्प्स): एक ईंट जिसके बारे में हर कोई चिल्ला रहा है, लेकिन वह थर्माकोल (स्टायरोफोम) की बनी है। वह कोई भार नहीं उठाती। CAPA कहता है, "इसे फेंक दो; यह सिर्फ शोर है।"
    • प्रकार B (स्ट्रक्चरल एंकर्स): एक ईंट जिसके बारे में कोई चिल्ला नहीं रहा है, लेकिन वह पूरी छत को थामे हुए है। CAPA कहता है, "इसे रखो! यह असली काम कर रही है।"
  • परिणाम: CAPA भारी काम करने वाली ईंटों को रखता है और थर्माकोल वाली ईंटों को फेंक देता है, जिससे यह सुनिश्चित होता है कि समीक्षक महत्वपूर्ण विवरणों को खोए बिना खाली स्थान को अनदेखा कर सके।

करतब 2: उबाऊ कार्यों के लिए "शॉर्टकट" (FFN एप्रोक्सिमेशन)

पुराना तरीका (भारी काम):
पहेली के टुकड़ों को देखने के बाद, मॉडल को एक जटिल मस्तिष्क सर्किट के माध्यम से उन्हें प्रोसेस करना होता है जिसे फीड-फॉरवर्ड नेटवर्क (FFN) कहा जाता है। इसे एक बहुत ही महंगे, उच्च-शक्ति वाले कैलकुलेटर के रूप में समझें जो डेटा के हर एक टुकड़े पर जटिल गणित करता है।

  • समस्या: शोध पत्र में पाया गया कि इमेज के टुकड़ों (विजुअल टोकन) के लिए, यह जटिल कैलकुलेटर अक्सर ज़रूरत से ज़्यादा है। मॉडल के मध्य परतों में, कैलकुलेटर जो गणित करता है वह लगभग एक सीधी रेखा (लीनियर) की तरह है। यह 2 को 2 से गुणा करने के लिए सुपरकंप्यूटर का उपयोग करने जैसा है। यह ऊर्जा की बर्बादी है।

CAPA का तरीका (शॉर्टकट):
CAPA उन "उबाऊ" परतों की पहचान करता है जहाँ जटिल गणित की वास्तव में आवश्यकता नहीं होती है।

  • उपमा: कल्पना कीजिए कि आपके पास एक शेफ है जो सलाद के एक पत्ते को काटने के लिए $10,000 के इंडस्ट्रियल ब्लेंडर का उपयोग करता है। यह काम तो करता है, लेकिन यह अक्षम है। CAPA कहता है, "इस विशिष्ट चरण में, बस एक साधारण चाकू का उपयोग करें।"
  • क्रियान्वयन: महंगे, जटिल गणित को चलाने के बजाय, CAPA इसे एक सरल, हल्के "हाडामाड प्रोडक्ट" (एक फैंसी शब्द जो सरल, एलिमेंट-बाय-एलिमेंट मल्टीप्लिकेशन के लिए है) के साथ बदल देता है। यह इंडस्ट्रियल ब्लेंडर को हाथ से काटने (hand-chop) के त्वरित तरीके से बदलने जैसा है।
  • परिणाम: मॉडल ऊर्जा (कंप्यूटेशन) की भारी बचत करता है क्योंकि वह भारी मशीनरी का उपयोग करना बंद कर देता है जहाँ एक साधारण उपकरण भी काम को समान रूप से अच्छी तरह से कर सकता है।

ग्रैंड फिनाले: CAPA कैसे जीतता है

इन दोनों करतबों को मिलाकर, CAPA एक सुपर-एफिशिएंट सिस्टम बनाता है:

  1. यह कचरे को हटा देता है: यह उन "थर्माकोल की ईंटों" (बेकार विजुअल टोकन) को हटा देता है जो समय बर्बाद कर रहे थे।
  2. यह गणित को सरल बनाता है: यह "इंडस्ट्रियल ब्लेंडर" (महंगी गणनाओं) को "साधारण चाकू" (हल्के गणित) से बदल देता है जहाँ ऐसा करना सुरक्षित है।

परिणाम:
शोध पत्र ने इसका परीक्षण कई लोकप्रिय AI मॉडल्स (जैसे LLaVA और Qwen) पर किया। परिणाम दिखाते हैं कि CAPA एक ऐसे मैराथन धावक की तरह है जो अनावश्यक वजन को कम करता है और अधिक कुशल चाल में बदल जाता है।

  • यह बहुत तेज़ चलता है (78% तक कम कंप्यूटेशनल काम)।
  • यह फिनिश लाइन पर लड़खड़ाता नहीं है (यह उच्च सटीकता बनाए रखता है)।
  • यह जटिल कार्यों (जैसे इमेज में टेक्स्ट पढ़ना या पहेलियाँ सुलझाना) को अन्य तरीकों की तुलना में बेहतर ढंग से संभालता है जो केवल अनुमान लगाते हैं कि किन टुकड़ों को फेंकना है।

संक्षेप में, CAPA AI को खाली जगह पर चिल्लाना बंद करने और अखरोट तोड़ने के लिए हथौड़े का उपयोग न करने की शिक्षा देता है, जिससे यह अपनी धार खोए बिना तेज़ और स्मार्ट बनता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →