← नवीनतम पेपर
🤖 AI

Evading Visual Aphasia: Contrastive Adaptive Semantic Token Pruning for Vision-Language Models

यह शोध पत्र COAST को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त (training-free), कंट्रास्टिव एडेप्टिव सिमेंटिक टोकन प्रूनिंग फ्रेमवर्क है जो कॉन्टेक्स्टुअल डिस्पर्शन और कंट्रास्टिव रूटिंग के आधार पर आवश्यक विजुअल टोकन को गतिशील रूप से संरक्षित करके "विजुअल एफेसिया" (Visual Aphasia) को रोकता है, जिससे विविध विजन-लैंग्वेज मॉडल्स में मूल प्रदर्शन को बनाए रखते हुए महत्वपूर्ण इन्फरेंस स्पीडअप प्राप्त होता है।

मूल लेखक: Jie Ma, Yihang Liu, Zhike Qiu, Jiayi Ji, Xiaoshuai Sun

प्रकाशित 2026-05-12
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Jie Ma, Yihang Liu, Zhike Qiu, Jiayi Ji, Xiaoshuai Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "EVADING VISUAL APHASIA" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी समस्या: "विजुअल एफ़ेसिया" (Visual Aphasia) ग्लिच

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान जासूस (AI) को एक फोटो और एक विशिष्ट प्रश्न के आधार पर रहस्य सुलझाने के लिए काम पर रख रहे हैं।

अधिकांश वर्तमान AI मॉडल ऐसे जासूसों की तरह हैं जो बहुत अधिक खुशामद करने के इच्छुक होते हैं। जब वे किसी फोटो को देखते हैं, तो वे तुरंत सबसे बड़ी, चमकीली और सबसे स्पष्ट चीज़ (जैसे रेगिस्तान में एक विशाल ऊँट) पर ध्यान केंद्रित करते हैं। यदि आप उनसे बैकग्राउंड की किसी छोटी सी चीज़ (जैसे किसी कैफे का छोटा सा साइन बोर्ड) के बारे में कोई पेचीदा सवाल पूछते हैं, तो वे अक्सर बैकग्राउंड को पूरी तरह से अनदेखा कर देते हैं क्योंकि शुरुआत में उनका ध्यान उस पर नहीं गया था।

यह पेपर इस विफलता को "विजुअल एफ़ेसिया" (Visual Aphasia) कहता है। यह ऐसा है जैसे जासूस अचानक सबूतों को "देखने" की अपनी क्षमता खो देता है। वह आपके शब्दों को तो समझता है, लेकिन अब उन्हें तस्वीर से जोड़ नहीं पाता। इसलिए, वह वास्तव में फोटो में क्या है, इसके बजाय इस आधार पर अनुमान लगाता है कि कहानियों में आमतौर पर क्या होता है (लैंग्वेज प्रायर्स)।

  • परिणाम: आप पूछते हैं, "कैफे का नाम क्या है?" और AI, ऊँट को देखते हुए, आत्मविश्वास से कहता है, "द कैमल कैफे," भले ही साइन बोर्ड पर स्पष्ट रूप से "डेली ग्राइंड" लिखा हो।

यह क्यों होता है?

पेपर का तर्क है कि वर्तमान AI मॉडल शुरुआत में ही एक गलती करते हैं। वे चीज़ों को तेज़ करने के लिए शुरुआत में ही इमेज के "बोरिंग" हिस्सों को हटा देते हैं। वे एक सरल नियम का उपयोग करते हैं: "यदि इमेज का कोई हिस्सा अभी ध्यान आकर्षित नहीं कर रहा है, तो उसे हटा दो।"

लेकिन शोधकर्ताओं ने पाया कि यह नियम त्रुटिपूर्ण है। इमेज के कुछ हिस्से शुरू में बोरिंग लग सकते हैं लेकिन बाद में महत्वपूर्ण हो जाते हैं।

  • उदाहरण: कल्पना कीजिए कि आप एक रहस्यमयी उपन्यास पढ़ रहे हैं। अध्याय 1 में, एक पात्र बातों-बातों में एक "लाल दरवाजे" का ज़िक्र करता है। यह महत्वहीन लगता है। लेकिन अध्याय 10 में, वही लाल दरवाजा अपराध सुलझाने की कुंजी बन जाता है। यदि आपने समय बचाने के लिए अध्याय 1 में लाल दरवाजे वाले वाक्य को हटा दिया होता, तो आप अध्याय 10 में खो जाते।
  • वास्तविकता: AI में, "लो अटेंशन" टोकन (बोरिंग हिस्से) बाद में "हाई अटेंशन" टोकन बन जाते हैं जब AI जटिल संबंधों (जैसे "ऊँट के पीछे क्या है?") को समझने की कोशिश करता है। यदि आप उन्हें बहुत जल्दी काट देते हैं, तो AI सही उत्तर देने के लिए आवश्यक संदर्भ (context) खो देता है।

समाधान: COAST (एक स्मार्ट टूर गाइड)

लेखकों ने COAST (COntrastive Adaptive Semantic Token Pruning) नामक एक नई विधि बनाई है। केवल "बोरिंग" हिस्सों को काटने के बजाय, COAST एक स्मार्ट टूर गाइड की तरह काम करता है जिसे पता है कि वास्तव में क्या रखना है।

COAST केवल एक स्कोर को देखकर यह तय नहीं करता कि क्या रखना है। यह दो-चरणीय रणनीति का उपयोग करता है:

  1. "एंकर" (मुख्य आकर्षण):
    सबसे पहले, यह इमेज के उन विशिष्ट हिस्सों की पहचान करता है जो सीधे प्रश्न का उत्तर देते हैं (यानी "एंकर")। यदि आप टोपी के बारे में पूछते हैं, तो यह टोपी को रखता है। यह "सिमेंटिक एविडेंस" है।

  2. "कॉन्टेक्स्ट" (आस-पास का वातावरण):
    यही जादुई हिस्सा है। COAST महसूस करता है कि कभी-कभी फोरग्राउंड (मुख्य वस्तु) को समझने के लिए आपको बैकग्राउंड (पृष्ठभूमि) की आवश्यकता होती है। यह जानबूझकर इमेज के कुछ "लो अटेंशन" हिस्सों को रखता है जो एक मानचित्र या संदर्भ बिंदु के रूप में कार्य करते हैं।

  • उदाहरण: यदि आप भीड़ में किसी विशिष्ट व्यक्ति को ढूंढ रहे हैं, तो आप केवल उस व्यक्ति को ही नहीं देखते; आपको यह जानने के लिए कि वह कौन है, उनके बगल में खड़े लोगों को भी देखने की आवश्यकता होती है। COAST "व्यक्ति के बगल वाले लोगों" को भी रखता है, भले ही वे मुख्य केंद्र न हों।

यह तय कैसे करता है कि क्या रखना है ("एंट्रॉपी" मीटर)

COAST के पास एक विशेष गेज है जिसे अटेंशन एंट्रॉपी (Attention Entropy) कहा जाता है। इसे एक "कन्फ्यूजन मीटर" (भ्रम मापने वाला यंत्र) समझें।

  • कम भ्रम (केंद्रित): यदि AI बहुत आश्वस्त है कि वह क्या देख रहा है (जैसे, "वह एक बिल्ली है"), तो COAST मुख्य रूप से बिल्ली को रखता है और बाकी को हटा देता है।
  • उच्च भ्रम (बिखरा हुआ): यदि AI कई वस्तुओं और संबंधों वाले एक जटिल दृश्य को देख रहा है, तो "कन्फ्यूजन मीटर" बढ़ जाता है। COAST इसे देखता है और कहता है, "ठीक है, यह पेचीदा है। हमें AI की मदद करने के लिए अधिक बैकग्राउंड कॉन्टेक्स्ट रखने की आवश्यकता है।"

यह मुख्य विषय बनाम बैकग्राउंड कॉन्टेक्स्ट के बीच कितना रखना है, इसे प्रश्न की कठिनाई के आधार पर गतिशील रूप से (dynamically) समायोजित करता है।

परिणाम: तेज़ और स्मार्ट

इस पेपर ने सात अलग-अलग बेंचमार्क (AI के लिए फाइनल एग्जाम की तरह) पर COAST का परीक्षण किया।

  • गति: इसने इमेज के टुकड़ों (टोकन्स) की संख्या को लगभग 78% कम कर दिया जिसे AI को प्रोसेस करना था। इसने AI को 2.15 गुना तेज़ बना दिया।
  • सटीकता: इतने सारे डेटा को काटने के बावजूद, AI ने अपनी मूल बुद्धिमत्ता का 98.6% बनाए रखा।
  • जीत: अन्य विधियों के विपरीत जिनसे "विजुअल एफ़ेसिया" (गलत उत्तर देना) होता था, COAST ने AI को वास्तविकता से जोड़े रखा। इसने "कैमल कैफे" वाली समस्या को हल किया क्योंकि इसने बैकग्राउंड में छोटे साइन बोर्ड को रखा, जिससे AI ने "डेली ग्राइंड" को सही ढंग से पढ़ा।

सारांश

  • पुराना तरीका: "जो अभी मुख्य फोकस नहीं है, उसे सब हटा दो।" -> परिणाम: AI भ्रमित हो जाता है और गलत जानकारी (hallucinations) देने लगता है।
  • COAST का तरीका: "मुख्य फोकस को रखो, लेकिन साथ ही पर्याप्त बैकग्राउंड कॉन्टेक्स्ट भी रखो ताकि हम संबंधों को समझ सकें, खासकर यदि दृश्य जटिल है।" -> परिणाम: AI तेज़ है, लेकिन फिर भी पूरी तस्वीर देखता है और सही उत्तर देता है।

पेपर निष्कर्ष निकालता है कि इमेज कंप्रेशन को एक स्मार्ट रूटिंग समस्या (यह तय करना कि क्या रखना है, न कि केवल यह कि कितना काटना है) के रूप में मानकर, हम AI को "अंधा" बनाए बिना उसे तेज़ बना सकते हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 🤖 cs.AI →