🤖 AI

Salient Knowledge Pathways: Sparse Cross-Modal Routing for Efficient Knowledge-Intensive Multimodal Question Answering

यह शोध पत्र SKIP को पेश करता है, जो एक एकीकृत अनुमान आर्किटेक्चर (unified inference architecture) है जो स्पार्स क्रॉस-मोडल रूटिंग (sparse cross-modal routing) और एक अनुकूली कंप्यूट बजट (adaptive compute budget) का उपयोग करता है ताकि ज्ञान-गहन मल्टीमॉडल प्रश्नोत्तर (knowledge-intensive multimodal question answering) में डेंस बेसलाइन (dense baselines) की सटीकता को बनाए रखते हुए या उससे अधिक रखते हुए कम्प्यूटेशनल लागत और विलंबता (latency) को महत्वपूर्ण रूप से कम किया जा सके।

मूल लेखक: Noor Islam S. Mohammad, Uluğ Bayazıt

प्रकाशित 2026-07-29

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Noor Islam S. Mohammad, Uluğ Bayazıt

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रहस्य सुलझाने की कोशिश कर रहे हैं। आपके पास एक विशाल फोटो एल्बम (छवि), एक विशाल पुस्तकालय से संदिग्धों और सुरागों की एक सूची (बाहरी ज्ञान), और एक विशिष्ट प्रश्न है जिसका उत्तर आपको देना है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे "नॉलेज-इंटेंसिव मल्टीमॉडल क्वेश्चन आंसरिंग" (Knowledge-Intensive Multimodal Question Answering) कहा जाता है। यह एक फैंसी तरीका है यह कहने का कि: "क्या एक कंप्यूटर एक तस्वीर देख सकता है, एक प्रश्न पढ़ सकता है, और फिर एक विशाल पुस्तकालय में सही उत्तर खोजने के लिए खुदाई कर सकता है?"

वर्तमान में, यह काम करने वाले सबसे स्मार्ट कंप्यूटर प्रोग्राम उन अति-उत्साही जासूसों की तरह हैं जो एक भी पन्ना छोड़ने से इनकार कर देते हैं। चाहे सवाल कितना भी सरल क्यों न हो, वे पुस्तकालय के हर एक शब्द को पढ़ते हैं और फोटो के हर एक पिक्सेल को घूरते हैं। वे ऐसा तब भी करते हैं जब उत्तर केवल एक छोटी सी डिटेल पर निर्भर करता हो, जैसे कि एक नाव के झंडे का रंग। यह दृष्टिकोण काम तो करता है, लेकिन यह अविश्वसनीय रूप से धीमा है और कंप्यूटर की भारी मात्रा में शक्ति खर्च करता है, जिससे इसे फोन या लैपटॉप जैसे सामान्य उपकरणों पर चलाना कठिन हो जाता है। वैज्ञानिक मुख्य सवाल यह पूछ रहे हैं: क्या हम इन AI जासूसों को इस बारे में स्मार्ट बना सकते हैं कि उन्हें क्या देखना चाहिए, ताकि वे गलत उत्तर दिए बिना तेजी से रहस्य सुलझा सकें?

यहाँ SKIP आता है, जो एक नया सिस्टम है जिसे नूर इस्लाम एस. मोहम्मद और उलुग बायाज़ित द्वारा बनाया गया है। यह समस्या को हल करने की कोशिश करता है और AI को थोड़ा "आलसी" होना सिखाता है—लेकिन एक बहुत ही चतुर तरीके से। हर सवाल को एक जीवन-मरण की आपात स्थिति की तरह मानने के बजाय, जिसमें पूरी जांच की आवश्यकता होती है, SKIP एक अनुभवी जासूस की तरह व्यवहार करता है जो जानता है कि शॉर्टकट कब लेना है।

यहाँ बताया गया है कि SKIP कैसे काम करता है, कुछ रोजमर्रा के रूपकों (metaphors) का उपयोग करके:

1. "स्मार्ट फिल्टर" (क्वेश्चन-गाइडेड विजुअल सैलिएंसी - Question-Guided Visual Saliency)
कल्पना कीजिए कि आप एक वेंडिंग मशीन में सोडा का ब्रांड क्या है? इस सवाल का जवाब देने के लिए एक व्यस्त सड़क के दृश्य की फोटो देख रहे हैं। एक सामान्य AI हर व्यक्ति, हर कार और हर पेड़ को घूरेगा। हालाँकि, SKIP पहले सवाल को देखता है और कहता है, "मुझे केवल वेंडिंग मशीन की परवाह है।" यह तुरंत फोटो के 90% हिस्से को अनदेखा कर देता है, और केवल उस छोटे से हिस्से पर ध्यान केंद्रित करता है जहाँ सोडा मशीन है। इसे "प्रूनिंग" (pruning) कहा जाता है। शोधकर्ताओं ने पाया कि खोज शुरू करने से पहले ही छवि के अप्रासंगिक हिस्सों को हटा देने से, वे बिना किसी सटीकता को खोए काफी समय बचा सकते हैं।

2. "टारगेटेड लाइब्रेरियन" (रीजन-कंडीशनल स्पार्स रिट्रीवल - Region-Conditional Sparse Retrieval)
एक बार जब AI को पता चल जाता है कि छवि का कौन सा हिस्सा महत्वपूर्ण है, तो उसे पुस्तकालय में जाना होता है। आमतौर पर, एक AI पूरे पुस्तकालय को एक साथ अपना सवाल चिल्लाकर सुना देता है। SKIP अलग है। यदि फोटो में कुछ विशिष्ट दिलचस्प चीजें हैं (जैसे शर्ट पर लगा एक लोगो और इमारत पर लगा एक साइन), तो SKIP प्रत्येक के लिए अलग-अलग, छोटे प्रश्न भेजता है। यह एक ही इंटर्न को पूरे भवन में घूमकर एक अस्पष्ट सवाल चिल्लाने के बजाय, तीन अलग-अलग तथ्यों को खोजने के लिए तीन अलग-अलग इंटर्न भेजने जैसा है। यह सुनिश्चित करता है कि AI उन विशिष्ट, सूक्ष्म विवरणों को खोज ले जिन्हें एक "वन-साइज़-फिट्स-ऑल" सर्च अक्सर मिस कर देता है।

3. "सिलेक्टिव मिक्सर" (बाइपार्टाइट स्पार्स क्रॉस-अटेंशन - Bipartite Sparse Cross-Attention)
अब AI के पास चित्र के विवरण और पुस्तकालय के तथ्य हैं। इसे उत्तर बनाने के लिए उन्हें आपस में मिलाना होगा। सामान्य रूप से, कंप्यूटर चित्र के हर डेटा को पुस्तकालय के हर डेटा के साथ जोड़ने की कोशिश करता है। यह एक स्टेडियम में मौजूद हर व्यक्ति से एक साथ हाथ मिलाने की कोशिश करने जैसा है। SKIP अधिक स्मार्ट है; यह केवल उन जोड़ों के साथ हाथ मिलाता है जो वास्तव में समझ में आते हैं। यदि फोटो का एक हिस्सा "कुत्ते" के बारे में है और पुस्तकालय का एक हिस्सा "बेकिंग" के बारे में है, तो SKIP उस कनेक्शन को पूरी तरह से अनदेखा कर देता है। यह भारी मात्रा में ऊर्जा बचाता है।

4. "डिफिकल्टी जज" (एडैप्टिव बजट कंट्रोलर - Adaptive Budget Controller)
SKIP के पास एक छोटा मैनेजर है जो सवाल को देखता है और पूछता है, "क्या यह कठिन है या आसान?" यदि सवाल सरल है, जैसे "कार के कितने पहिये हैं?", तो मैनेजर कहता है, "पुस्तकालय जाने की कोई आवश्यकता नहीं है!" और AI तुरंत उत्तर दे देता है। यदि सवाल जटिल है, जैसे "इस विशिष्ट कार मॉडल के इंजन का आविष्कार किसने किया?", तो मैनेजर कहता है, "ठीक है, पूरी टीम का उपयोग करें और पूरा पुस्तकालय देखें।" इसका मतलब है कि कंप्यूटर आसान सवालों पर ऊर्जा बर्बाद नहीं करता है।

5. "स्पीड-रनर" (स्पेक्टेटिव नॉलेज वेरिफिकेशन - Speculative Knowledge Verification)
अंत में, SKIP के पास एक छोटा, तेज़ सहायक है जो तुरंत उत्तर का अनुमान लगाने की कोशिश करता है। यदि सहायक बहुत आश्वस्त है, तो SKIP बस उस अनुमान को स्वीकार कर लेता है और लंबी, धीमी प्रक्रिया को छोड़ देता है। यदि सहायक अनिश्चित है, तो पूरी, धीमी टीम काम में आती है। यह एक छात्र द्वारा अपने गणित के होमवर्क को जल्दी से चेक करने जैसा है; यदि उसे यकीन है कि उसने सही किया है, तो उसे सब कुछ फिर से कैलकुलेट करने की आवश्यकता नहीं है।

उन्होंने क्या पाया?
शोधकर्ताओं ने SKIP का परीक्षण पांच अलग-अलग कठिन क्विज़ पर किया जिनमें चित्र और ज्ञान शामिल थे। उन्होंने पाया कि SKIP उतनी ही सटीकता के साथ सवालों के जवाब दे सकता है जितना कि विशाल, धीमे सिस्टम, लेकिन इसने 3.4 से 6.8 गुना कम कंप्यूटर पावर (FLOPs में मापा गया) का उपयोग किया और यह 2.7 गुना तेज़ था।

वास्तव में, सबसे कठिन परीक्षणों में, जहाँ उत्तर एक चित्र में सूक्ष्म विवरणों को खोजने पर निर्भर था, SKIP ने वास्तव में बड़े सिस्टम की तुलना में अधिक सवाल सही हल किए। यह सुझाव देता है कि शोर (noise) को अनदेखा करके और केवल उसी पर ध्यान केंद्रित करके जो महत्वपूर्ण है, AI वास्तव में बेहतर प्रदर्शन करता है। शोध पत्र में एक गणितीय प्रमाण भी शामिल है जो बताता है कि किसी प्रश्न का उत्तर देने के लिए आवश्यक सूचना की मात्रा चित्र के आकार की तुलना में बहुत धीमी गति से बढ़ती है, जो यह समझाता है कि चित्र का 90% हिस्सा क्यों हटा देना इतना प्रभावी है।

यह क्या नहीं करता
यह ध्यान रखना महत्वपूर्ण है कि SKIP कोई जादू नहीं है। शोधकर्ता स्वीकार करते हैं कि यह अभी भी उन सवालों के साथ संघर्ष करता है जिनमें बहुत जटिल, बहु-चरणीय तर्क (जैसे तीन अलग-अलग तथ्यों को जोड़ना) की आवश्यकता होती है या उन अत्यंत दुर्लभ चीजों के बारे में सवाल जो पुस्तकालय में कम दिखाई देते हैं। साथ ही, यदि किसी सवाल के लिए पुस्तकालय अनुसंधान की बिल्कुल भी आवश्यकता नहीं है, तो SKIP को उतनी बड़ी स्पीड बूस्ट नहीं मिलती, क्योंकि मुख्य बचत पुस्तकालय खोज को छोड़ने और डेटा के भारी मिश्रण से आती है।

निष्कर्ष (The Bottom Line)
SKIP हमें दिखाता है कि हमें हर समस्या के माध्यम से ज़बरदस्ती (brute-force) आगे बढ़ने की आवश्यकता नहीं है। AI को चयनात्मक बनाना सिखाकर—चित्र के उबाऊ हिस्सों को अनदेखा करना, पुस्तकालय को विशिष्ट प्रश्न पूछना, और यह जानना कि शॉर्टकट कब लेना है—हम ऐसे सिस्टम बना सकते हैं जो तेज़, सस्ते और आज के दिग्गजों जितने ही स्मार्ट हों। यह हमें याद दिलाता है कि कभी-कभी, यह जानना कि किसे नहीं देखना है, सबसे महत्वपूर्ण कौशल होता है।

तकनीकी सारांश: सेलियंट नॉलेज पाथवेज़ (SKIP)

समस्या विवरण (Problem Statement)
नॉलेज-इंटेंसिव मल्टीमॉडल क्वेश्चन आंसरिंग (KI-MMQA) के लिए मॉडल्स को ऐसे विजुअल प्रश्नों के उत्तर देने की आवश्यकता होती है जिन्हें केवल इमेज कंटेंट से हल नहीं किया जा सकता, जिसके लिए बाहरी विश्व ज्ञान (external world knowledge) प्राप्त करने की आवश्यकता होती है। वर्तमान अत्याधुनिक सिस्टम एक "डेंस प्राइसिंग" (dense pricing) समस्या का सामना करते हैं: वे प्रत्येक क्वेरी के लिए तीन महंगी प्रिमिटिव्स (primitives) की पूर्ण कम्प्यूटेशनल लागत समान रूप से वहन करते हैं, चाहे क्वेरी की वास्तविक जटिलता या सूचना संबंधी आवश्यकता कुछ भी हो। इन लागतों में शामिल हैं:

लॉन्ग विजुअल टोकन सीक्वेंस (Long Visual Token Sequences): आधुनिक विजन एनकोडर सैकड़ों पैच टोकन (जैसे, 576) उत्सर्जित करते हैं, जिनमें से अधिकांश एक विशिष्ट प्रश्न के लिए अप्रासंगिक होते हैं।
डेंस रिट्रीवल (Dense Retrieval): ग्लोबल इमेज-क्वेश्चन क्वेरीज का उपयोग करके बड़े बाहरी कॉर्पोरा (लाखों पैसेज) की खोज करना।
फुल क्रॉस-मोडल फ्यूजन (Full Cross-Modal Fusion): सभी विजुअल टोकन, क्वेश्चन टोकन और सभी रिट्रीव किए गए नॉलेज चंक्स के यूनियन पर अटेंशन देना, जिसके परिणामस्वरूप क्वाड्रेटिक अटेंशन लागत आती है।

यह समान लागत संरचना KI-MMQA सिस्टम को ऑन-डिवाइस डिप्लॉयमेंट और इंटरैक्टिव अनुप्रयोगों के लिए अत्यधिक महंगा बना देती है, जो $O(V \cdot T \cdot K \cdot d)$ के रूप में स्केल करती है, जहाँ $V$ विजुअल टोकन है, $T$ प्रश्न की लंबाई है, $K$ रिट्रीव किए गए चंक्स हैं, और $d$ मॉडल की चौड़ाई है। लेखक देखते हैं कि क्वेरीज की सूचनात्मक आवश्यकताएं अत्यधिक असमान हैं; कुछ के लिए सटीक विजुअल लोकलाइजेशन और न्यूनतम रिट्रीवल की आवश्यकता होती है, जबकि अन्य के लिए न्यूनतम विजुअल ग्राउंडिंग के साथ व्यापक रिट्रीवल की आवश्यकता होती है।

कार्यप्रणाली: SKIP आर्किटेक्चर (Methodology: SKIP Architecture)
लेखक SKIP (सेलियंट नॉलेज-इंजेक्टेड पाथवेज़) पेश करते हैं, जो एक एकीकृत अनुमान आर्किटेक्चर (unified inference architecture) है जो स्पार्स, क्वेश्चन-कंडीशनल पाथवेज़ के माध्यम से कम्प्यूटेशन को रूट करता है। स्पर्सिटी (sparsity) को एक अलग अनुकूलन के रूप में मानने के बजाय, SKIP इसे विजुअल एनकोडिंग, रिट्रीवल और फ्यूजन चरणों में कंपोजिशनल रूप से लागू करता है। सिस्टम में पांच सीखे गए घटक (learned components) शामिल हैं:

क्वेश्चन-गाइडेड विजुअल सैलिएंसी (QVS): एक क्रॉस-अटेंशन मॉड्यूल जो रिट्रीवल होने से पहले प्रश्न की प्रासंगिकता के आधार पर विजुअल टोकन को स्कोर करता है। अप्रासंगिक टोकन को जल्दी से हटाकर (pruning), QVS यह सुनिश्चित करता है कि बाद की रिट्रीवल क्वेरीज केवल प्रश्न-प्रासंगिक क्षेत्रों से प्राप्त की जाएं, जिससे बैकग्राउंड नॉइज़ द्वारा रिट्रीवल सिग्नल को पतला होने से रोका जा सके।
रीजन-कंडीशनल स्पार्स रिट्रीवल (RCSR): एक सिंगल ग्लोबल क्वेरी के बजाय, RCSR रिटेन किए गए विजुअल टोकन को सेलियंट रीजन्स में क्लस्टर करता है और प्रत्येक क्षेत्र के लिए अलग-अलग रिट्रीवल क्वेरीज जारी करता है। यह दृष्टिकोण उन जानकारियों को सामने लाता है जो छोटे, डिस्क्रिमिनेटिव इमेज एरिया (जैसे, लोगो, टेक्स्ट, फाइन-ग्रेंड एंटिटीज) से जुड़ी होती हैं जिन्हें ग्लोबल रिट्रीवल अक्सर मिस कर देता है।
बायपार्टाइट स्पार्स क्रॉस-अटेंशन (BSCA): एक ऑपरेटर जो (विजुअल टोकन, नॉलेज चंक) जोड़ों तक अटेंशन को सीमित करता है जो एक सीखे गए कम्पैटिबिलिटी थ्रेशोल्ड से अधिक होते हैं। यह स्ट्रक्चरली अप्रासंगिक क्रॉस-मोडल एड्ज को स्किप करके डोमिनेंट फ्यूजन FLOP टर्म को एक क्रम (order of magnitude) तक कम कर देता है।
डिफिकल्टी-एडेप्टिव बजट कंट्रोलर (DBC): एक लाइटवेट MLP जो ग्लोबल इमेज-क्वेश्चन फीचर्स के आधार पर प्रति-क्वेरी कंप्यूट बजट (विजुअल टोकन $V'$ और रिट्रीव किए गए चंक्स $K'$ की संख्या) का अनुमान लगाता है। यह आसान क्वेरीज के लिए क्षमता को कम करता है और कठिन क्वेरीज पर क्षमता केंद्रित करता है, बिना किसी मैनुअल डिफिकल्टी लेबल के।
स्पेक्टेटिव नॉलेज वेरिफिकेशन (SKV): एक छोटा "ड्राफ्टर" मॉडल जो यह निर्धारित करने के लिए कि क्या पूर्ण रिट्रीवल आवश्यक है, आसान क्वेरीज (जैसे, काउंटिंग, स्पैटियल प्रश्न) का स्पेक्टेटिवली उत्तर देता है। यदि ड्राफ्टर कॉन्फिडेंट है, तो पाइपलाइन शॉर्ट-सर्किट हो जाती है; अन्यथा, फुल पाइपलाइन चलती है। यह 34–41% क्वेरीज को फास्ट पाथ के माध्यम से रूट करता है।

सैद्धांतिक योगदान (Theoretical Contribution)
पेपर पीसवाइज-लिप्सचिट्ज़ म्यूचुअल इंफॉर्मेशन एसेम्पशन के तहत एक इंफॉर्मेशन-बॉटलनेक बाउंड (थ्योरम 4.3) व्युत्पन्न करता है। यह सिद्ध करता है कि इष्टतम विजुअल स्पर्सिटी रेट $O(1/\sqrt{V})$ के रूप में स्केल करता है (विशेष रूप से $V' \ge C \cdot \sqrt{V} \cdot \log(1/\varepsilon)$ ) ताकि डेंस बेसलाइन के $\varepsilon$ के भीतर सटीकता बरकरार रखी जा सके। यह इस अनुभवजन्य अवलोकन के लिए एक सैद्धांतिक औचित्य प्रदान करता कि उच्च-सटीक KI-MMQA के लिए विजुअल टोकन का एक छोटा हिस्सा पर्याप्त है।

प्रायोगिक परिणाम (Experimental Results)
SKIP का मूल्यांकन पांच KI-MMQA बेंचमार्क पर किया गया: OK-VQA, A-OKVQA, InfoSeek, Encyclopedic-VQA, और ViQuAE।

सटीकता (Accuracy): SKIP सभी डेटासेट्स पर मजबूत डेंस बेसलाइन्स (जैसे, RA-CM3) की सटीकता से मेल खाता है या उससे बेहतर प्रदर्शन करता है। विशेष रूप से, यह सबसे मजबूत बेसलाइन पर +2.7 से +4.3 सटीकता पॉइंट्स से सुधार करता है, जिसमें सबसे अधिक लाभ एंटिटी-सेंट्रिक और फाइन-ग्राइंड टास्क पर होता है जहाँ नॉलेज एक्सेस महत्वपूर्ण है।
दक्षता (Efficiency): SKIP डेंस बेसलाइन्स की तुलना में 3.4–6.8× कम FLOPs और 2.7× कम एंड-टू-एंड लेटेंसी का उपयोग करके ये परिणाम प्राप्त करता है।
कंप्यूट-एक्यूरेसी फ्रंटियर (Compute-Accuracy Frontier): OK-VQA बेंचमार्क पर, SKIP सभी बेसलाइन्स को पारेटो-डोमिनेट (Pareto-dominate) करता है, डेंस सिस्टम्स की तुलना में 5× कम कंप्यूट के साथ >59% सटीकता बनाए रखता है। समान FLOP बजट पर, SKIP रिट्रीवल-फ्री मॉडल्स (जैसे, OK-VQA पर BLIP-2 पर +17.3 पॉइंट्स) से काफी बेहतर प्रदर्शन करता है।
एब्लेशन (Ablations): किसी भी एकल घटक को हटाने से प्रदर्शन कम हो जाता है। QVS को सटीकता के लिए सबसे महत्वपूर्ण घटक के रूप में पहचाना गया है; इसे रैंडम प्रूनिंग के साथ बदलने पर सटीकता 9.1 पॉइंट्स गिर जाती है। BSCA मुख्य रूप से एफिशिएंसी का चालक है, जो नगण्य सटीकता हानि के साथ FLOPs को एक क्रम (order of magnitude) तक कम करता है।

महत्व और दावे (Significance and Claims)
लेखक दावा करते हैं कि SKIP पहला ऐसा सिस्टम है जो एक यूनिफाइड, क्वेश्चन-कंडीशनल रूटिंग पॉलिसी के तहत विजुअल स्पर्सिटी और रिट्रीवल स्पर्सिटी को संयुक्त रूप से ऑप्टिमाइज़ करता है। पेपर तर्क देता है कि नॉलेज-इंटेंसिव मल्टीमॉडल इन्फरेंस स्वाभाविक रूप से वर्तमान सिस्टमों की तुलना में अधिक स्पर्स है। स्पर्सिटी को मॉडलिटीज और रिट्रीवल को कवर करने वाले एक फर्स्ट-क्लास डिज़ाइन प्रिंसिपल के रूप में मानकर, SKIP पर्याप्त कम्प्यूटेशनल हेडरूम अनलॉक करता है। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण केवल सटीकता के बदले गति का व्यापार नहीं करता है; बल्कि, रिट्रीवल और फ्यूजन की लागत को कम करके, सिस्टम बड़े प्रभावी कॉर्पोरा से रिट्रीव करने और समृद्ध कॉन्टेक्स्ट को फ्यूज करने का खर्च उठा सकता है, जिससे डेंस बेसलाइन्स की तुलना में सटीकता में सुधार होता है। सैद्धांतिक बाउंड और अनुभवजन्य परिणाम संरेखित हैं, जो सुझाव देते हैं कि KI-MMQA क्वेरीज की लो-डायमेंशनल संरचना का कुशलतापूर्वक उपयोग किया जा सकता है।

तकनीकी सारांश: सेलियंट नॉलेज पाथवेज़ (SKIP)

इसी तरह के और पेपर