💬 NLP

UniHEAR: Unified Heterogeneous-Source Attentive Retrieval for Knowledge-Based Visual Question Answering

UniHEAR एक एकीकृत, हल्का ढांचा है जो नॉलेज-बेस्ड विजुअल क्वेश्चन अनस्विंग में सिंगल-सोर्स रिट्रीवल और सोर्स-ब्लाइंड रीरैंकिंग की सीमाओं को दूर करने के लिए एक कोर्स रिट्रीवल डिस्क्रिप्टर, रिट्रीवल-गाइडेड अटेंटिव मोडैलिटी गेटिंग और एंट्रॉपी-वेटेड सोर्स फ्यूजन का उपयोग करता है ताकि E-VQA और InfoSeek बेंचमार्क पर अत्याधुनिक प्रदर्शन प्राप्त किया जा सके।

मूल लेखक: Ganzhong Luo, Yang Ren, Hanyong Wang, Shuyu Zheng, Menglong Yang

प्रकाशित 2026-08-04

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ganzhong Luo, Yang Ren, Hanyong Wang, Shuyu Zheng, Menglong Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कठिन पहेली सुलझाने की कोशिश कर रहे हैं, लेकिन इसका उत्तर आपके सामने रखी तस्वीर में नहीं छिपा है; बल्कि यह किताबों, वेबसाइटों और तस्वीरों के एक विशाल पुस्तकालय में छिपा है जिसे आप देख नहीं सकते। यह नॉलेज-बेस्ड विजुअल क्वेश्चन अनस्वर्सिंग (KB-VQA) की दुनिया है। यह आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ एक कंप्यूटर एक छवि को देखता है, उसके बारे में एक प्रश्न पढ़ता है, और फिर उसे बाहरी दुनिया से सही तथ्य खोजने पड़ते हैं ताकि वह एक समझदारी भरा उत्तर दे सके। इसे एक ऐसे जासूस की तरह समझें जो अपराध स्थल को तो देख सकता है लेकिन संदिग्ध को जानने के लिए उसे पुलिस डेटाबेस की जांच करने की आवश्यकता होती है।

लंबे समय तक, इन AI जासूसों को एक बड़ी समस्या थी: वे सही सुराग खोजने में बहुत खराब थे। वे आमतौर पर केवल एक ही तरीके पर निर्भर रहते थे। कभी-कभी वे केवल उन तस्वीरों की तलाश करते थे जो सवाल वाली तस्वीर जैसी दिखती थीं (जैसे कि एक जुड़वां को ढूंढना), और कभी-कभी वे केवल उस टेक्स्ट की तलाश करते थे जो सवाल जैसा सुनाई देता था (जैसे कि एक समानार्थी शब्द ढूंढना)। लेकिन क्या होगा अगर उत्तर उस तस्वीर में हो जो मूल तस्वीर जैसी बिल्कुल नहीं दिखती, या उस टेक्स्ट में हो जो बिल्कुल उन्हीं शब्दों का उपयोग नहीं करता? AI उसे चूक जाता। इसके अलावा, भले ही उन्होंने संभावित सुरागों की एक सूची ढूंढ ली हो, वे अक्सर इस बात के प्रति "अंधे" होते थे कि वे सुराग कहाँ से आए हैं, जिससे वे एक धुंधले अनुमान को एक ठोस हिट के समान ही मानते थे। यह पेपर UniHEAR नामक एक नई प्रणाली पेश करता है जो इन गलतियों को ठीक करती है क्योंकि यह AI को एक साथ दो अलग-अलग तरीकों से खोजने की अनुमति देती है और फिर यह तय करने के लिए एक चतुर तकनीक का उपयोग करती है कि कौन से सुराग सबसे अच्छे हैं।

जासूस का नया टूलकिट: UniHEAR

UniHEAR से मिलिए, एक नया, हल्का AI फ्रेमवर्क जिसे विजुअल पहेलियों के लिए परम जासूस बनने के लिए डिज़ाइन किया गया है। लेखकों ने, जो सिचुआन यूनिवर्सिटी की एक टीम है, महसूस किया कि मौजूदा AI सिस्टम दो बड़े जाल में फंसे हुए थे।

जाल #1: एक आँख वाला सर्च (The One-Eyed Search)
कल्पना कीजिए कि आप एक खोए हुए कुत्ते को ढूंढ रहे हैं। यदि आप केवल उन लोगों से पूछते हैं जिन्होंने बिल्कुल आपके कुत्ते जैसा दिखने वाला कुत्ता देखा है, तो आप उस व्यक्ति को मिस कर सकते हैं जिसने बिल्कुल आपके कुत्ते की तरह भौंकने वाला कुत्ता देखा था। मौजूदा AI सिस्टम अक्सर ऐसा ही करते थे। वे या तो विजुअल मैच (इमेज-टू-इमेज) या टेक्स्ट मैच (इमेज-टू-टेक्स्ट) की तलाश करते थे, लेकिन शायद ही कभी दोनों की। इससे एक "सिंगल-सोर्स रिट्रीवल बॉटलनेक" पैदा हुआ। यदि सही उत्तर केवल टेक्स्ट सर्च में था, तो विजुअल सर्च विफल हो जाता, और इसके विपरीत भी। परिणाम? AI उन वास्तविक तथ्यों को मिस कर जाता जिनकी उसे उत्तर देने के लिए आवश्यकता थी।

जाल #2: बिना जानकारी वाला सॉर्टर (The Clueless Sorter)
एक बार जब AI ने संभावित सुरागों की एक सूची ढूंढ ली, तो उसे सबसे अच्छे को खोजने के लिए उन्हें छांटना पड़ता था। पुराना तरीका एक ऐसे लाइब्रेरियन की तरह था जो हर किताब को बिल्कुल एक जैसा मानता है, चाहे वह "इतिहास" अनुभाग से आई हो या "फिक्शन" अनुभाग से। पेपर इसे "रिट्रीवल-सोर्स-ब्लाइंड रीरैंकिंग" कहता है। AI इस तथ्य को अनदेखा कर देता था कि कुछ सुराग मजबूत विजुअल मैच थे जबकि अन्य मजबूत टेक्स्ट मैच थे, जिससे वह अनावश्यक जानकारी पर समय बर्बाद करता था और गलत उत्तरों को शीर्ष पर रैंक कर देता था।

UniHEAR रहस्य को कैसे सुलझाता है

UniHEAR खेल बदल देता है क्योंकि यह एक ऐसे जासूस की तरह काम करता है जो एक साथ दो अलग-अलग सर्च इंजन का उपयोग करता है और फिर विजेता चुनने के लिए एक स्मार्ट फिल्टर का उपयोग करता है।

चरण 1: डबल सर्च (The Double Search)
केवल एक तरीके से खोजने के बजाय, UniHEH एक ही समय में दो अलग-अलग "पुस्तकालयों" को सवाल भेजता है:

विजुअल लाइब्रेरी: यह उन छवियों की तलाश करता है जो सवाल में दी गई छवि जैसी दिखती हैं।
टेक्स्ट लाइब्रेरी: यह उन टेक्स्ट सारांशों की तलाश करता है जो सवाल के अर्थ से मेल खाते हैं।
यह दोनों के परिणामों को एक विशाल "कैंडिडेट पूल" में मिला देता है। यह सुनिश्चित करता है कि यदि उत्तर किसी तस्वीर या पैराग्राफ में छिपा है, तो वह मिल जाए।

चरण 2: हर सुराग के लिए "आईडी कार्ड" (The "ID Card" for Every Clue)
यही चतुर हिस्सा है। उस विशाल पूल में मिले प्रत्येक सुराग (या "एंटिटी") के लिए, UniHEAR एक विशेष कोर्स रिट्रीवल डिस्क्रिप्टर (Coarse Retrieval Descriptor) बनाता है। इसे उस सुराग के लिए एक "आईडी कार्ड" के रूप में समझें। यह कार्ड केवल यह नहीं कहता कि "मुझे यह मिला"; यह रिकॉर्ड करता है कि यह कैसे मिला। यह नोट करता है:

यह सूची में कितनी ऊंचाई पर था?
सर्च इंजन कितना आश्वस्त (confident) था?
सर्च इंजन को इसे खोजने में कितनी "आश्चर्य" (entropy) हुई?
यह आईडी कार्ड सिस्टम को बताता है, "हे, यह सुराग टेक्स्ट सर्च से आया था और इसे नंबर 1 पर रखा गया था, जबकि वह इमेज सर्च से आया था और इसे नंबर 5 पर रखा गया था।"

चरण 3: स्मार्ट फिल्टर (The Smart Filter - Retrieval-Guided Gating)
अब छंटनी आती है। पुराने सिस्टम सभी सुरागों के साथ एक जैसा व्यवहार करते थे। UniHEAR एक नया मॉड्यूल उपयोग करता है जिसे रिट्रीवल-गाइडेड अटेंटिव मोडैलिटी गेटिंग (Retrieval-Guided Attentive Modality Gating) कहा जाता है। इसे एक क्लब के बाउंसर की तरह समझें जो क्लब में प्रवेश करने वाले हर व्यक्ति के आईडी कार्ड को देखता है।

यदि कोई सुराग विजुअल सर्च से आया है, तो बाउंसर जानता है कि विजुअल हिस्सा पहले से ही "सिद्ध" है, इसलिए उसे विजुअल फीचर्स पर दोबारा ध्यान केंद्रित करने की आवश्यकता नहीं है। वह अपना ध्यान टेक्स्ट की ओर स्थानांतरित कर देता है।
यदि कोई सुराग टेक्स्ट सर्च से आया है, तो वह विजुअल विवरणों की ओर ध्यान केंद्रित करता है।
यह AI को एक ही चीज़ को दो बार देखने के लूप में फंसने से रोकता है। यह तय करने के लिए कि तस्वीर बनाम शब्दों को कितना वजन देना है, "आईडी कार्ड" का उपयोग करता है।

चरण 4: अंतिम मिश्रण (The Final Mix)
अंत में, UniHEH एक "ट्रेनिंग-फ्री" बोनस जोड़ता है। यह सर्च इंजन के मूल स्कोर को नए स्मार्ट सॉर्टिंग स्कोर के साथ मिलाता है, जिसके लिए एन्ट्रॉपी-वेटेड सोर्स फ्यूजन (Entropy-Weighted Source Fusion) नामक विधि का उपयोग किया जाता है। यह सुनिश्चित करता है कि यदि कोई सर्च इंजन बहुत आश्वस्त (लो एन्ट्रॉपी) था, तो उसके सुरागों को थोड़ा अतिरिक्त बढ़ावा मिले।

परिणाम: तेज़ और स्मार्ट

लेखकों ने UniHEAR का परीक्षण दो प्रमुख डेटासेट्स, E-VQA और InfoSeek पर किया, जो इन AI जासूसों के लिए "फाइनल एग्जाम" की तरह हैं।

सुराग खोजने में बेहतर: E-VQA टेस्ट पर, UniHEH ने पिछले सबसे मजबूत मेथड की तुलना में "Recall@1" स्कोर (सबसे पहले सही उत्तर को खोजने की क्षमता) में 6.7 अंक का सुधार किया। InfoSeek पर, इसमें 1.2 अंक का सुधार हुआ। इसका मतलब है कि इसने पहले की तुलना में बहुत अधिक बार सही उत्तर पाया।
प्रश्नों के उत्तर देने में बेहतर: जब वास्तव में प्रश्नों के उत्तर देने की बात आई, तो UniHEH ने अत्याधुनिक (state-of-the-art) परिणाम प्राप्त किए। उदाहरण के लिए, E-VQA डेटासेट पर, इसने 53.2% स्कोर किया, जो बहुत बड़े और भारी मॉडल्स का उपयोग करने वाले अन्य टॉप मेथड्स को भी पीछे छोड़ दिया।
हल्का (Lightweight): अधिक काम करने के बावजूद (दो स्रोतों से खोजना और जटिल फिल्टर का उपयोग करना), UniHEH आश्चर्यजनक रूप रूप से हल्का है। यह केवल 197 मिलियन पैरामीटर्स वाला मॉडल उपयोग करता है, जबकि इसके प्रतिस्पर्धी अक्सर 1.2 बिलियन से 1.7 बिलियन पैरामीटर्स वाले मॉडल का उपयोग करते हैं। यह एक सुपरकंप्यूटर की शक्ति को एक बैकपैक में पाने जैसा है।

इसका क्या अर्थ है

पेपर स्पष्ट रूप से इस विचार का खंडन करता है कि हमें केवल एक प्रकार के सर्च पर निर्भर रहने की आवश्यकता है या हम इस बात को अनदेखा कर सकते हैं कि जानकारी का स्रोत क्या है। लेखक तर्क देते हैं कि जानकारी के "स्रोत" को अनदेखा करने से गलतियाँ होती हैं। यह साबित करके कि विजुअल और टेक्स्ट सर्च को मिलाना और फिर एक स्मार्ट, सोर्स-अवेयर फिल्टर का उपयोग करना बेहतर काम करता है, UniHEH भविष्य के लिए एक नया रास्ता दिखाता है। यह दर्शाता है कि स्मार्ट होने के लिए आपको एक विशाल, भारी दिमाग की आवश्यकता नहीं है; आपको बस यह जानने की आवश्यकता है कि सही जगहों पर कैसे देखना है और सही सुरागों को कैसे सुनना है।

संक्षेप-में, UniHEH एक हल्का, तेज़ और अधिक सटीक जासूस है जो जानता है कि विजुअल रहस्यों को सुलझाने के लिए अपनी आँखों और अपने चश्मे (रीडिंग ग्लासेस) दोनों का उपयोग कैसे करना है, यह साबित करते हुए कि कभी-कभी, सत्य को खोजने का सबसे अच्छा तरीका इसे एक साथ दो अलग-अलग कोणों से देखना होता है।

तकनीकी सारांश: UniHEAR

समस्या विवरण (Problem Statement)

ज्ञान-आधारित विजुअल क्वेश्चन अनswering (KB-VQA) के लिए मॉडलों को विजुअल इनपुट पर आधारित प्रश्नों के उत्तर देने हेतु बाहरी एंटिटी ज्ञान (जैसे विकिपीडिया से) प्राप्त करने की आवश्यकता होती है। मौजूदा रिट्रीवल-अगमेंटेड सिस्टम दो महत्वपूर्ण सीमाओं का सामना करते हैं:

एकल-स्रोत रिट्रीवल बाधा (Single-Source Retrieval Bottleneck): वर्तमान सिस्टम आमतौर पर एक ही रिट्रीवल मोडैलिटी पर निर्भर करते हैं, जो या तो इमेज-टू-इमेज (I2I) हो या इमेज-टू-टेक्स्ट (I2T)। ये मोडैलिटीज़ काफी भिन्न होती हैं; I2I रूपात्मक समानता (रंग, आकार) को प्राथमिकता देता है, जबकि I2T सिमेंटिक निरंतरता पर जोर देता है। फलस्वरूप, सीमित रिट्रीवल बजट के तहत, ग्राउंड-ट्रुथ एंटिटीज अक्सर केवल एक स्रोत द्वारा कैप्चर की जाती हैं, जिससे एकल-स्रोत रिट्रीवल स्वाभाविक रूप से अधूरा हो जाता है और VQA की ऊपरी सटीकता (upper bound) को बाधित करता है।
रिट्रीवल-सोर्स-ब्लाइंड रेंकिंग (Retrieval-Source-Blind Reranking): मौजूदा रेंकर अक्सर सभी उम्मीदवारों (candidates) के लिए समान मोडैलिटी अटेंशन असाइन करते हैं, जो रिट्रीवल के मूल (origins) और मोटे तौर पर किए गए कोर्स रिट्रीवल चरण के दौरान स्थापित कैंडिडेट-लेवल प्रायर्स (priors) की अनदेखी करते हैं। इससे उन मोडैलिटीज पर अनावश्यक निर्भरता बढ़ती है जिनका पहले ही बड़े पैमाने पर कोर्स रिट्रीवर्स द्वारा उपयोग किया जा चुका है, जिससे रेंकिंग प्रक्रिया की विभेदन क्षमता (discriminability) कम हो जाती है और ग्राउंड-ट्रुथ एंटिटीज की गलत रैंकिंग होने लगती है।

कार्यप्रणाली (Methodology): UniHEAR

लेखक UniHEAR (यूनिफाइड हेटेरोजीनियस-सोर्स अटेंटिव रिट्रीवल) प्रस्तावित करते हैं, जो एक हल्का (lightweight) फ्रेमवर्क है जिसे एक एकीकृत वास्तुकला के माध्यम से कोर्स रिट्रीवल और फाइन-ग्रेन्ड रेंकिंग को जोड़ने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क तीन चरणों में कार्य करता है:

1. हेटेरोजीनियस-सोर्स कोर्स-ग्रेन्ड रिट्रीवल (Heterogeneous-Source Coarse-Grained Retrieval)

सिस्टम एक साथ क्वेरी इमेज को दो पूरक ज्ञान आधार स्रोतों: एंटिटी इमेजेस (I2I) और टेक्स्टुअल समरी (I2T) के विरुद्ध मैच करता है।

कैंडिडेट पूल (Candidate Pool): दोनों स्रोतों से शीर्ष- $k$ उम्मीदवारों का संघ (union) एक एकीकृत कैंडिडेट पूल बनाता है, जो पूरक कवरेज सुनिश्चित करता है।
कोर्स रिट्रीवल डिस्क्रिप्टर (Coarse Retrieval Descriptor - CRD): प्रत्येक उम्मीदवार एंटिटी को एक डिस्क्रिप्टर $D(e)$ $D (e)$ द्वारा वर्णित किया जाता है जो रिट्रीवल साक्ष्य को प्रायोर गाइडेंस के रूप में एनकोड करता है। इस डिस्क्रिप्टर में शामिल हैं:
- प्रत्येक स्रोत के भीतर सामान्यीकृत रैंक ( $r_s$ )।
- रॉ सिमिलैरिटी स्कोर ( $sim_s$ ) और z-नॉर्मलाइज्ड सिमिलैरिटी ( $z_s$ )।
- शीर्ष-रैंक वाली एंटिटी के साथ सिमिलैरिटी गैप ( $\delta_s$ )।
- रिट्रीवल डिस्ट्रीब्यूशन के संकेंद्रण और स्रोत विश्वसनीयता को मापने के लिए पूल-लेवल एंट्रॉपी ( $H_s$ )।
  यह डिस्क्रिप्टर बड़े पैमाने के कोर्स रिट्रीवर्स और हल्के रेंकर के बीच के अंतर को पाटता है।

2. रिट्रीवल-गाइडेड मल्टीमॉडल एंटिटी रेंकिंग (Retrieval-Guided Multimodal Entity Reranking)

यह चरण VISTA आर्किटेक्चर पर निर्मित एक हल्के रेंकर का उपयोग करता है, जिसे दो नवीन मॉड्यूल्स द्वारा उन्नत किया गया है:

रिट्रीवल-गाइडेड अटेंटिव मोडैलिटी गेटिंग (Retrieval-Guided Attentive Modality Gating - RAMG): सभी उम्मीदवारों के साथ समान व्यवहार करने के बजाय, RAMG कोर्स रिट्रीवल डिस्क्रिप्टर के आधार पर मोडैलिटी अटेंशन वेट्स को कंडिशन करता है। यह अटेंशन लॉजिट्स को एडजस्ट करने के लिए डिस्क्रिप्टर से प्राप्त एफाइन मॉड्यूलेशन पैरामीटर्स ( $\gamma, \beta$ ) का उपयोग करता है। यह मॉडल को उन मोडैलिटीज पर निर्भरता कम करने की अनुमति देता जिनका पहले ही कोर्स रिट्रीवल के दौरान उपयोग किया जा चुका है (जैसे, I2I के माध्यम से पहले से कन्फर्म किए गए उम्मीदवारों के लिए विजुअल अटेंशन को कम करना) और मोडैलिटी-विशिष्ट रिप्रेजेंटेशन्स ( $C_{it}, C_t, C_i$ ) को एक एकीकृत फ्यूज्ड रिप्रेजेंटेशन में एकत्रित करता है।
एंट्रॉपी-वेटेड सोर्स फ्यूजन (Entropy-Weighted Source Fusion - EWSF): यह मॉड्यूल सीखे गए रेंकिंग स्कोर के पूरक के रूप में, बिना किसी अतिरिक्त ट्रेनिंग के, कोर्स रिट्रीवल प्रायर्स को पुन: सम्मिलित करता है। यह नॉर्मलाइज्ड रैंक और पूल एंट्रॉपी द्वारा सोर्स-विशिष्ट स्कोर को वेट करता है, फिर उन्हें पूल-मीन रेशियो के माध्यम से कैलिब्रेट करता है और फिर उन्हें सीखे गए रेंकिंग स्कोर के साथ फ्यूज करता है।

3. मल्टी-एंटिटी सेक्शन-अगमेंटेड जनरेशन (Multi-Entity Section-Augmented Generation)

अंतिम उत्तर जनरेशन के लिए, फ्रेमवर्क शीर्ष- $k_e$ रेंक्ड एंटिटीज के सेक्शन्स को एकत्रित करता है।

सेक्शन सिलेक्शन (Section Selection): यह फाइन-ग्रेन्ड सेक्शन-लेवल IT2T सिमिलैरिटी को एंटिटी-लेवल रिट्रीवल स्कोर के साथ जोड़ता है।
रैंक-प्रोपोर्शनल एलोकेशन (Rank-Proportional Allocation): सेक्शन्स को एंटिटी की रैंक के अनुपात में आवंटित किया जाता है (उदाहरण के लिए, शीर्ष-रैंक वाली एंटिटी को कम रैंक वाली एंटिटी की तुलना में अधिक सेक्शन मिलते हैं) ताकि सबसे भरोसेमंद एंटिटीज पर कॉन्टेक्स्ट बजट केंद्रित रहे।
जनरेशन (Generation): एक मल्टीमॉडल लार्ज लैंग्वेज मॉडल (MLLM) इनपुट इमेज, प्रश्न और एकत्रित किए गए रिट्रीव्ड सेक्शन्स के आधार पर अंतिम उत्तर उत्पन्न करता है।

ट्रेनिंग स्ट्रैटेजी (Training Strategy)

UniHEAR एक हाइब्रिड ट्रेनिंग स्ट्रैटेजी का उपयोग करता है जो एंटिटी-लेवल और सेक्शन-लेवल रिट्रीवल को एक ही मॉडल के भीतर एकीकृत करता है:

कॉन्ट्रास्टिव लॉस ( $L_{con}$ ): पॉजिटिव पेयर्स को हार्ड नेगेटिव्स से अलग करने के लिए फ्यूज्ड रिप्रेजेंटेशन्स को ऑप्टिमाइज़ करता है।
ऑक्सिलरी मोडैलिटी-प्रिजर्विंग लॉस ( $L_{aux}$ ): एक ऑक्सिलरी लॉस क्रॉस-मोडल मैचिंग क्षमताओं (IT2T, I2T, I2I) को सुरक्षित रखता है जो डाउनस्ट्रीम सेक्शन-लेवल रिट्रीवल के लिए आवश्यक हैं। इसमें अविश्वसनीय पॉजिटिव सुपरविजन (जैसे, जब ग्राउंड-ट्रुथ इमेज लेबल्स गायब हों या URL सुलभ न हों) को फ़िल्टर करने के लिए एक बाइनरी मास्क शामिल है, जो मोडैलिटी कोलैप्स को रोकता है।

मुख्य योगदान (Key Contributions)

एकीकृत फ्रेमवर्क: UniHEAR प्रस्तावित करता है, जो एक हल्का फ्रेमवर्क है जो हेटेरोजीनियस-सोर्स एंटिटी रिट्रीवल और रेंकिंग को एकीकृत करता है, और मल्टी-सोर्स साक्ष्य को एनकोड करने के लिए एक कोर्स रिट्रीवल डिस्क्रिप्टर का निर्माण करता है।
नवीन गेटिंग मैकेनिज्म: रिट्रीवल-गाइडेड अटेंटिव मोडैलिटी गेटिंग (RAMG) पेश करता है, जो रेडंडेंट मोडैलिटी निर्भरता को कम करने के लिए मोडैलिटी अटेंशन को रिट्रीवल डिस्क्रिप्टर्स पर कंडिशन करता है।
ट्रेनिंग-फ्री फ्यूजन: एंट्रॉपी-वेटेड सोर्स फ्यूजन (EWSF) को लागू करता है जो बिना किसी अतिरिक्त ट्रेनिंग ओवरहेड के कैलिब्रेटेड कोर्स रिट्रीवल प्रायर्स को पुन: सम्मिलित करता है।
एकीकृत ट्रेनिंग ऑब्जेक्टिव: एक ट्रेनिंग स्ट्रैटेजी डिजाइन करता है जो एंटिटी-टू-सेक्शन रिट्रीवल को एक ही मॉडल के भीतर सुचारू रूप से सक्षम करने के लिए कॉन्ट्रास्टिव लर्निंग के साथ एक ऑक्सिलरी मोडैलिटी-प्रिजर्विंग लॉस को जोड़ता है।

प्रयोगात्मक परिणाम (Experimental Results)

E-VQA और InfoSeek डेटासेट्स पर व्यापक प्रयोग किए गए।

रिट्रीवल प्रदर्शन: UniHEAR स्टेट-ऑफ-द-आर्ट रिट्रीवल प्रदर्शन प्राप्त करता है। E-VQA पर, यह सबसे मजबूत बेसलाइन (OMGM) की तुलना में रिकॉल@1 में 6.7 पॉइंट्स और MLLM-आधारित बेसलाइन्स (ReflectiVA) की तुलना में 33.9 पॉइंट्स सुधार करता है। InfoSeek पर, यह OMGM की तुलना में रिकॉल@1 में 1.2 पॉइंट्स सुधार करता है।
VQA प्रदर्शन: बिना जनरेशन फाइन-ट्यूनिंग के, UniHEAR Qwen2.5-VL-7B के साथ E-VQA पर 53.2% सटीकता प्राप्त करता है, जो समान जनरेटर के तहत सभी फाइन-ट्यून्ड रिट्रीवल-अगमेंटेड बेसलाइन्स से बेहतर है। फाइन-ट्यून्ड जनरेटर के साथ, यह E-VQA पर 50.4% और InfoSeek पर 44.1% प्राप्त करता है, जो सभी बेसलाइन्स से बेहतर प्रदर्शन करता है।
दक्षता (Efficiency): हेटेरोजीनियस सोर्सेज को एकीकृत करने और एक बड़े कैंडिडेट पूल को संभालने के बावजूद, UniHE चार केवल 197M पैरामीटर्स के साथ एक हल्का आर्किटेक्चर बनाए रखता है (BLIP-2 आधारित प्रतिस्पर्धियों के 1.2B–1.7B की तुलना में)। RAMG मॉड्यूल केवल 0.59M पैरामीटर्स (0.3% ओवरहेड) जोड़ता है, जो दर्शाता है कि रिट्रीवल-गाइडेड गेटिंग नगण्य पैरामीटर लागत के साथ प्रदर्शन को बढ़ाता है।

महत्व (Significance)

पेपर का दावा है कि UniHEAR, हेटेरोजीनियस-सोर्स रिट्रीवल के साथ रिट्रीवल-गाइडेड रेंकिंग को भविष्य के KB-VQA अनुसंधान के लिए एक आशाजनक प्रतिमान (paradigm) के रूप में स्थापित करता है। सिंगल-सोर्स रिट्रीवल बाधा और रिट्रीवल-सोर्स-ब्लाइंड रेंकिंग को स्पष्ट रूप से संबोधित करके, फ्रेमवर्क यह प्रदर्शित करता है कि कई स्रोतों से पूरक संकेतों का लाभ उठाना, जो कोर्स रिट्रीवल प्रायर्स द्वारा निर्देशित हो, उच्च दक्षता बनाए रखते हुए रिट्रीवल सटीकता और डाउनस्ट्रीम VQA प्रदर्शन दोनों में सुधार कर सकता है। परिणाम बताते हैं कि हल्के, एकीकृत मॉडल प्रभावी ढंग से पहले से मौजूद समृद्ध साक्ष्यों का उपयोग करके बड़े, एकल-स्रोत या मल्टी-स्टेज सिस्टम से बेहतर प्रदर्शन कर सकते हैं।