CoGR-MoE: Concept-Guided Expert Routing with Consistent Selection and Flexible Reasoning for Visual Question Answering

यहाँ शोध पत्र "CoGR-MoE: Concept-Guided Expert Routing with Consistent Selection and Flexible Reasoning for Visual Question Answering" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विजुअल क्वेश्चन अनस्विंग (VQA) के लिए मॉडल को सही उत्तर चुनने के लिए विजुअल और टेक्स्टुअल दोनों साक्ष्यों पर तर्क (reasoning) करने की आवश्यकता होती है। जबकि विभिन्न पैटर्न में अलग-अलग विशेषज्ञों (experts) को विशेषज्ञता प्रदान करके तर्क क्षमता में सुधार करने के लिए Mixture-of-Experts (MoE) आर्किटेक्चर को अपनाया गया है, वे दो महत्वपूर्ण चुनौतियों का सामना करते हैं:

• रूटिंग अस्थिरता (Routing Instability): अर्थपूर्ण रूप से समान प्रश्न (जिनके लिए एक ही प्रकार का उत्तर आवश्यक है) मामूली वाक्यांश परिवर्तनों के कारण अलग-अलग विशेषज्ञों को रूट किए जा सकते हैं, जिससे असंगत तर्क (inconsistent reasoning) होता है।
• रूटिंग कठोरता (Routing Rigidity): इसके विपरीत, वे विधियाँ जो सख्त स्थिरता लागू करती हैं, सक्रिय विशेषज्ञों के सेट को स्थिर कर देती हैं। यह लचीलेपन (flexibility) को कम करता है, जिससे मॉडल उन संभावित उत्तरों के बीच अंतर करने में असमर्थ हो जाता है जिनमें सूक्ष्म, विकल्प-विशिष्ट साक्ष्य की आवश्यकता होती है।

मौजूदा दृष्टिकोण विकल्प तुलना करते समय सुसंगत विशेषज्ञ चयन (स्थिरता) और गतिशील विशेषज्ञ उपयोग (लचीलापन) के बीच संतुलन बनाने में संघर्ष करते हैं।

2. कार्यप्रणाली: CoGR-MoE (Methodology: CoGR-MoE)

लेखक CoGR-MoE का प्रस्ताव करते हैं, जो एक ऐसा ढांचा है जो विशेषज्ञ चयन को स्थिर करने के लिए उत्तर विकल्पों के अर्थ संबंधी डेटा (semantics) को रूटिंग प्रक्रिया में एकीकृत करता है, साथ ही लचीली, विकल्प-स्तरीय भेदभाव क्षमता को सक्षम बनाता है। इस ढांचे के चार मुख्य घटक हैं:

A. सिमेंटिक क्यू जनरेशन (Semantic Cue Generation)

एक लार्ज लैंग्वेज मॉडल (LLM) प्रशिक्षण चरण के दौरान प्रत्येक उत्तर विकल्प के लिए सकारात्मक (positive) और नकारात्मक (negative) सिमेंटिक क्यू (संकेत) उत्पन्न करता है।

• सकारात्मक संकेत (Positive Cues): दृश्य गुण (visual attributes) जो किसी विकल्प के सही होने के लिए उपस्थित होने अनिवार्य हैं।
• नकारात्मक संकेत (Negative Cues): दृश्य गुण जो उपस्थित नहीं होने चाहिए।
• अनिश्चितता अनुमान (Uncertainty Estimation): सिस्टम छवि और संकेतों के बीच एक सहमति स्कोर ($Agr$) और पैराफ्रेज किए गए संकेतों के आधार पर एक वेरिएंस स्कोर ($Var$) की गणना करता है। इन संकेतों की विश्वसनीयता को भारित (weight) करने के लिए एक अनिश्चितता मीट्रिक ($unc$) निकाला जाता है।

B. कॉन्सेप्ट-गाइडेड एक्सपर्ट रूटिंग (Concept-Guided Expert Routing - स्थिरता)

समान प्रश्नों के लिए सुसंगत विशेषज्ञ चयन सुनिश्चित करने के लिए, मॉडल राउटर में सही उत्तर के सिमेंटिक दिशा (semantic direction) को इंजेक्ट करता है।

• एक सिमेंटिक दिशा वेक्टर ($s_a$) को सही उत्तर के सकारात्मक और नकारात्मक संकेतों के एम्बेडिंग्स के अंतर से बनाया जाता है।
• Top-K विशेषज्ञों के चयन को निर्देशित करने के लिए इस वेक्टर को बेस रूटिंग लॉजिट्स ($z_{base}$) में जोड़ा जाता है।
• डिस्टिलेशन (Distillation): एक "टीचर राउटर" ($Router_T$) इन संकेतों का उपयोग करके विशेषज्ञों का चयन करता है। एक "स्टूडेंट राउटर" ($Router_S$) को KL-divergence distillation के माध्यम से टीचर के रूटिंग व्यवहार की नकल करने के लिए प्रशिक्षित किया जाता है, बिना अनुमान (inference) के दौरान संकेतों की आवश्यकता के। यह सुनिश्चित करता है कि मॉडल केवल इनपुट इमेज-क्वेश्चन पेयर के आधार पर सही विशेषज्ञों का चयन करना सीख जाए।

C. ऑप्शन-अवेयर एक्सपर्ट रीवेटिंग (Option-Aware Expert Reweighting - लचीलापन)

एक बार जब Top-K विशेषज्ञ (जो सभी विकल्पों के लिए साझा हैं) चुने जाते हैं, तो मॉडल उम्मीदवारों के बीच भेदभाव करने के लिए विकल्प-विशिष्ट रीवेटिंग करता है।

• प्रत्येक विकल्प $j$ अपने संकेतों से अपना स्वयं का सिमेंटिक वेक्टर ($s_j$) उत्पन्न करता है।
• यह वेक्टर साझा Top-K विशेषज्ञों के वेट्स (weights) को विशेष रूप से उस विकल्प के लिए मॉड्युलेट (modulate) करता है।
• यह मॉडल को प्रत्येक संभावित उत्तर के लिए विशिष्ट प्रतिनिधित्व ($\tilde{h}_j$) उत्पन्न करने की अनुमति देता, भले ही वे एक ही अंतर्निहित विशेषज्ञ पूल को साझा करते हों।

D. प्रशिक्षण उद्देश्य (Training Objective)

मॉडल को एक एकीकृत लॉस फंक्शन का उपयोग करके अनुकूलित किया जाता है:

1. मुख्य लॉस ($L_{main}$): भारित क्रॉस-एन्ट्रॉपी जहाँ उच्च अनिश्चितता (शोर वाले संकेत) वाले विकल्पों को कम भार दिया जाता है।
2. कॉन्ट्रास्टिव लॉस ($L_{contrast}$): सही विकल्प के प्रतिनिधित्व को सकारात्मक संकेतों के साथ संरेखित करता है और गलत विकल्पों को नकारात्मक संकेतों से दूर धकेलता है।
3. डिस्टिलेशन लॉस ($L_{distill}$): यह सुनिश्चित करता है कि स्टूडेंट राउटर, टीचर राउटर के रूटिंग वितरण के करीब रहे।

3. मुख्य योगदान (Key Contributions)

1. कॉसेप्ट-गाइडेड रूटिंग: एक नया ढांचा जो विशेषज्ञ चयन को स्थिर करने के लिए उत्तर-प्रासंगिक सिमेंटिक दिशाओं को गेटिंग मैकेनिज्म में इंजेक्ट करता है, बिना लचीलेपन को कम किए।
2. ऑप्शन-अवेयर रीवेटिंग: एक तंत्र जो उम्मीदवारों के बीच सूक्ष्म भेदभाव को बढ़ाने के लिए साझा विशेषज्ञों के योगदान को गतिशील रूप से समायोजित करता है।
3. अनिश्चितता-जागरूक प्रशिक्षण: संकेतों की निरंतरता (सहमति/विचरण) को भारित करने के लिए अनिश्चितता का एकीकरण, जो शोर वाले या अस्पष्ट सिमेंटिक संकेतों के प्रभाव को कम करता है।
4. स्टेट-ऑफ-द-आर्ट प्रदर्शन: यह दृष्टिकोण मानक MoE मॉडल की अनुमान दक्षता (inference efficiency) को बनाए रखते हुए कई VQA बेंचमार्क पर महत्वपूर्ण सटीकता लाभ प्राप्त करता है (कोई अतिरिक्त विशेषज्ञ अनुमान के दौरान कंप्यूट नहीं किए जाते)।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने VMCBench (20 VQA डेटासेट्स का एकीकरण) और MRAG-Bench (विज़न-केंद्रित रीजनिंग) पर CoGR-MoE का मूल्यांकन किया।

• कुल प्रदर्शन: CoGR-MoE ने MoE-LLaVA और Qwen3-VL बैकबोन दोनों पर मजबूत बेसलाइन्स (MoE-LLaVA, MH-MoE, Metis-HOME, और I2MoE सहित) को पछाड़ दिया।
  • MRAG-Bench पर, इसने MoE-LLaVA बैकबोन के साथ 63.25% और Qwen3-VL बैकबोन के साथ 68.96% समग्र सटीकता प्राप्त की, जो अगले सर्वश्रेष्ठ मॉडलों से अधिक है।
  • VMCBench पर, इसने VQAv2 पर 88.5% और VizWiz पर 84.8% प्राप्त किया।
• कार्य-विशिष्ट लाभ: मॉडल ने उन कार्यों में विशेष शक्ति दिखाई जिनमें परिप्रेक्ष्य (Perspective) (व्यूप्वाइंट परिवर्तन) और रूपांतरणकारी (Transformative) तर्क की आवश्यकता होती है, जहाँ सूक्ष्म विकल्प-विशिष्ट भेदभाव महत्वपूर्ण होता है।
• एब्लेशन अध्ययन (Ablation Studies):
  • सिमेंटिक मार्गदर्शन ($s_a$) या डिस्टिलेशन ($L_{distill}$) को हटाने से सबसे बड़ी गिरावट आई, जो स्थिर रूटिंग के महत्व की पुष्टि करती है।
  • विकल्प-विशिष्ट रीवेटिंग ($s_j$) को हटाने से जटिल रीजनिंग कार्यों पर प्रदर्शन कम हो गया, जो लचीले विशेषज्ञ उपयोग की आवश्यकता को सिद्ध करता है।
  • इष्टतम प्रदर्शन 8 कुल विशेषज्ञों और 2 सक्रिय विशेषज्ञों ($K=2$) के साथ पाया गया।
• रूटिंग विश्लेषण: हीटमैप्स और मेट्रिक्स ने दिखाया कि CoGR-MoE मानक MoE-LLaVA की तुलना में अधिक शार्प (निर्णायक) और अधिक स्थिर (सिमेंटिक श्रेणियों के भीतर कम विचरण) रूटिंग पैटर्न उत्पन्न करता है।

5. महत्व और सीमाएं (Significance and Limitations)

महत्व:

• स्थिरता-लचीलापन अंतराल को पाटना: CoGR-MoE सफलतापूर्वक रूटिंग निरंतरता और विकल्प-स्तरीय लचीलेपन के बीच के ट्रेड-ऑफ को हल करता है, जो वर्तमान MoE-आधारित VQA मॉडलों के लिए एक बड़ी बाधा है।
• व्याख्यात्मकता (Interpretability): सिमेंटिक क्यूज़ का उपयोग और रूटिंग पैटर्न का विश्लेषण यह बेहतर समझ प्रदान करता है कि कुछ विशेषज्ञों को क्यों चुना गया है।
• दक्षता: यह विधि अनुमान के दौरान नगण्य कम्प्यूटेशनल ओवरहेड जोड़ती है, क्योंकि जटिल क्यू जनरेशन और रूटिंग गाइडेंस को स्टूडेंट राउटर में डिस्टिल कर दिया जाता है।

सीमाएं:

• प्रशिक्षण निर्भरता: यह विधि प्रशिक्षण के दौरान LLM-जनरेटेड सिमेंटिक क्यूज़ पर निर्भर करती है, जिससे LLM से कम्प्यूटेशनल लागत और संभावित पूर्वाग्रह (bias) आ सकता है।
• अस्पष्टता के प्रति संवेदनशीलता: हालांकि अनिश्चितता वेटिंग मदद करती है, मॉडल अभी भी अत्यधिक अस्पष्ट विजुअल कॉन्सेप्ट्स के साथ संघर्ष कर सकता है जहाँ LLM क्यूज़ काल्पनिक (hallucinated) या असंगत हो सकते हैं।
• दायरा: मूल्यांकन वर्तमान में मल्टीपल-चॉइस VQA तक सीमित है; ओपन-एंडेड जनरेशन के लिए इसकी प्रभावशीलता अभी अनहीली है।

निष्कर्षतः, CoDR-MoE एक अधिक मजबूत और भेदभावपूर्ण MoE आर्किटेक्चर बनाने के लिए सिमेंटिक मार्गदर्शन का लाभ उठाकर मल्टीमॉडल रीजनिंग में एक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है।