Beyond Encoder Accumulation: Measuring Encoder Roles in Multi-Encoder VLMs
यह शोध पत्र मल्टी-एनकोडर विजन-लैंग्वेज मॉडल्स के लिए एक व्यापक रिट्रेनिंग-आधारित मूल्यांकन ढांचा प्रस्तुत करता है जो यह प्रकट करता है कि एनकोडर रैंकिंग पूर्ववर्ती मास्किंग विधियों से भिन्न है, इष्टतम एनकोडर युग्मों की पहचान करने के लिए एक "क्षमता-आवश्यकता" (Capacity-Necessity) अपघटन प्रस्तावित करता है, और प्रदर्शन को प्री-प्रोजेक्टर प्रभावी रैंक से जोड़ता है, जिससे कुशल मल्टी-एनकोडर डिजाइन के लिए सिद्धांत-आधारित दिशा-निर्देश प्रदान किए जाते हैं।