Toward Structural Multimodal Representations: Specialization, Selection, and Sparsification via Mixture-of-Experts
यह शोध पत्र S3 का प्रस्ताव करता है, जो मल्टीमॉडल लर्निंग के लिए एक संरचनात्मक ढांचा है जो इनपुट्स को विशिष्ट सिमेंटिक विशेषज्ञों में विघटित करता है और कॉम्पैक्ट, उच्च-प्रदर्शन वाले निरूपण प्राप्त करने के लिए स्पारसिफिकेशन के साथ चयनात्मक रूटिंग का उपयोग करता है जो मौजूदा बेंचमार्क से बेहतर प्रदर्शन करते हैं।