Query-based Cross-Modal Projector Bolstering Mamba Multimodal LLM
यह शोध पत्र एक क्वेरी-आधारित क्रॉस-मोडल प्रोजेक्टर पेश करता है जो क्रॉस-अटेंशन के माध्यम से विजुअल टोकन को संकुचित करके और मैन्युअल 2D स्कैन ऑर्डरिंग की आवश्यकता को समाप्त करके माम्बा (Mamba) आधारित मल्टीमॉडल एलएलएम (LLM) को उन्नत करता है, जिससे ट्रांसफॉर्मर की कम्प्यूटेशनल सीमाओं को संबोधित करते हुए प्रदर्शन और थ्रूपुट दोनों में सुधार होता है।