Minimizing Modality Gap from the Input Side: Your Speech LLM Can Be a Prosody-Aware Text LLM
यह शोध पत्र TextPro-SLM का प्रस्ताव करता है, जो एक स्पीच लार्ज लैंग्वेज मॉडल है जो एक एकीकृत एनकोडर के माध्यम से बोले गए इनपुट को प्रोसेस करके मोडैलिटी गैप को कम करता है जो टेक्स्ट टोकन को प्रोसोडी एम्बेडिंग्स के साथ संरेखित करता है, जिससे यह मॉडल केवल 1,000 घंटों के प्रशिक्षण डेटा का उपयोग करके मजबूत पैरालिंग्विस्टिक समझ के साथ एक प्रोसोडी-अवेयर टेक्स्ट LLM के रूप में कार्य करने में सक्षम होता है।