MorphoQuant: Modality-Aware Quantization for Omni-modal Large Language Models
MorphoQuant एक मोडैलिटी-अवेयर पोस्ट-ट्रेनिंग क्वांटाइजेशन फ्रेमवर्क है जो डिस्ट्रीब्यूशन-अवेयर बायस कॉम्पन्सेशन और मॉर्फोलॉजी-डायरेक्टेड क्वांटाइजेशन फंक्शन ऑप्टिमाइजेशन को पेश करके 4-बिट ओम्नी-मोडल लार्ज लैंग्वेज मॉडल्स की चुनौतियों का समाधान करता है ताकि क्रॉस-मोडल मॉर्फोलॉजी को संरक्षित किया जा सके और आउटलायर लॉस को कम किया जा सके, जिससे प्रमुख बेंचमार्क पर स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त होता है जो 16-बिट बेसलाइन्स से भी बेहतर है।