TileQ: Efficient Low-Rank Quantization of Mixture-of-Experts with 2D Tiling
TileQ एक फाइन-ट्यूनिंग-मुक्त पोस्ट-ट्रेनिंग क्वांटाइजेशन विधि है जो इनपुट और आउटपुट आयामों के बीच साझा किए गए 2D-टाइलिंग स्ट्रक्चर्ड लो-रैंक कारकों का उपयोग करती है, जिसे फ्यूज्ड सिंगल-पास इन्फरेंस तकनीक के साथ संयोजित किया गया है, ताकि सटीकता बनाए रखते हुए Mixture-of-Experts मॉडलों में मेमोरी उपयोग और लेटेंसी को महत्वपूर्ण रूप से कम किया जा सके।