TORQ: Two-Level Orthogonal Rotation for MXFP4 Quantization
यह शोध पत्र TORQ को प्रस्तुत करता है, जो एक प्रशिक्षण-मुक्त पोस्ट-ट्रेनिंग क्वांटाइजेशन फ्रेमवर्क है जो MXFP4 एक्टिवेशन क्वांटाइजेशन में संरचनात्मक असंतुलन को सैद्धांतिक रूप से संबोधित करने के लिए दो-स्तरीय ऑर्थोगोनल रोटेशन का उपयोग करता है, जिससे बड़े भाषा मॉडलों (LLMs) पर 4-बिट इन्फरेंस और फुल-प्रिसिजन मॉडलों के बीच सटीकता के अंतर को महत्वपूर्ण रूप से कम किया जा सकता है।