Is Finer Better? The Limits of Microscaling Formats in Large Language Models
यह शोध पत्र यह प्रकट करता है कि माइक्रोसकेलिंग क्वांटाइजेशन में घटते ब्लॉक आकार, संकीर्ण टेंसर वितरण और सीमित स्केल डायनेमिक रेंज के बीच परस्पर क्रिया के कारण विरोधाभासी रूप से मॉडल के प्रदर्शन को खराब कर सकते हैं, जिससे लेखक स्केल्स के लिए एक नए FP8 अनसाइंड E5M3 फॉर्मेट का प्रस्ताव देते हैं जो वैश्विक स्केलिंग ऑपरेशन्स की आवश्यकता को समाप्त करते हुए सटीकता बनाए रखता है।