Beyond Output Matching: Preserving Internal Geometry in NVFP4 LLM Distillatio
यह शोध पत्र यह पहचानता है कि केवल आउटपुट-मैचिंग वाला क्वांटाइजेशन-अवेयर डिस्टिलेशन (QAD), NVFP4 मॉडलों की आंतरिक प्र been-प्रतिनिधित्व ज्यामिति (internal representational geometry) को बनाए रखने में विफल रहता है, जिससे रीजनिंग और कोडिंग कार्यों में प्रदर्शन में गिरावट आती है, और CKA-QAD का प्रस्ताव करता है, जो एक ऐसी विधि है जो आंतरिक संरचना को बनाए रखकर सटीकता को पुनः प्राप्त करने के लिए लेयर-वाइज ग्राम मैट्रिसेस (layer-wise Gram matrices) को संरेखित करती है।