Preserve-Then-Quantize: Balancing Rank Budgets for Quantization Error Reconstruction in LLMs
यह शोध पत्र स्ट्रक्चर्ड रेसिडुअल रिकंस्ट्रक्शन (SRR) का प्रस्ताव करता है, जो एक रैंक-एलोकेशन फ्रेमवर्क है जो क्वांटाइजेशन से पहले वेट्स के टॉप- सिंगुलर सबस्पेस को सुरक्षित रखता है और शेष रैंक का उपयोग त्रुटि पुनर्निर्माण (error reconstruction) के लिए करता है, जिससे पोस्ट-ट्रेनिंग क्वांटाइजेशन में क्वांटाइजेशन त्रुटि कम होती है और क्वांटाइज्ड पैरामीटर-एफिशिएंट फाइन-ट्यूनिंग प्रदर्शन में वृद्धि होती है।