Multi-Bitwidth Quantization for LLMs Using Additive Codebooks
यह शोध पत्र Drop-by-Drop को पेश करता है, जो एक अभिनव पोस्ट-ट्रेनिंग क्वांटाइजेशन फ्रेमवर्क है जो एडिटिव कोडबुक्स और मैट्रोस्का-शैली के पर्यवेक्षण (Matryoshka-style supervision) का लाभ उठाता है ताकि एक एकल LLM चेकपॉइंट न्यूनतम स्टोरेज ओवरहेड के साथ विभिन्न मॉडल आर्किटेक्चरों में प्रतिस्पर्धी सटीकता बनाए रखते हुए अनुकूल, मल्टी-बिटविड्थ इन्फरेंस (multi-bitwidth inference) का समर्थन कर सके।