🤖 machine learning
WINDQuant: Weight-Informed Neural Decision-Making for Global Mixed-Precision LLM Quantization
WINDQuant एक सुदृढीकरण शिक्षण (reinforcement learning) आधारित ढांचा है जो कॉलम चंक्स (column chunks) को गतिशील रूप से सूक्ष्म-बिट-चौड़ाई (fine-grained bit-widths) आवंटित करके लार्ज लैंग्वेज मॉडल्स के लिए वैश्विक मिश्रित-परिशुद्धता क्वांटाइजेशन (global mixed-precision quantization) को अनुकूलित करता है, जो बिना किसी महंगी पुन: प्रशिक्षण (retraining) की आवश्यकता के, न्यूनतम सटीकता ह्रास के साथ अल्ट्रा-लो-बिट मेमोरी बाधाओं को प्रभावी ढंग से संतुलित करता है।