🤖 machine learning
Taming the Entropy Cliff: Variable Codebook Size Quantization for Autoregressive Visual Generation
यह शोध पत्र ऑटोरेग्रेसिव विज़ुअल जनरेशन में "एन्ट्रॉपी क्लिफ" (Entropy Cliff) घटना की पहचान करता है, जहाँ निश्चित आकार के कोडबुक तेजी से रटने (memorization) की ओर ले जाते हैं, और वेरिएबल कोडबुक साइज क्वांटाइजेशन (VCQ) का प्रस्ताव करता है जो अनुक्रम के साथ कोडबुक क्षमता को गतिशील रूप से बढ़ाता है, जिससे मानक प्रशिक्षण ढांचे को बदले बिना अत्याधुनिक इमेज जनरेशन गुणवत्ता और उभरती हुई सिमेंटिक पदानुक्रम (semantic hierarchy) प्राप्त होती है।