What Does a Discrete Diffusion Model Learn?
यह शोध पत्र यह सिद्ध करके कि नकारात्मक ELBO, डेटा एंट्रॉपी और एक पाथ KL डाइवर्जेंस के ठीक बराबर है, डिस्क्रीट डिफ्यूजन मॉडल्स के लिए एक कठोर सैद्धांतिक ढांचा स्थापित करता है, जिससे विभिन्न लॉस फंक्शन्स (जैसे कि डिनोइजिंग, स्कोर, और ब्रिज प्लग-इन) को एक एकल इष्टतम ओरेकल जंप रेट के कोऑर्डिनेट ट्रांसफॉर्मेशन के रूप में एकीकृत किया जा सके और इन दृष्टिकोणों के लिए सटीक विश्लेषणात्मक रूपांतरण और इनिशियलाइजेशन कैलिब्रेशन प्रदान किया जा सके।