Drifting Objectives for Refining Discrete Diffusion Language Models
यह शोध पत्र TokenDrift को प्रस्तुत करता है, जो एक नवीन प्रशिक्षण उद्देश्य (training objective) है जो निरंतर ड्रिफ्टिंग सिद्धांतों (continuous drifting principles) को डिस्क्रीट डिफ्यूजन लैंग्वेज मॉडल्स पर अनुकूलित करने के लिए श्रेणीगत भविष्यवाणियों (categorical predictions) को एंटी-सिमेट्रिक रिफाइनमेंट के लिए सॉफ्ट-टोकन फीचर्स में ऊपर उठाता है, जिससे कम सैंपलिंग स्टेप्स पर जनरेशन की गुणवत्ता में महत्वपूर्ण सुधार होता है।