Sparse-LaViDa: Sparse Multimodal Discrete Diffusion Language Models
Sparse-LaViDa एक नवीन फ्रेमवर्क है जो विशेष रजिस्टर टोकन और एक सुसंगत प्रशिक्षण अटेंशन मास्क के माध्यम से जनरेशन की गुणवत्ता को बनाए रखते हुए, इन्फरेंस के दौरान अनावश्यक मास्क्ड टोकन को गतिशील रूप से ट्रंकेट करके मास्क्ड डिस्क्रीट डिफ्यूजन मॉडल्स को त्वरित करता है, जिससे विविध मल्टीमॉडल कार्यों में 2x तक की गति वृद्धि प्राप्त होती है।