CoBit: Language Modeling with Bitstream Diffusion
कोबिट (CoBit) एक निरंतर डिफ्यूजन लैंग्वेज मॉडल है जो एक एकल ट्रांसफॉर्मर पैच के भीतर निश्चित-चौड़ाई वाले बाइनरी टोकन कोड्स को संयुक्त रूप से डिनोइजिंग (denoising) करके टेक्स्ट जनरेट करता है, जो मानक बेंचमार्क पर प्रतिस्पर्धी पर्प्लेक्सिटी और सुडोकू (Sudoku) तथा GSM8K जैसे कार्यों पर मजबूत रीजनिंग प्रदर्शन प्राप्त करने के साथ-साथ डेंस टोकन-आउटपुट बेसलाइन्स की तुलना में बेहतर मेमोरी दक्षता और थ्रूपुट प्रदान करता है।