Training Hybrid Block Diffusion Language Models with Partial Bidirectionality
यह शोध पत्र BDLM Mamba-H को प्रस्तुत करता है, जो एक हाइब्रिड डिफ्यूजन लैंग्वेज मॉडल है जो सटीक कैशिंग (exact caching) को सक्षम करने के लिए सक्रिय डिनोइजिंग ब्लॉक्स (active denoising blocks) तक द्विदिश मम्बा स्कैनिंग (bidirectional Mamba scanning) को सीमित करता है, जिससे मौजूदा फुल-सीक्वेंस और अटेंशन-आधारित डिफ्यूजन बेसलाइनों की तुलना में बेहतर परप्लेक्सिटी (perplexity) और काफी अधिक लॉन्ग-कॉन्टेक्स्ट इन्फरेंस थ्रूपुट प्राप्त होता है।