Sumi: Open Uniform Diffusion Language Model from Scratch
यह शोध पत्र सुमी (Sumi) को प्रस्तुत करता है, जो कि 1.5 ट्रिलियन टोकन पर स्क्रैच से प्रीट्रेन किया गया एक पूर्णतः ओपन 7B यूनिफॉर्म डिफ्यूजन लैंग्वेज मॉडल है, जो नेटिव यूनिफॉर्म डिफ्यूजन के अध्ययन के लिए पहला बड़े पैमाने का संदर्भ बिंदु के रूप में कार्य करता है और ज्ञान, तर्क एवं कोडिंग बेंचमार्क पर प्रतिस्पर्धी प्रदर्शन प्रदर्शित करता है।