BiSpikCLM: A Spiking Language Model integrating Softmax-Free Spiking Attention and Spike-Aware Alignment Distillation
यह शोध पत्र BiSpikCLM को प्रस्तुत करता है, जो पहला पूर्णतः बाइनरी स्पाइकिंग लैंग्वेज मॉडल है जो सॉफ्टमैक्स-फ्री स्पाइकिंग अटेंशन के माध्यम से फ्लोटिंग-पॉइंट ऑपरेशन्स को समाप्त करता है और एक नवीन स्पाइक-अवेयर अलाइनमेंट डिस्टिलेशन फ्रेमवर्क के माध्यम से काफी कम प्रशिक्षण डेटा के साथ प्रतिस्पर्धी प्रदर्शन और काफी कम कम्प्यूटेशनल लागत प्राप्त करता है।