Plug-and-Play Spiking Operators: Breaking the Nonlinearity Bottleneck in Spiking Transformers
यह शोध पत्र एक प्लग-एंड-प्ले फ्रेमवर्क प्रस्तुत करता है जो मॉड्यूलर पॉपुलेशन कंप्यूटेशन और बिट-शिफ्ट स्केलिंग के माध्यम से महत्वपूर्ण नॉनलीनियर ऑपरेटर्स (जैसे कि सॉफ्टमैक्स और नॉर्मलाइजेशन) के स्पाइक-फ्रेंडली एप्रोक्सिमेशन को लागू करके बड़े भाषा मॉडल (LLMs) के लिए ट्रेनिंग-मुक्त ANN-टू-SNN रूपांतरण को सक्षम बनाता है, जिससे फाइन-ट्यूनिंग के बिना मूल मॉडलों के लगभग समान सटीकता प्राप्त होती है।