RMAAT: Astrocyte-Inspired Memory Compression and Replay for Efficient Long-Context Transformers
यह शोध पत्र RMAAT को प्रस्तुत करता है, जो एस्ट्रोसाइट डायनेमिक्स (astrocyte dynamics) से प्रेरित एक कुशल लॉन्ग-कॉन्टेक्स्ट ट्रांसफॉर्मर आर्किटेक्चर है, जो मानक सेल्फ-अटेंशन तंत्र की क्वाड्रेटिक कॉम्प्लेक्सिटी (quadratic complexity) को दूर करने के लिए रिकरेंट मेमोरी टोकन, सिम्युलेटेड लॉन्ग-टर्म प्लास्टिसिटी (simulated long-term plasticity) के माध्यम से एडेप्टिव कंप्रेशन, और शॉर्ट-टर्म प्लास्टिसिटी (short-term plasticity) पर आधारित लीनियर-कॉम्प्लेक्सिटी अटेंशन का उपयोग करता है।