Sparse Delta Memory: Scaling the State of Linear RNNs through Sparsity
यह शोध पत्र स्पार्स डेल्टा मेमोरी (SDM) को प्रस्तुत करता है, जो एक नवीन आर्किटेक्चर है जो फिक्स्ड कंप्यूटेशनल कॉस्ट और पैरामीटर काउंट को बनाए रखते हुए, लॉन्ग-कॉन्टेक्स्ट रिकॉल और इन-कॉन्टेक्स्ट लर्निंग प्रदर्शन को महत्वपूर्ण रूप से सुधारने के लिए स्पार्स एड्रेसिंग के माध्यम से गेटेड लीनियर RNN की हिडन स्टेट क्षमता को स्केल करता है।