Neuromem: A Granular Decomposition of the Streaming Lifecycle in External Memory for LLMs
यह शोधपत्र Neuromem प्रस्तुत करता है, जो एक स्केलेबल टेस्टबेड है जो मेमोरी लाइफसाइकिल को पांच प्रमुख आयामों में विभाजित करके यथार्थवादी, इंटरलीव्ड स्ट्रीमिंग स्थितियों के तहत LLMs के लिए बाहरी मेमोरी मॉड्यूल का बेंचमार्किंग करता है, जिससे यह प्रकट होता है कि जबकि डेटा संरचनाएं मुख्य रूप से प्रदर्शन की गुणवत्ता को निर्धारित करती हैं, आक्रामक संपीड़न (compression) और जेनेरेटिव एकीकरण सीमित सटीकता लाभ प्रदान करते हैं, बावजूद इसके कि वे इंसर्शन और रिट्रीवल के बीच लागतों को स्थानांतरित कर देते हैं।