Squeezing the Cache, Preserving the Truth: Monotonic Equipotential Allocation with Geodesia-KV
Geodesia-KV एक प्रशिक्षण-मुक्त (training-free), हार्डवेयर-रेडी KV कैश कंप्रेशन फ्रेमवर्क है जो मोनोटोनिक ब्लॉक-वाइज प्रिसिजन एलोकेशन और क्वेरी-स्पार्स रीडिंग का उपयोग करता है ताकि परप्लेक्सिटी और बैंडविड्थ दक्षता में मौजूदा तरीकों से काफी बेहतर प्रदर्शन किया जा सके, जिससे उपभोक्ता-श्रेणी के 16 GiB GPU पर 1M-टोकन कॉन्टेक्स्ट जनरेशन सक्षम हो सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।