MomentKV: Closing the Directional Gap in KV Cache Eviction for Long-Context Inference
MomentKV कॉम्पैक्ट मोमेंट सांख्यिकी (moment statistics) को बनाए रखकर और हटाए गए टोकन के उनके अटेंशन योगदान के लिए एक क्लोज्ड-फॉर्म सुधार प्रदान करके, लॉन्ग-कॉन्टेक्स्ट KV कैश इविक्शन में दिशात्मक बेमेल (directional mismatch) बाधा को संबोधित करता है ताकि हटाए गए टोकन की ज्यामितीय नियमितता (geometric regularity) सुनिश्चित की जा सके, जिससे यह विभिन्न बेंचमार्क और संपीड़न स्तरों पर मौजूदा विधियों से काफी बेहतर प्रदर्शन करता है।