IntentKV: Cross-Turn Intent-Aware KV Cache Pruning for Agent Inference
IntentKV एक सीखा हुआ, क्रॉस-टर्न इंटेंट-अवेयर (intent-aware) KV कैश प्रूनिंग मेथड है जो एक फ्रोजन बेस LLM को बनाए रखते हुए सेशन-लेवल मेमोरी और एक ज़ीरो-इनिशियलाइज़्ड रेसिडुअल हेड का उपयोग करके टोकन को डायनेमिक रूप से स्कोर और रीडायरेक्ट करता है, जिससे न्यूनतम सटीकता हानि के साथ लॉन्ग-होरिज़न एजेंट इन्फरेंस के लिए पीक मेमोरी और KV रीड बैंडविड्थ में महत्वपूर्ण कमी आती है।