RKSC: Reasoning-Aware KV Cache Sharing and Confident Early Exit for Multi-Step LLM Inference
RKSC एक प्रशिक्षण-मुक्त अनुमान ढांचा (training-free inference framework) है जो अटेंशन-समानता-आधारित KV कैश शेयरिंग, कॉन्फिडेंस-गेटेड अर्ली एग्जिट और एक चयनात्मक ब्लॉक कैश मैनेजर के माध्यम से संरचनात्मक अतिरेक को समाप्त करके मल्टी-स्टेप LLM रीजनिंग को त्वरित करता है, जिससे विविध मॉडलों और बेंचमार्क में नगण्य त्रुटि दरों के साथ औसतन 3x की गति वृद्धि प्राप्त होती है।