Models Take Notes at Prefill: KV Cache Can Be Editable and Composable
यह शोध पत्र प्रकट करता है कि प्रीफिल के दौरान, मॉडल स्वयं के वेक्टर्स पर निर्भर रहने के बजाय मुख्य रूप से डाउनस्ट्रीम KV कैश नोट्स में फील्ड-कंडीशन्ड निष्कर्षों को संग्रहीत करते हैं, जो एक नवीन दृष्टिकोण को सक्षम बनाता है जहाँ चेन-ऑफ-थॉट के माध्यम से कैश को कुशलतापूर्वक संपादित किया जा सकता है और पूर्ण पुनर्गणना (recomputation) की तुलना में काफी कम विलंबता के साथ लगभग पूर्ण सटीकता प्राप्त करने के लिए विभिन्न संदर्भों में संयोजित किया जा सकता है।