तकनीकी सारांश: कैमरा (Kamera): प्रशिक्षण-मुक्त पुन: उपयोग के लिए एकीकृत स्थिति-अपरिवर्तनीय बहुविध KV कैश (Unified Position-Invariant Multimodal KV Cache)

1. समस्या विवरण (Problem Statement)

बहुविध एजेंट (जैसे, वेब एजेंट, लंबी वीडियो विश्लेषक, दस्तावेज़ ट्रैवर्सर) अक्सर अपने कॉन्टेक्स्ट विंडो के खिसकने, तर्क (reasoning) के दोहराव, या प्रॉम्प्ट बदलने पर एक ही दृश्य सामग्री (फ्रेम, स्क्रीनशॉट) का बार-बार परीक्षण करते हैं। वर्तमान उत्पादन कैशिंग तंत्र (प्रिफिक्स कैश, रेडिक्स कैश) KV स्टोर को एक स्थिति-सूचकांक (position-indexed) संरचना के रूप में मानते हैं। फलस्वरूप, जब कोई कैश किया गया चंक (chunk) एक नई स्थिति में स्थानांतरित होता है (स्लाइडिंग विंडो, पुनर्व्यवस्था, या निष्कासन के बाद रिकॉल के कारण), तो कैश मिस हो जाता है। सिस्टम को दृश्य सामग्री को फिर से एनकोड करना पड़ता है और KV कैश को शून्य से फिर से प्रीफिल (prefill) करना पड़ता है, जिससे महत्वपूर्ण कम्प्यूटेशनल ओवरहेड (जैसे, विजन एनकोडर और LLM प्रीफिल को फिर से चलाना) होता है।

यह शोध पहचानता है कि सहज (naive) KV पुन: उपयोग मौलिक रूप से हानि-रहित (lossless) नहीं है। जबकि सिंगल-हॉप रीडआउट (एक क्वेरी एक चंक से क्या निकालती है) को मानक स्टेट-मर्ज ऑपरेशन्स द्वारा सटीक रूप से पुनर्प्राप्त किया जाता है, क्रॉस-चंक कंडीशनिंग (cross-chunk conditioning) खो जाती है। जब एक चंक $B$ एक पूर्ववर्ती (antecedent) $A$ के बाद प्रीफिल किया जाता है, तो इसके टोकन $A$ से जानकारी अवशोषित करते हैं (जैसे संदर्भों को सुलझाना, संस्थाओं को बाइंड करना)। यदि $B$ को अकेले कैश किया जाता है ($KV(B|\emptyset)$) और बाद में एक अलग या स्थानांतरित $A$ के बाद पुन: उपयोग किया जाता है, तो मॉडल उस विशिष्ट बाइंडिंग को खो देता है जो $B$ ने मूल $A$ से अवशोषित की थी। यह कमी ($\Delta = KV(B|A) - KV(B|\emptyset)$) मल्टी-हॉप रीजनिंग की सटीकता में एक मूक गिरावट (silent degradation) का कारण बनती है, जबकि सिंगल-हॉप रिकॉल बरकरार रहता है। पूर्व स्थिति-स्वतंत्र कैशिंग विधियाँ (जैसे, CacheBlend, EPIC) एक "महत्वपूर्ण" टोकन के स्पार्स सेट को पुन: कंप्यूट करके इसे ठीक करने का प्रयास करती हैं, लेकिन यह शोध का तर्क है कि वे गलत अक्ष (axis) को लक्षित करती हैं, क्योंकि कमी टोकन में विस्तृत (diffuse) है लेकिन फीचर्स में लो-रैंक (low-rank) है।

2. कार्यप्रणाली: कैमरा ऑपरेटर (Methodology: The Kamera Operator)

प्रस्तावित समाधान, Kamera, स्थिति को कंडीशनिंग से अलग करता है, जिससे बिना पुनः एनकोडिंग के स्थिति-अपरिवर्तनीय पुन: उपयोग संभव होता है। यह विधि प्रत्येक चंक के लिए संग्रहीत दो घटकों पर निर्भर करती है:

1. कैनोनिकल KV (Canonical KV): स्थिति-मुक्त सामग्री $KV(B|\emptyset)$ (विशिष्ट पूर्ववर्ती कंडीशनिंग के बिना कीज़ और वैल्यूज़)।
2. रैंक-$m$ कंडीशनिंग पैच (Rank-$m$ Conditioning Patch): एक लो-रैंक करेक्शन टर्म $U_m V_m^\top$ जो कमी $\Delta$ का प्रतिनिधित्व करता है।

पुन: उपयोग ऑपरेशन को इस प्रकार परिभाषित किया गया है:
$$\widehat{KV}(B|A) = R(\delta) \cdot KV(B|\emptyset) + U_m V_m^\top$$
जहाँ:

• स्थानांतरण (Relocation - $R(\delta)$): कीज़ को नई स्थिति के अनुरूप रोटरी पोजीशनल एम्बेडिंग (RoPE) फेज शिफ्ट $\delta$ द्वारा पुन: रोटेट किया जाता है। यह एक सटीक बीजगणितीय ऑपरेशन है, न कि एक फॉरवर्ड पास।
• पैच अनुप्रयोग (Patch Application): क्रॉस-चंक बाइंडिंग को बहाल करने के लिए रैंक-$m$ पैच जोड़ा जाता है। यह पैच $[A, B]$ पर एक एकल कंडिशन्ड फॉरवर्ड पास के माध्यम से कंपाइल टाइम पर (या पहले पुन: उपयोग पर) शीर्ष-$m$ फैक्टर्स को निकालने के लिए सिंगुलर वैल्यू डिकंपोजिशन (SVD) का उपयोग करके निकाला जाता है।

एकीकृत आर्किटेक्चर समर्थन (Unified Architecture Support):
यह ऑपरेटर तीन प्रमुख अटेंशन परिवारों को एकीकृत करता है:

• MHA (Multi-Head Attention): कंटेंट और RoPE का मानक विभाजन।
• GQA (Grouped Query Attention): RoPE पुन: अनुप्रयोग के माध्यम से पूर्ण कीज़ को स्थानांतरित करता है; $K$ और $V$ दोनों को पैच करता है।
• MLA (Multi-Head Latent Attention): केवल डिकपल्ड $k_{rope}$ (64-dim) को स्थानांतरित करता है जबकि लेटेंट $c_{KV}$ को बाइट-दर-बाइट पुन: उपयोग करता है; दोनों चैनलों को पैच करता है।

3. मुख्य योगदान (Key Contributions)

• कमी का निदान (Diagnosis of the Deficit): शोध प्रदर्शित करता है कि पुन: उपयोग में होने वाली हानि एक टोकन-विस्तृत (diffuse-in-tokens), फीचर-लो-रैंक (low-rank-in-features), और डीप-लेयर घटना है। ऑरेकल टोकन सेलेक्टर्स गैप को रिकवर करने के लिए $\approx 50\%$ टोकन की आवश्यकता होती है, जबकि कमी की ऊर्जा $\approx 32$ फीचर दिशाओं में केंद्रित है, जो मुख्य रूप से गहरी परतों में है। यह टोकन-स्पार्स रीकंप्यूटेशन रणनीतियों को अमान्य करता है।
• स्थिति/कंडीशनिंग पृथक्करण (Position/Conditioning Separation): एक प्रशिक्षण-मुक्त तंत्र जो एक कैनोनिकल चंक और एक छोटा रैंक-$m$ पैच संग्रहीत करता है। यह किसी भी स्थिति के लिए सटीक RoPE री-रोटेशन और पूर्ववर्ती बाइंडिंग के लिए पैच-आधारित बहाली की अनुमति देता है।
• तीन सस्ते विंडो ऑपरेशन्स (Three Cheap Window Operations):
  1. पुनर्व्यवस्था (Reorder): एक एकल "ऑर्बिट पैच" (परम्यूटेशन पर औसत) कैश किए गए सेट के हर क्रम के लिए काम करता है, जिससे कैश किए गए डेटा के पुन: क्रमबद्ध RAG या रिशैफल्ड फ्रेम के लिए लगभग शून्य लागत पर सक्षम होता है।
  2. स्लाइडिंग-विंडो उत्तरजीविता (Sliding-Window Survival): जब विंडो खिसकती है और पुराने चंक हटा दिए जाते हैं, तो जीवित बचे चंक्सों को केवल सटीक री-रोटेशन ($R(\delta)$) की आवश्यकता होती है; मानक GQA/MLA के लिए किसी पैच की आवश्यकता नहीं होती (लगभग हानि-रहित), हालांकि डीपस्टैक आर्किटेक्चर को एक रिमूवल पैच की आवश्यकता हो सकती है।
  3. रिकॉल (Reversible Eviction): हटाए गए चंक्स को उनके निश्चित पिछले संदर्भ के आधार पर एक नए पैच का उपयोग करके कैनोनिकल स्टोर से पुन: हाइड्रेट किया जा सकता है, जिससे विजन री-एनकोडिंग से बचा जा सके।
• उत्पादन पर तैनाती (Production Deployment): इसे SGLang प्रोडक्शन इंजन (FlashAttention-3 कर्नल) में एक प्रशिक्षण-मुक्त हुक के रूप में लागू किया गया है, जो bf16 राउंडिंग के भीतर KV कैश को पुनर्गठित करता है (रेसिड्यूअल नेक्स्ट-टोकन KL $\approx 10^{-3}$)।

4. परिणाम (Results)

• सटीकता रिकवरी (Accuracy Recovery): क्रॉस-चंक बाइंडिंग बेंचमार्क (MM-NIAH, MileBench, दो-पेज दस्तावेज़ QA) पर, ब्लाइंड KV पुन: उपयोग मल्टी-हॉप सटीकता को आधा कर देता है (जैसे, Qwen2.5-VL पर $0.59 \to 0.41$)। एक रैंक-16/32 पैच सटीकता को री-प्रीफिल सीलिंग ($0.64, 0.72$) तक बहाल करता है, जो टोकन-रीकंप्यूट बेसलाइन (CacheBlend, VLCache) से बेहतर प्रदर्शन करता है जो केवल $20\text{--}40\%$ गैप को रिकवर कर पाते हैं।
• दक्षता (Efficiency):
  • मेमोरी: एक रैंक-64 पैच सेगमेंट के KV बाइट्स का $\approx 25\%$ खर्च करता है; रैंक-16 $\approx 6\%$ खर्च करता है।
  • विलंबता (Latency): यह LLM प्रीफिल को 'फॉरवर्ड-फ्री' पैच एप्लिकेशन से बदल देता है, जिससे लंबे वीडियो सेगमेंट के लिए फुल री-एनकोडिंग की तुलना में टाइम-टू-फर्स्ट-टोकन (TTFT) में 29$\times$ तक सुधार होता है।
  • एमोर्टाइजेशन (Amortization): पैच बनाने की एकमुश्त लागत, हर बार री-प्रीफिल करने वाले बेसलाइन के मुकाबले $\approx 9$ पुन: उपयोगों के बाद एमोर्टाइज (amortized) हो जाती है।
• मजबूती (Robustness): विधि विभिन्न बैकबोन (Qwen2.5-VL, Qwen3-VL, Kimi-VL, DeepSeek-VL) और अटेंशन फैमिली (GQA, MLA, MHA) में पूर्ण मल्टी-हॉप सटीकता प्राप्त करती है।

5. महत्व और दावे (Significance and Claims)

शोध का दावा है कि रीकंप्यूट (recompute) से बचा जा सकता है। यह पहचानकर कि पुन: उपयोग की कमी एक लो-रैंक, डीप-लेयर कंडीशनिंग सिग्नल है न कि टोकन-स्पार्स एरर, कैमरा एक एकीकृत, प्रशिक्षण-मुक्त ऑपरेटर प्रदान करता है जो KV कैश को एक स्थिति-अनुक्रमित ऐरे के बजाय एक कंटेंट-एड्रेस्ड, स्थिति-अपरिवर्तनीय संरचना बनाता है।

इसका महत्व संदर्भ प्रबंधन को बदलने में निहित है:

• प्रतिवर्ती निष्कासन (Reversible Eviction): एजेंट आक्रामक रूप से सामग्री को हटा सकते हैं, यह जानते हुए कि इसे विजन री-एनकोडिंग के बिना सस्ते में पुन: हाइड्रेट किया जा सकता है।
• शेड्यूलिंग स्वतंत्रता (Scheduling Freedom): चूंकि ऑर्बिट के ऊपर रीऑर्डर फ्री है, इसलिए चंक प्लेसमेंट अब आगमन क्रम का परिणाम होने के बजाय एक शेड्यूलिंग वेरिएबल बन जाता है।
• लागत बदलाव (Cost Shift): लागत महंगे, बार-बार होने वाले कंप्यूट (विजन एनकोडर + प्रीफिल) से मेमोरी बैंडविड्थ (छोटे पैच स्टोर करना) की ओर स्थानांतरित हो जाती है, जो आधुनिक डिकोड चरणों की मेमोरी-बाउंड प्रकृति के अनुरूप है।

लेखक नोट करते हैं कि इसका प्रभाव रिडंडेंट विजन और वीडियो स्ट्रीम में सबसे अधिक होता है जहाँ एजेंट अपना रीकंप्यूट बजट खर्च करते हैं, जबकि सघन टेक्स्ट (जहाँ प्रिफिक्स कैशिंग पहले से ही पर्याप्त है) में ऐसा कोई गैप नहीं दिखता। यह कार्य स्थापित करता है कि विंडो के परे का कॉन्टेक्स्ट न तो पुन: कंप्यूट किया जाना चाहिए, और न ही इसे सेवा देने के लिए मॉडल को फिर से प्रशिक्षित करने की आवश्यकता है।