तकनीकी सारांश: कैश-अवेयर प्रॉम्प्ट कम्प्रेशन (CAPC)

समस्या विवरण

आधुनिक लार्ज लैंग्वेज मॉडल (LLM) डिप्लॉयमेंट तेजी से दो अलग-अलग लागत-न्यूनीकरण प्रिमिटिव्स (primitives) पर निर्भर हैं: प्रॉम्प्ट कैशिंग (बाद के रीड के लिए कम डिस्काउंटेड दरों पर प्रीफिक्स के KV-स्टेट्स को स्टोर करना) और प्र प्रॉम्प्ट कम्प्रेशन (इनपुट के टोकन काउंट को कम करना)। ऐतिहासिक रूप से, इन तकनीकों को अलग-अलग अनुकूलन के रूप में माना जाता रहा है। हालांकि, प्रॉम्प्ट कम्प्रेशन पर केंद्रित प्रमुख साहित्य क्वेरी-अवेयर (query-aware) तरीकों पर निर्भर करता है, जो प्रत्येक विशिष्ट क्वेरी के लिए एक अद्वितीय संकुचित (compressed) प्रीफिक्स उत्पन्न करता है।

यह डिज़ाइन विकल्प प्रीफिक्स-स्ट्रिक्ट कैशिंग तंत्र (जैसे, Anthropic का cache_control) के साथ एक मौलिक संघर्ष पैदा करता है। क्योंकि संकुचित प्रीफिक्स हर क्वेरी के साथ बदल जाता है, कैश की (cache key) हर कॉल पर अमान्य हो जाती है। परिणामस्वरूप, सिस्टम हर अनुरोध के लिए पूर्ण, गैर-डिस्काउंटेड इनपुट दर का भुगतान करता है, जो प्रभावी रूप से कैशिंग और कम्प्रेशन दोनों से होने वाली बचत को समाप्त कर देता है। जबकि मौजूदा साहित्य अक्सर एक आदर्श कैश हिट रेट ($\rho = 1.0$) की धारणा लेता है, यह धारणा वास्तविक दुनिया के API की आर्थिक वास्तविकता को समझने में विफल रहती है, जहाँ कैश व्यवहार गैर-तुच्छ (non-trivial) होता है और क्वेरी-अवेयर कम्प्रेशन एक नकारात्मक रिटर्न ऑन इन्वेस्टमेंट (ROI) का परिणाम दे सकता है।

कार्यप्रणाली और अनुभवजन्य लक्षण वर्णन (Empirical Characterization)

लेखक अनुभवजन्य माप, लागत मॉडलिंग और एल्गोरिथम डिज़ाइन के संयोजन के माध्यम से इस अंतर को संबोधित करते हैं।

1. Anthropic Sonnet 4.6 का अनुभवजन्य लक्षण वर्णन

पेपर नियंत्रित प्रयोगों ($n=3$ ट्रायल, कुल लागत $1.91) के माध्यम से Anthropic के Sonnet 4.6 API के कैशिंग व्यवहार का लक्षण वर्णन करता है। मुख्य निष्कर्षों में शामिल हैं:

• दो-स्तरीय वास्तुकला (Two-Tier Architecture): कैश समान नहीं है। यह 3,500 टोकन के पास एक तीव्र थ्रेशोल्ड प्रदर्शित करता है।
  • हॉट टियर (< 3.5k टोकन): हिट रेट ($\rho$) लगभग 0.83 (विशेष रूप से 2k टोकन के लिए 0.833) पर स्थिर हो जाता है, भले ही 30 कॉल के बाद भी। यह 1.0 नहीं है।
  • परसिस्टेंट टियर (> 3.5k टोकन): दूसरी कॉल से हिट रेट प्रभावी रूप से 1.0 है।
• टोकन-स्ट्रिक्ट इनवैलिडेशन: कैश इनवैलिडेशन टोकन अनुक्रम के प्रति सख्त है। मामूली परिवर्तन (जैसे, एक एकल वर्ण परिवर्तन) भी कैश मिस का परिणाम देते हैं, हालांकि टोकनाइज़र द्वारा लीडिंग/ट्रेलिंग व्हाइटस्पेस को सामान्य (normalize) किया जाता है।
• मूल्य निर्धारण संरचना: API कैश राइट्स ($c_w$) के लिए अनकैश्ड इनपुट्स ($p_{in}$) की तुलना में प्रीमियम चार्ज करता है, और कैश रीड्स ($c_r$) के लिए महत्वपूर्ण छूट देता है। Sonnet 4.6 पर, $c_w \approx 1.25 \times p_{in}$ और $c_r \approx 0.10 \times p_{in}$ है।

2. लागत मॉडलिंग और क्रॉसओवर विश्लेषण

लेखक चार रणनीतियों के लिए प्रति-कॉल लागत मॉडल व्युत्पन्न करते हैं:

• A (वैनिला): कोई कैश नहीं, कोई कम्प्रेशन नहीं।
• B (केवल कैश): पूर्ण प्रीफिक्स कैश किया गया, कोई कम्प्रेशन नहीं।
• C (क्वेरी-अवेयर कम्प्रेशन): प्रति क्वेरी संकुचित, कोई कैश नहीं (हर बार कैश मिस)।
• D (CAPC): क्वेरी-अग्नोस्टिक कम्प्रेशन + कैशिंग।

मॉडल एक क्रॉसओवर थ्रेशोल्ड ($\rho_{cross}$) को परिभाषित करता है जहाँ कैशिंग की लागत (रणनीति B) क्वेरी-अवेयर कम्प्रेशन (रणनीति C) की लागत के बराबर होती है:
$$\rho_{cross}(r) = \frac{c_w - p_{in}/r}{c_w - c_r}$$
विश्लेषण से पता चलता है कि उच्च कम्प्रेशन रेश्यो ($r \ge 6$) के लिए, कैशिंग को क्वेरी-अवेयर कम्प्रेशन से बेहतर बनाने के लिए आवश्यक हिट रेट Sonnet 4.6 के हॉट टियर के अनुभवजन्य प्लेटो ($\rho \approx 0.89$) से अधिक है। अतः, वास्तविक स्थितियों के तहत, क्वेरी-अवेयर कम्प्रेशन अक्सर केवल कैशिंग से सस्ता होता है, जो पारंपरिक समझ का खंडन करता है।

3. CAPC एल्गोरिदम

प्रस्तावित समाधान, कैश-अवेयर प्रॉम्प्ट कम्प्रेशन (CAPC), तीन घटकों को जोड़ता है:

1. क्वेरी-अग्नोस्टिक कम्प्रेशन: एक स्थिर दस्तावेज़ को एक बार संकुचित किया जाता है (जैसे, सेंटेंस सिलेक्शन के माध्यम से) ताकि एक निश्चित प्रीफिक्स $D'$ प्राप्त हो सके, जिससे यह सुनिश्चित हो सके कि कैश की (cache key) सभी क्वेरीज़ में स्थिर रहे।
2. टियर-प्रिजर्विंग रेश्यो बाउंड: प्रीफिक्स को "हॉट टियर" (जहाँ $\rho < 1$) में धकेलने के लिए ओवर-कम्प्रेशन को रोकने हेतु, कम्प्रेशन रेश्यो $r$ को $r_{max} = \lfloor |D| / 3500 \rfloor$ द्वारा सीमित किया जाता है। यह सुनिश्चित करता है कि संकुचित प्रीफिक्स परसिस्टेंट टियर ($\rho \approx 1.0$) में रहे।
3. AdaptiveCacheBoundary: विकसित होते दस्तावेज़ों के लिए, एक सबरूटीन संस्करणों के बीच म्यूटेशन रेट के आधार पर वाक्य स्थितियों को STATIC, QUASI, या DYNAMIC के रूप में वर्गीकृत करती है, और केवल स्थिर प्रीफिक्स को कैश करती है।

मुख्य परिणाम

1. LongBench-v2 सिंथेटिक बेंचमार्क

16 कॉन्फ़िगरेशन (4 दस्तावेज़ आकार $\times$ 4 रेश्यो) पर, CAPC सबसे सस्ता रणनीति था (16/16 मामलों में)।

• बचत: कैश-ओनली पर औसत बचत 49%, क्वेरी-अवेयर कम्प्रेशन पर 64%, और वैनिला पर 90%।
• गुणवत्ता: CAPC ने टियर-प्रिजर्विंग रेश्यो पर अनकंप्रेस्ड बेसलाइन के 0.05 के भीतर गुणवत्ता बनाए रखी।
• क्रॉसओवर वैलिडेशन: $r=6$ पर, क्वेरी-अवेयर कम्प्रेशन सभी 4/4 कॉन्फ़िगरेशन में कैश-ओनली से सस्ता था, जो क्रॉसओवर मॉडल की भविष्यवाणी को प्रमाणित करता है।

2. प्रोडक्शन वैलिडेशन: एंटरप्राइज टूल-यूज़िंग असिस्टेंट

94k-टोकन स्टैटिक प्रीफिक्स (सिस्टम प्रॉम्प्ट + 287 MCP टूल डेफिनिशन) पर मान्य किया गया।

• लागत में कमी: CAPC ने $r=3$ पर वैनिला की तुलना में 51.7% लागत में कमी हासिल की।
• गुणवत्ता: टूल-सिलेक्शन गुणवत्ता कैश-ओनली के समान थी (0.700 बनाम 0.703)।
• अंतर्दृष्टि: $r=3$ पर क्वेरी-अवेयर कम्प्रेशन वास्तव में टूल सिलेक्शन पर खराब प्रदर्शन करता है (0.603), क्योंकि यह क्वेरी से प्रासंगिक टूल डेफिनिशन को हटा देता है। CAPC का क्वेरी-अग्नोस्टिक दृष्टिकोण पूरे कैटलॉग को सुरक्षित रखता है, जो टूल-ऑगमेंटेड एजेंट्स के लिए श्रेष्ठ सिद्ध होता है।
• इम्प्लिसिट कैशिंग: अध्ययन ने खुलासा किया कि Anthropic स्पष्ट मार्कर्स के बिना भी बड़े tools= एरे को इम्प्लिसिट रूप से कैश करता है, जो वैनिला रणनीतियों के लिए स्पष्ट कैशिंग के मार्जिनल लाभ को कम करता है लेकिन CAPC के कम्प्रेशन लाभ को कम नहीं करता है।

3. नॉलेज-ग्राफ RAG (Graphify)

कोडबेस इंडेक्सिंग (FastAPI और httpx रिपॉजिटरी) के लिए graphify के साथ एकीकृत।

• वास्तुकला: लेयर 1 (कैश्ड, क्वेरी-अग्नोस्टिक) में ग्राफ मेटाडेटा शामिल है; लेयर 2 (प्रति-क्वेरी) सोर्स कोड प्राप्त करती है।
• प्रदर्शन: CAPC ने "कैश-ऑल" (फुल ग्राफ स्केलेटन) की तुलना में FastAPI पर 9.3x और httpx पर 2.4x लागत में कमी दी, जबकि स्थिर 85%+ कैश हिट रेट बनाए रखा।
• गुणवत्ता: CAPC ने नेटिव ग्राफिफ़ाई क्वेरीज़ और एम्बेडिंग-RAG बेसलाइन्स की तुलना में बेहतर प्रदर्शन किया, विशेष रूप से उन कोडबेसेस पर जहाँ मॉडल का पूर्व ज्ञान कमजोर था (httpx), जो वैनिला पर 142% क्वालिटी लिफ्ट प्रदान करता है।

4. पब्लिक बेंचमार्क: $\tau$-Bench Retail

डेटाबेस-स्टेट रिवॉर्ड्स (कोई LLM जज नहीं) के साथ 50 नियतात्मक कार्यों पर मूल्यांकन।

• परिणाम: CAPC सबसे सस्ती रणनीति थी, जिसने वैनिला पर 7.9% की बचत की और साथ ही वैनिला ($z=0.00, p=1.00$) के समान ही टास्क कंप्लीशन रेट (36/50) प्राप्त किया।
• क्वेरी-अवेयर का नेगेटिव ROI: क्वेरी-अवेयर कम्प्रेशन वैनिला की तुलना में 40.1% अधिक महंगा था, जो सार्वजनिक बेंचमार्क पर क्वेरी-अवेयर तरीकों के नेगेटिव ROI का पहला प्रोडक्शन कन्फर्मेशन प्रदान करता है।

महत्व और दावे

पेपर का दावा है कि यह प्रॉम्प्ट कैशिंग इकोनॉमिक्स के पहले व्यवस्थित लक्षण वर्णन प्रदान करता है, जो आदर्श $\rho=1.0$ धारणा से आगे बढ़ता है। इसके प्राथमिक योगदान हैं:

1. अनुभवजन्य वास्तविकता: यह प्रदर्शित करना कि LLM कैशों में एक विशिष्ट टोकन थ्रेशोल्ड के नीचे एक गैर-तुच्छ हिट रेट प्लेटो के साथ दो-स्तरीय वास्तुकला होती है।
2. सैद्धांतिक उलटाव (Theoretical Inversion): यह सिद्ध करना कि उच्च कम्प्रेशन रेश्यो पर, क्वेरी-अवेयर कम्प्रेशन अक्सर साधारण कैशिंग से सस्ता होता है, जो पारंपरिक डिज़ाइन पदानुक्रम को उलट देता है।
3. व्यावहारिक एल्गोरिदम: CAPC को पेश करना, जो क्वेरी-अग्नोस्टिक कम्प्रेशन को स्पष्ट कैशिंग और एक टियर-प्रिजर्विंग बाधा के साथ एकीकृत करता है।
4. प्रोडक्शन वैलिडेशन: सिंथेटिक बेंचमार्क, एंटरप्राइज टूल-यूज़ एजेंट्स, नॉलेज-ग्राफ RAG पाइपलाइन्स और सार्वजनिक नियतात्मक बेंचमार्क के माध्यम से इन निष्कर्षों को मान्य करना।

लेखक इस बात पर जोर देते हैं कि CAPC इंडेक्सर्स (जैसे graphify) का विकल्प नहीं है, बल्कि एक पूरक "लास्ट-माइल डिलीवरी" लेयर है जो इंडेक्स-व्युत्पन्न कॉन्टेक्स्ट को LLM तक पहुँचाने की आर्थिक लागत को अनुकूलित करती है। पेपर में किए गए सभी अनुभवजन्य कार्य की कुल लागत $98.96 थी, जो यह दर्शाता है कि ये निष्कर्ष मामूली संसाधनों के साथ पुनरुत्पादित (reproducible) योग्य हैं।