Don't Break the Cache: An Evaluation of Prompt Caching for Long-Horizon Agentic Tasks
यह शोध पत्र लंबे समय तक चलने वाले एजेंटिक कार्यों (long-horizon agentic tasks) के लिए तीन प्रमुख LLM प्रदाताओं में प्रॉम्प्ट कैशिंग का एक व्यापक मूल्यांकन प्रस्तुत करता है, जो यह प्रदर्शित करता है कि रणनीतिक कैशिंग तकनीकें—जैसे कि गतिशील टूल परिणामों (dynamic tool results) को बाहर रखना और प्रॉम्प्ट संरचना का प्रबंधन करना—ने नैव (naive) पूर्ण-संदर्भ कैशिंग की तुलना में API लागत को 41-80% तक कम किया है और पहले टोकन के समय (time to first token) को 13-31% तक सुधारा है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक जटिल रहस्य को सुलझाने के लिए एक बेहद बुद्धिमान लेकिन महंगे रिसर्च असिस्टेंट (शोध सहायक) को काम पर रख रहे हैं। इस सहायक को काम शुरू करने से पहले एक विशाल निर्देश पुस्तिका (सिस्टम प्रॉम्प्ट) पढ़नी होगी। जैसे-जैसे वह काम करता है, वह विभिन्न स्रोतों को दर्जनों फोन कॉल करता है, उत्तर प्राप्त करता है, और उन्हें एक नोटबुक में लिखता है।
हर बार जब वह एक नया फोन कॉल करता है, तो उसे यह याद रखने के लिए कि क्या करना है, निर्देश पुस्तिका को पहले पन्ने से दोबारा पढ़ना पड़ता है। इसमें बहुत समय लगता है और बहुत पैसा खर्च होता है क्योंकि सहायक द्वारा पढ़े गए प्रत्येक पन्ने के लिए शुल्क लिया जाता है।
"प्रॉम्प्ट कैशिंग" (Prompt Caching) उस सहायक को एक जादुई हाइलाइटर देने जैसा है। यदि निर्देश पुस्तिका नहीं बदली है, तो सहायक पुस्तिका के पहले 90% हिस्से को दोबारा पढ़ने के बजाय सीधे नए फोन कॉल के परिणामों वाले हिस्से पर जा सकता है। इससे समय और पैसा दोनों बचते हैं।
हालाँकि, यह शोध पत्र एक पेचीदा सवाल पूछता है: क्या यह जादुई हाइलाइटर हमेशा काम करता है, या हम इसे बिगाड़ सकते हैं?
शोधकर्ताओं ने इसका परीक्षण तीन प्रमुख "असिस्टेंट" कंपनियों (OpenAI, Anthropic, और Google) के साथ किया, जहाँ उन्होंने DeepResearch Bench नामक एक बेंचमार्क का उपयोग किया, जहाँ एजेंट कठिन सवालों के जवाब देने के लिए लंबी, बहु-चरणीय वेब खोजें करते हैं। उन्होंने हाइलाइटर का उपयोग करने के तीन अलग-अलग तरीके आजमाए:
- "नाइव" दृष्टिकोण (पूर्ण संदर्भ/Full Context): सब कुछ (नया फोन कॉल परिणाम भी) हाइलाइट करना।
- "स्टिक नोट" दृष्टिकोण (केवल सिस्टम प्रॉम्प्ट/System Prompt Only): केवल निर्देश पुस्तिका को हाइलाइट करना, लेकिन नए फोन कॉल परिणामों को बिना हाइलाइट किए छोड़ देना।
- "क्लीन ब्रेक" दृष्टिकोण (टूल परिणामों को बाहर रखना/Exclude Tool Results): निर्देश पुस्तिका और फोन कॉल दोनों को हाइलाइट करना, लेकिन हर नए परिणाम के बाद एक विशेष "स्टॉप" साइन लगाना ताकि हाइलाइटर गलती से अगले व्यक्ति के बिखरे हुए नोट्स को न पकड़ ले।
उन्हें क्या पता चला
1. यह बहुत पैसा बचाता है (द "वॉलेट" विन)
चाहे उन्होंने कौन सा भी तरीका इस्तेमाल किया हो, जादुई हाइलाइटर ने बहुत सारे पैसे बचाए। कंपनी के आधार पर, उन्होंने बिल में 41% से 80% तक की बचत की।
- उपमा: यह ऐसा ही है जैसे आपको यह महसूस होना कि हर बार लाइब्रेरी में जाने पर आपको नया लाइब्रेरी कार्ड खरीदने की जरूरत नहीं है; आप बस अपने पास मौजूद कार्ड का उपयोग कर सकते हैं।
2. गति पेचीदा है (द "ट्रैफिक" समस्या)
जबकि पैसा बचाना आसान था, समय बचाना कठिन था।
- आश्चर्य: कभी-कभी, सब कुछ हाइलाइट करना (नाइव दृष्टिकोण) वास्तव में सहायक को धीमा बना देता था।
- उपमा: कल्पना कीजिए कि एक डिलीवरी ड्राइवर हर उस पते को याद करने की कोशिश करता है जो वह डिलीवर करता है। यदि वह ऐसे पैकेज को याद करने की कोशिश करता है जो केवल एक बार डिलीवर किया जा रहा है और फिर कभी नहीं, तो वह समय बर्बाद करता है। जब अगला पैकेज आता है, तो उसे नए के लिए जगह बनाने के लिए पुराने को "अन-मेमोराइज" (याददाश्त से मिटाना) करना पड़ता है। यह "मेमोरी में लिखने" की प्रक्रिया उन्हें धीमा कर देती है।
- शोध पत्र में पाया गया कि यदि आप केवल स्थिर हिस्सों (निर्देश पुस्तिका) को हाइलाइट करते हैं और बदलते हुए हिस्सों (फोन कॉल परिणाम) को बिना हाइलाइट किए छोड़ देते हैं, तो सहायक तेज़ बना रहता है।
3. "डोंट ब्रेक द कैश" (कैश को न तोड़ें) का नियम
सबसे बड़ा सबक यह है कि आप रेखा कहाँ खींचते हैं।
- यदि आप निर्देश पुस्तिका के अंदर गतिशील, बदलती जानकारी (जैसे "वर्तमान समय: दोपहर 2:00 बजे" या "यूजर आईडी: 123") रखते हैं, तो जादुई हाइलाइटर टूट जाता है। सिस्टम को लगता है कि निर्देश पुस्तिका बदल गई है, इसलिए वह हाइलाइट करना बंद कर देता है और शुरुआत से पढ़ना शुरू कर देता है।
- समाधान: निर्देश पुस्तिका को शुद्ध और स्थिर रखें। यदि आपको इसमें बदलती जानकारी शामिल करनी ही है, तो इसे निर्देश पुस्तिका के बिल्कुल अंत में रखें, जैसे कि अंतिम पन्ने पर एक स्टिकी नोट। इस तरह, निर्देश पुस्तिका का पहला 99% अभी भी हाइलाइट किया हुआ और पुन: उपयोग योग्य रहेगा।
निष्कर्ष (The Bottom Line)
उन कंपनियों के लिए जो लंबे, जटिल कार्य करने वाले AI एजेंट बना रही हैं:
- हाँ, प्रॉम्प्ट कैशिंग का उपयोग करें। यह आपकी लागत को भारी मात्रा में कम कर देगा।
- लेकिन, समझदारी बरतें। इसे केवल सब कुछ के लिए चालू न करें।
- सर्वश्रेष्ठ रणनीति: केवल स्थिर "निर्देश पुस्तिका" (सिस्टम प्रॉम्प्ट) को कैश करें। बदलते हुए हिस्सों (टूल परिणामों) को बिना कैश किए स्वतंत्र रूप से बहने दें। यह आपको कम लागत और तेज़ गति का सबसे अच्छा मिश्रण देगा।
यदि आप बदलने वाले हिस्सों को कैश करने की कोशिश करते हैं, तो आप कैश के "लिखने" के लिए भुगतान कर सकते हैं बिना "पढ़ने" के लाभ प्राप्त किए, जो वास्तव में आपके सिस्टम को धीमा कर सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।