तकनीकी सारांश: जब क्लासिक कैश नीतियां विफल हो जाती हैं: सिमेंटिक रिट्रीवल बफ़र्स के लिए लर्निंग-ऑगमेंटेड रिप्लेसमेंट

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र लार्ज लैंग्वेज मॉडल (LLM) एजेंटों में रिट्रीवल बफ़र्स (दीर्घकालिक स्मृति) के प्रबंधन को संबोधित करता है। पारंपरिक डेटाबेस बफ़र पूल या वेब कैश के विपरीत, ये बफ़र्स "अनुभव वस्तुओं" (जैसे बातचीत के टर्न, टूल के परिणाम) को संग्रहीत करते हैं जिन्हें सटीक ID मिलान के बजाय एम्बेडिंग समानता (embedding similarity) के माध्यम से पुनः प्राप्त (retrieve) किया जाता है।

लेखक इसे स्विचिंग कॉस्ट के साथ ऑनलाइन सिमेंटिक कैश रिप्लेसमेंट समस्या के रूप में औपचारिक रूप देते हैं, जो क्लासिक कैशिंग थ्योरी से तीन मौलिक अंतरों द्वारा अभिलक्षित है:

1. सॉफ्ट हिट्स (निरंतर उपयोगिता - Continuous Utility): रिट्रीवल की गुणवत्ता समानता के आधार पर निरंतर ($[0, 1]$) होती है, न कि बाइनरी। एक "मिस" का अर्थ वस्तु की अनुपस्थिति नहीं, बल्कि खराब रिट्रीवल गुणवत्ता है।
2. सिमेंटिक मैचिंग (Semantic Matching): वस्तुओं का मिलान एम्बेडिंग समानता द्वारा किया जाता है। एक कैश की गई वस्तु संबंधित विषयों से प्रश्नों को आंशिक रूप से सेवा दे सकती है, जिसका अर्थ है कि सटीक नवीनता (recency) या आवृत्ति (frequency) भविष्य की उपयोगिता की गारंटी नहीं देती है।
3. नॉन-स्टेशनरी यूटिलिटी (Non-Stationary Utility): बातचीत के विषय विकसित होने के साथ वस्तु का मूल्य बदलता रहता है। टर्न 50 पर प्रासंगिक वस्तु टर्न 200 पर अप्रासंगिक हो सकती है।

उद्देश्य कुल लागत को कम करना है, जिसे संचयी मिस कॉस्ट (रिट्रीवल गुणवत्ता हानि) और स्विचिंग कॉस्ट (कैश अवस्था को संशोधित करने के दंड, जैसे पुन: इंडेक्सिंग) के योग के रूप में परिभाषित किया गया है।

2. मुख्य निष्कर्ष: क्लासिक ह्यूरिस्टिक्स की विफलता

MemoryBench-Full (LoCoMo और DialSim) के दो डेटासेट्स पर 8 रिप्लेसमेंट नीतियों का व्यापक प्रयोग करते हुए, लेखक एक विरोधाभासी घटना प्रकट करते हैं: क्लासिक ह्यूरिस्टिक्स (LRU, LFU, ARC) सिमेंटिक वर्कलोड पर स्वाभाविक रूप से FIFO बेसलाइन से भी खराब प्रदर्शन करते हैं।

• LRU की विफलता: विविध बातचीत में रिट्रीवल की नवीनता भविष्य की उपयोगिता का भविष्यवक्ता नहीं है; "सुप्त लेकिन मूल्यवान" वस्तुओं को समय से पहले हटा दिया जाता है।
• LFU की विफलता: आवृत्ति संचय शुरुआती, संभावित रूप से अप्रचलित विषयों वाली वस्तुओं का पक्ष लेता है, जिससे कैश "अप्रचलित-लेकिन-लोकप्रिय वस्तुओं के संग्रहालय" में बदल जाता है।
• सैद्धांतिक प्रमाण: लेखक सिद्ध करते हैं कि इस सेटिंग में FIFO का एक अनबाउंडेड कॉम्पिटिटिव रेशियो ($\Omega(K)$) है। एक चक्रीय वर्कलोड में जहाँ वर्किंग सेट का आकार कैश क्षमता से अधिक होता है, FIFO ठीक 0% हिट रेट प्राप्त करता है, जबकि पारंपरिक पेजिंग में क्लासिक LRU $K$ का अनुपात प्राप्त करता है, लेकिन यहाँ टेम्पोरल लोकैलिटी की कमी के कारण समान रूप से विफल हो जाता है।

3. कार्यप्रणाली: SOLAR फ्रेमवर्क

लेखक एक SOLAR (सिमेंटिक ऑनलाइन लर्निंग-ऑगमेंटेड रिप्लेसमेंट) फ्रेमवर्क प्रस्तावित करते हैं, जो कैश प्रबंधन को दो जुड़े हुए निर्णयों में विभाजित करता है: कब संशोधित करें और क्या डालें।

A. रिग्रेट-गेटेड मॉडिफिकेशन टाइमिंग (एडमिशन कंट्रोल)

हमेशा नई वस्तुओं को स्वीकार करने (जैसा कि क्लासिक नीतियां करती हैं) के बजाय, SOLAR संचयी रिग्रेट (accumulated regret) के आधार पर प्रवेश को नियंत्रित करता है।

• तंत्र: एक नई वस्तु कैश में तभी प्रवेश करती है जब उसे न रखने की संचयी लागत (मिस कॉस्ट) एक अनुकूली थ्रेशोल्ड $\tau$ से अधिक हो जाती है।
• अनुकूलन: थ्रेशोल्ड $\tau$, मिस कॉस्ट के एक्सपोनेंशियल मूविंग एवरेज (EMA) के माध्यम से वर्कलोड की कठिनाई को ट्रैक करता है।
• प्रभाव: यह संशोधन दर को लगभग 17% तक कम कर देता है, यह सुनिश्चित करता है कि कैश केवल तभी संशोधित किया जाए जब वह स्पष्ट रूप से अपर्याप्त हो, जिससे उच्च-मूल्य वाले अपडेट के लिए "स्विचिंग बजट" सुरक्षित रहता है।

B. बेयसियन ऑनलाइन कंटेंट सिलेक्शन (इविक्शन)

जब एडमिशन ट्रिगर होता है और कैश भर जाता है, तो SOLAR को अनिश्चितता के तहत एक वस्तु को हटाने (evict) के लिए चुनना होता है।

• तंत्र: यह प्रत्येक कैश की गई वस्तु की उपयोगिता के लिए एक बीटा पोस्टीरियर डिस्ट्रीब्यूशन ($\alpha_i, \beta_i$) बनाए रखता है, जिसे इंप्लिसिट रिट्रीवल फीडबैक (कि क्या वस्तु टॉप-$k$ में रिट्रीव की गई थी) के माध्यम से अपडेट किया जाता है।
• इविक्शन रणनीति: सिस्टम सबसे कम सैंपल की गई उपयोगिता वाली वस्तु को चुनने के लिए थॉम्पसन सैंपलिंग (Thompson Sampling) का उपयोग करता है।
• नॉन-स्टेशनैरिटी हैंडलिंग: एक टेम्पोरल डिके (temporal decay) तंत्र उन वस्तुओं के लिए $\beta$ पैरामीटर को बढ़ाता है जिन्हें समय के साथ रिट्रीव नहीं किया गया है, जिससे पोस्टीरियर कम उपयोगिता की ओर झुक जाता है, जो अप्रचलित वस्तुओं को "स्थायी" रूप से रखने से रोकता है।
• नोवेल्टी बोनस: एक बोनस टर्म हाल ही में शामिल की गई वस्तुओं को पर्याप्त अवलोकन से पहले समय से पहले हटाने से रोकता है।

C. सिनर्जी (Synergy)

दोनों घटक सहक्रियात्मक रूप से परस्पर क्रिया करते हैं। चयनात्मक प्रवेश यह सुनिश्चित करता है कि कैश में उच्च-मूल्य वाली वस्तुएं हों, जो बेयसियन पोस्टीरियर्स के लिए स्वच्छ फीडबैक सिग्नल प्रदान करती हैं। बदले में, बेहतर इविक्शन निर्णय उच्च-गुणवत्ता वाली वस्तुओं को संरक्षित करते हैं, जो चयनात्मक प्रवेश के मूल्य को सुदृढ़ करते हैं। अनुभवजन्य रूप से, संयुक्त प्रभाव व्यक्तिगत घटकों के योग से ~40% अधिक है।

4. सैद्धांतिक गारंटी

शोध पत्र SOLAR के लिए कठोर सैद्धांतिक सीमाएं प्रदान करता है:

• कॉम्पिटिटिव रेशियो: SOLAR ऑफलाइन ऑप्टिमल पॉलिसी के विरुद्ध एक कॉन्स्टेंट कॉम्पिटिटिव रेशियो $\le 3$ प्राप्त करता है, जो कैश आकार ($K$), समय क्षितिज ($T$), और स्विचिंग कॉस्ट ($\lambda$) से स्वतंत्र है। यह FIFO के अनबाउंडेड रेशियो के बिल्कुल विपरीत है।
• रिग्रेट बाउंड्स: इविक्शन रिग्रेट $O(\sqrt{KT \log T})$ द्वारा सीमित है, जो सूचना-सैद्धांतिक निचली सीमा ($\Omega(\sqrt{KT})$) के लॉगरिदमिक कारकों तक मेल खाता है।
• अभिसरण (Convergence): पीसवाइज-स्टेशनरी वर्कलोड के तहत, कॉम्पिटिटिव रेशियो $T \to \infty$ होने पर 1 की ओर अभिसरित होता है।

5. प्रयोगात्मक परिणाम

प्रयोग वास्तविक दुनिया के दो बेंचमार्क (LoCoMo, DialSim) और तीन सिंथेटिक वर्कलोड पर किए गए।

• प्रदर्शन लाभ: टाइट कैश साइज ($K \le 50$) पर SOLAR, FIFO की तुलना में 5–75% सापेक्ष सुधार प्राप्त करता है। सुधार कम-सिग्नल वाले वातावरण (DialSim, ~4% हिट रेट) में सबसे अधिक स्पष्ट है, जहाँ चयनात्मक प्रवेश उच्च सिग्नल-टू-नॉइज़ अनुपात बनाए रखता है।
• लर्निंग डायनेमिक्स: SOLAR का प्रदर्शन समय के साथ लगातार सुधरता है, जिसका लर्निंग स्लोप (प्रति स्टेप F1 सुधार) FIFO की तुलना में 1.4–3.1× तेज़ है।
• एब्लेशन (Ablation): एडमिशन कंट्रोल घटक अकेले इविक्शन घटक की तुलना में प्रदर्शन लाभ में अधिक योगदान देता है, जो प्रवेश बिंदु पर शोर (noise) को फ़िल्टर करने के महत्व को रेखांकित करता है।
• फेज ट्रांजिशन (Phase Transition): वर्किंग सेट साइज पर एक स्पष्ट सीमा मौजूद है। इस आकार के नीचे, चयनात्मकता (SOLAR) हावी रहती है; इसके ऊपर, कच्चा कवरेज (FIFO) पर्याप्त हो जाता है।
• रिट्रीवल नॉइज़: 5,000 वस्तुओं तक के पूल्स वाले सिंथेटिक प्रयोगों से पता चलता है कि पूल साइज और रिट्रीवल क्वालिटी के बीच एक इनवर्टेड-U संबंध है। प्रदर्शन 1,000 वस्तुओं के आसपास चरम पर होता है और उसके बाद एम्बेडिंग-स्पेस कन्फ्यूजन (निकट-डुप्लिकेट्स) के कारण घट जाता है। यह एडमिशन कंट्रोल को भौतिक स्टोरेज सीमा के बजाय एक सूचनात्मक आवश्यकता (रिट्रीवल नॉइज़) के रूप में न्यायसंगत बनाता है।

6. महत्व और दावे

यह शोध पत्र निम्नलिखित में से पहला होने का दावा करता है:

1. LLM एजेंट मेमोरी को स्विचिंग कॉस्ट के साथ एक ऑनलाइन सिमेंटिक कैश रिप्लेसमेंट समस्या के रूप में औपचारिक रूप देना, जो ऑनलाइन एल्गोरिदम थ्योरी और LLM प्रबंधन को जोड़ता है।
2. यह प्रदर्शित करना कि टेम्पोरल लोकैलिटी और फ्रीक्वेंसी कंसंट्रेशन की अनुपस्थिति के कारण सिमेंटिक वर्कलोड पर दशकों पुराने कैश ह्यूरिस्टिक्स (LRU, LFU, ARC) व्यवस्थित रूप से विफल होते हैं।
3. एक लर्निंग-ऑगमेंटेड फ्रेमवर्क (SOLAR) का प्रस्ताव करना जिसमें सिद्ध कॉम्पिटिटिव रेशियो और रिग्रेट बाउंड्स हैं और जिसके लिए किसी बाहरी प्रेडिक्टर, ऑफलाइन ट्रेनिंग, या निर्णय लेने के लिए LLM कॉल्स की आवश्यकता नहीं है।
4. यह स्थापित करना कि सिमेंटिक मेमोरी में क्षमता संबंधी बाधाएं रिट्रीवल नॉइज़ (एम्बेडिंग कन्फ्यूजन) द्वारा संचालित होती है, न कि स्टोरेज सीमाओं द्वारा, जो असीमित स्टोरेज वाले सिस्टम में भी एडमिशन कंट्रोल के लिए एक सैद्धांतिक आधार प्रदान करती है।

लेखक इस बात पर जोर देते हैं कि SOLAR प्रति स्टेप <1ms का ओवरहेड जोड़ता है (जो LLM इन्फरेंस लेटेंसी की तुलना में नगण्य है) और यह उन हालिया कार्यों के बिना लाभ प्राप्त करता है जो निर्णय लेने के लिए LLM-आधारित एडमिशन निर्णयों की कम्प्यूटेशनल लागत का उपयोग करते हैं।