तकनीकी सारांश: BudgetMem

समस्या विवरण

लार्ज लैंग्वेज मॉडल (LLM) एजेंट लंबे समय तक चलने वाली अंतःक्रियाओं (long-horizon interactions) और ज्ञान-गहन तर्क (knowledge-intensive reasoning) के लिए एकल संदर्भ विंडो (single context windows) से परे कार्य करने हेतु मेमोरी पर तेजी से निर्भर हो रहे हैं। हालाँकि, मौजूदा प्रणालियाँ मुख्य रूप से ऑफलाइन, क्वेरी-अज्ञेय (query-agnostic) मेमोरी निर्माण का उपयोग करती हैं। इन प्रतिमानों (paradigms) में, पिछले संदर्भ को विशिष्ट डाउनस्ट्रीम क्वेरी पर निर्भर किए बिना पूर्व-संसाधित, संकुचित या इंडेक्स किया जाता है। यह "एक बार बनाएँ, हमेशा उपयोग करें" वाला दृष्टिकोण अक्सर अक्षम होता है, क्योंकि यह किसी भी क्वेरी की विशिष्ट आवश्यकताओं की परवाह किए बिना गणना (computation) खर्च करता है और उन सूचनाओं को खोने का जोखिम उठाता है जो किसी विशेष क्वेरी के लिए महत्वपूर्ण हो सकती हैं।

जबकि रनटाइम मेमोरी उपयोग (ऑन-डिमांड एक्सट्रैक्शन) एक लचीला विकल्प प्रदान करता है, यह महत्वपूर्ण ओवरहेड और विलंबता (latency) पेश करता है। वर्तमान औद्योगिक LLM सिस्टम गुणवत्ता और लागत के बीच संतुलन बनाने के लिए स्पष्ट, स्तरित कंप्यूट नियंत्रण (जैसे, "सोचने" के मोड या रीजनिंग स्तर) तेजी से पेश कर रहे हैं, फिर भी एजेंट मेमोरी सिस्टम रनटाइम एक्सट्रैक्शन के दौरान स्पष्ट, नियंत्रणीय प्रदर्शन-लागत ट्रेड-ऑफ (performance–cost trade-offs) के लिए एक व्यवस्थित ढांचे की कमी रखते हैं। मुख्य चुनौतियाँ हैं:

1. बजट आवंटन (Budget Allocation): रनटाइम सेटिंग में बजट के लिए उपयुक्त इकाई को परिभाषित करना, क्योंकि मेमोरी को एक निश्चित कंप्यूट वाले मोनोलिथिक पाइपलाइन के रूप में मानना ट्रेड-ऑफ को मोटा और कठिन बनाता है।
2. बजट प्राप्ति (Budget Realization): यह निर्धारित करना कि बजट नियंत्रण को व्यवस्थित रूप से कैसे संचालित किया जाए, न कि केवल एड-हॉक (ad hoc) लागत कटौती या सरल कंप्यूट वृद्धि पर निर्भर रहना।

कार्यप्रणाली: BudgetMem

लेखक BudgetMem का प्रस्ताव करते हैं, जो एक रनटाइम एजेंट मेमोरी फ्रेमवर्क है जिसे स्पष्ट, क्वेरी-जागरूक प्रदर्शन-लागत नियंत्रण सक्षम करने के लिए डिज़ाइन किया गया है। यह फ्रेमवर्क मेमोरी प्रोसेसिंग को एक बहु-चरणीय मॉड्यूलर पाइपलाइन (multi-stage modular pipeline) के रूप में संरचित करता है जहाँ मॉड्यूल स्तर पर गणना को नियंत्रित किया जा सकता है।

1. मॉड्यूलर पाइपलाइन आर्किटेक्चर

BudgetMem मेमोरी एक्सट्रैक्शन ($f_{mem}$) को मॉड्यूल के एक अनुक्रम के रूप में लागू करता है। उनके संवाद-केंद्रित मूल्यांकन में, पाइपलाइन इस प्रकार है:
$$M_{fil} \rightarrow \{M_{ent}, M_{tmp}, M_{top}\} \rightarrow M_{sum}$$

• फ़िल्टर मॉड्यूल ($M_{fil}$): रिट्रीव किए गए रॉ चंक्स (raw chunks) को परिष्कृत करता है।
• समानांतर निष्कर्षण मॉड्यूल (Parallel Extraction Modules): पूरक संदर्भ निकालता है:
  • $M_{ent}$: एंटिटी-केंद्रित तथ्य।
  • $M_{tmp}$: टेम्पोरल संकेत (Temporal cues)।
  • $M_{top}$: टोपिकल सारांश।
• सारांश मॉड्यूल ($M_{sum}$): अंतिम निकाले गए मेमोरी ($m$) में मध्यवर्ती संदर्भों को एकत्रित करता है।

महत्वपूर्ण रूप से, फ्रेमवर्क किसी विशिष्ट मॉड्यूल सेट को नहीं मानता है, बल्कि यह आवश्यक बनाता है कि प्रत्येक मॉड्यूल एक सामान्य बजट-टियर इंटरफेस को प्रदर्शित करे।

2. बजट टियर्स और प्राप्ति रणनीतियाँ (Budget Tiers and Realization Strategies)

प्रत्येक मॉड्यूल तीन बजट टियर प्रदर्शित करता है: LOW, MID, और HIGH। ये टियर्स बढ़ती हुई कम्प्यूटेशनल बजट और आमतौर पर बेहतर निष्कर्षण गुणवत्ता के अनुरूप होते हैं। पेपर इन टियर्स को साकार करने के लिए तीन पूरक रणनीतियों की जांच करता है:

• इम्प्लीमेंटेशन टियरिंग (Implementation Tiering): मॉड्यूल कार्यान्वयन को बदलता है।
  • LOW: हल्का ह्यूरिस्टिक (नियम, regex, spaCy)।
  • MID: कॉम्पैक्टों सीखे गए मॉडल (जैसे, BERT-आधारित)।
  • HIGH: LLM-आधारित प्रोसेसिंग।
• रीजनिंग टियरिंग (Reasoning Tiering): मॉडल बैकबोन को स्थिर रखते हुए इन्फरेंस व्यवहार को बदलता है।
  • LOW: डायरेक्ट जनरेशन।
  • MID: चेन-ऑफ-थॉट (CoT) शैली।
  • HIGH: मल्टी-स्टेप या रिफ्लेक्शन-शैली इन्फरेंस।
• कैपेसिटी टियरिंग (Capacity Tiering): मॉड्यूल के भीतर उपयोग किए जाने वाले मॉडल की क्षमता (आकार) को बदलता है।
  • LOW: छोटे मॉडल (जैसे, 3B पैरामीटर्स)।
  • MID: मध्यम मॉडल (जैसे, 8B–32B पैरामीटर्स)।
  • HIGH: बड़े मॉडल (जैसे, 70B+ पैरामीटर्स)।

3. सुदृढीकरण लर्निंग (Reinforcement Learning) के माध्यम से क्वेरी-जागरूक रूटिंग

इन टियर्ड विकल्पों को गतिशील रूप से नेविगेट करने के लिए, BudgetMem एक साझा हल्के राउटर (shared lightweight router) का उपयोग करता है जिसे सुदृढीकरण लर्निंग (RL) के साथ प्रशिक्षित किया गया है।

• पॉलिसी ($\pi_\theta$): प्रत्येक मॉड्यूल इनवोकेशन स्टेप $k$ पर, राउटर एक स्टेट $s_k$ (जिसमें क्वेरी, वर्तमान मॉड्यूल इनपुट और एक मॉड्यूल डिस्क्रिप्टर शामिल है) को देखता है और एक एक्शन $a_k \in \{LOW, MID, HIGH\}$ चुनता है।
• उद्देश्य (Objective): राउटर को टास्क परफॉरमेंस और मेमोरी एक्सट्रैक्शन कॉस्ट के बीच ट्रेड-ऑफ करने के लिए अनुकूलित किया जाता है। रिवॉर्ड फंक्शन को इस प्रकार परिभाषित किया गया है:
  $$r = r_{task} + \lambda \cdot \alpha \cdot r_{cost}$$
  जहाँ $r_{task}$ टास्क परफॉरमेंस रिवॉर्ड (F1 या LLM-Judge) है, $r_{cost}$ नॉर्मलाइज्ड कॉस्ट रिवॉर्ड है, $\lambda$ ट्रेड-ऑफ प्राथमिकता को नियंत्रित करता है, और $\alpha$ ट्रेनिंग को स्थिर करने के लिए एक वेरिएंस-आधारित एलाइनमेंट फैक्टर है।
• ट्रेनिंग: राउटर को प्रॉक्सिमल पॉलिसी ऑप्टिमाइजेशन (PPO) का उपयोग करके प्रशिक्षित किया जाता है। कॉस्ट को टोकन उपयोग और API प्राइसिंग के आधार पर मॉडल किया जाता है, जिसे टास्क रिवॉर्ड्स के साथ तुलनीय बनाने के लिए स्लाइडिंग विंडो के माध्यम से नॉर्मलाइज किया जाता है।

मुख्य योगदान

1. फ्रेमवर्क परिचय: लेखक BudgetMem पेश करते हैं, जो एक मॉड्यूलर रनटाइम एजेंट मेमोरी फ्रेमवर्क है जो बजट-टियर्ड मॉड्यूल के माध्यम से ऑन-डिमांड मेमोरी एक्सट्रैक्शन के लिए स्पष्ट, क्वेरी-जागरूक प्रदर्शन-लागत नियंत्रण सक्षम करता है।
2. रूटिंग मैकेनिज्म: वे बजट-टियर रूटिंग का प्रस्ताव करते हैं, जहाँ एक साझा हल्का राउटर, जिसे RL के माध्यम से प्रशिक्षित किया गया है, एक्सट्रैक्शन के दौरान बजट टियर्स को गतिशील रूप से चुनता है। इसे एक एकीकृत फ्रेमवर्क के भीतर तीन पूरक रणनीतियों (इम्प्लीमेंटेशन, रीजनिंग और कैपेसिटी) के साथ क्रियान्वित किया गया है।
3. अनुभवजन्य विश्लेषण (Empirical Analysis): LoCoMo, LongMemEval, और HotpotQA पर प्रयोगों के माध्यम से, पेपर प्रदर्शित करता है कि BudgetMem 'परफॉरमेंस-फर्स्ट' सेटिंग्स में मजबूत प्रदर्शन प्राप्त करता है और सख्त बजट के तहत स्पष्ट, नियंत्रणीय प्रदर्शन-लागत ट्रेड-ऑफ कर्व्स स्थापित करता है। विश्लेषण विभिन्न टियरिंग रणनीतियों की शक्तियों को अलग करता है, जिससे यह जानकारी मिलती है कि कौन से तंत्र विविध बजट व्यवस्थाओं के तहत सर्वोत्तम रिटर्न देते हैं।

प्रयोगात्मक परिणाम

लेखकों ने LLaMA-3.3-70B और Qwen3-Next-80B बैकबोन का उपयोग करके मजबूत बेसलाइन्स (जैसे, ReadAgent, MemoryBank, LightMem) के विरुद्ध BudgetMem का मूल्यांकन किया।

• परफॉरमेंस-फर्स्ट (हाई बजट): उन सेटिंग्स में जो प्रदर्शन को प्राथमिकता देती हैं ($\lambda=0$), BudgetMem वेरिएंट्स ने लगातार बेसलाइन्स को पछाड़ दिया। उदाहरण के लिए, LLaMA के साथ LongMemEval पर, BudgetMem-CAP ने 60.50 का जज स्कोर प्राप्त किया, जो सर्वश्रेष्ठ बेसलाइन, LightMem (48.51) से काफी अधिक है।
• परफॉरमेंस–कॉस्ट ट्रेड-ऑफ़्स: $\lambda$ को बदलकर, BudgetMem स्मूथ फ्रंटियर्स (frontiers) बनाता है जो बेसलाइन्स को घेरते हैं।
  • इम्प्लीमेंटेशन और कैपेसिटी टियरिंग: एक व्यापक कॉस्ट रेंज को कवर करते हैं। इम्प्लीमेंटेशन टियरिंग मध्यम बजट के तहत तेजी से लाभ प्रदान करती है, जबकि कैपेसिटी टियरिंग हाई-बजट व्यवस्थाओं में फ्रंटियर को बाहर की ओर धकेलती है।
  • रीजनिंग टियरिंग: स्पष्ट कॉस्ट कंसंट्रेशन (cost concentration) प्रदर्शित करती है। यह एक सीमित कॉस्ट बैंडविड्थ के भीतर एक सूक्ष्म गुणवत्ता नॉब (fine-grained quality knob) के रूप में कार्य करती है, जो समान लागतों पर सुधार प्रदान करती है लेकिन अन्य रणनीतियों की तुलना में अत्यधिक लो/हाई बजट चरम सीमाओं के लिए कम लचीलापन देती है।
• लागत दक्षता (Cost Efficiency): परफॉरमेंस-फर्स्ट व्यवस्थाओं में भी, BudgetMem केवल क्वेरी-प्रासंगिक रॉ चंक्स को ऑन-डिमांड प्रोसेस करके लागत-कुशल रहता है, जिससे पूरे इतिहास को ऑफलाइन प्रोसेस करने का ओवरहेड बच जाता है।

महत्व और दावे

पेपर का दावा है कि BudgetMem एजेंट मेमोरी सिस्टम में एक महत्वपूर्ण अंतर को संबोधित करता है, जो "वन-ऑफ ह्यूरिस्टिक्स" या "कंप्यूट-हैवी एस्केलेशन" से आगे बढ़कर प्रदर्शन-लागत नियंत्रण के एक व्यवस्थित दृष्टिकोण की ओर बढ़ता है।

• नियंत्रणीयता (Controllability): यह स्पष्ट, नियंत्रणीय ट्रेड-ऑफ के लिए एक व्यावहारिक तंत्र प्रदान करता है, जो टियर्ड कंप्यूट विकल्पों (जैसे, "सोचने" के मोड) के साथ उद्योग के रुझान के अनुरूप है।
• एकीकृत तुलना: एक एकीकृत टेस्टबेड का उपयोग करके, यह कार्य स्पष्ट करता है कि कब विभिन्न टियरिंग रणनीतियाँ (इम्प्लीमेंटेशन, रीजनिंग, कैपेसिटी) सबसे अनुकूल ट्रेड-ऑफ प्रदान करती हैं, जिससे विविध बजट बाधाओं के तहत परिनियोजन (deployment) के लिए मार्गदर्शन मिलता है।
• रनटाइम फोकस: ऑफलाइन निर्माण पर केंद्रित पिछले कार्यों के विपरीत, BudgetMem रनटाइम एक्सट्रैक्शन पर ध्यान केंद्रित करता है, यह सुनिश्चित करता है कि गणना केवल आवश्यकतानुसार और क्वेरी की आवश्यकताओं के अनुपात में खर्च की जाए।

लेखक निष्कर्ष निकालते हैं कि BudgetMem वास्तविक दुनिया की बजट बाधाओं के तहत एजेंट मेमोरी की उपयोगिता और नियंत्रणीयता में सुधार करता है, जिससे लंबी अवधि के तर्क (long-horizon reasoning) की गुणवत्ता से समझौता किए बिना मेमोरी कंप्यूटेशन को स्पष्ट रूप से प्रबंधनीय बनाया जा सकता है।