CLAG: Adaptive Memory Organization via Agent-Driven Clustering for Small Language Model Agents

यहाँ शोध पत्र "CLAG: Small Language Model Agents के लिए Agent-Driven Clustering के माध्यम से Adaptive Memory Organization" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल (LLM) एजेंट लंबी अवधि के कार्यों (long-horizon tasks), ज्ञान के पुन: उपयोग और जटिल तर्क के लिए बाहरी स्मृति (external memory) पर निर्भर करते हैं। हालाँकि, वर्तमान मेमोरी सिस्टम आमतौर पर अनुभवों को एक एकल वैश्विक पुनर्प्राप्ति पूल (single global retrieval pool) में संग्रहीत करते हैं। यह आर्किटेक्चर दो गंभीर समस्याओं से ग्रस्त है, विशेष रूप से स्मॉल लैंग्वेज मॉडल्स (SLMs) के लिए जो अप्रासंगिक संदर्भ (irrelevant context) के प्रति अत्यधिक संवेदनशील होते हैं:

• खोज स्थान का विस्तार और भटकाव (Search Space Expansion & Distractors): जैसे-जैसे मेमोरी बफर बढ़ता है, वैश्विक पुनर्प्राप्ति (global retrieval) से ऐसे अनुभवों के मिलने की संभावना बढ़ जाती है जो अर्थपूर्ण तो लगते हैं लेकिन कार्य के लिए अप्रासंगिक होते हैं (distractors), जिससे एजेंट भ्रमित हो जाता है।
• विषय-संबंधी हस्तक्षेप और क्षरण (Cross-Topic Interference & Corruption): मेमोरी विकास तंत्र (जैसे, रिफ्लेक्शन, रीराइटिंग) पूरे असंरचित पूल पर कार्य करते हैं। यह अपडेट्स को मिश्रित-विषय वाले पड़ोस (mixed-topic neighborhoods) के संपर्क में लाता है, जिससे समय के साथ संग्रहीत ज्ञान की गुणवत्ता कम हो जाती है।

मौजूदा एजेंटिक मेमोरी फ्रेमवर्क सक्रिय प्रबंधन (active management) के साथ इन्हें हल करने का प्रयास करते हैं, लेकिन वे अक्सर वैश्विक पूल संरचना को बनाए रखते हैं, जिससे विषयों को प्रभावी ढंग से अलग करने में विफलता होती है।

2. कार्यप्रणाली: CLAG फ्रेमवर्क (Methodology: The CLAG Framework)

लेखक CLAG (CLustering-based AGentic memory) का प्रस्ताव करते हैं, जो क्लस्टरिंग को एक एजेंट-नियंत्रित, ऑनलाइन ऑपरेशन के रूप में मानकर लॉन्ग-होरिज़न मेमोरी पर हल्का ढांचा लागू करता है, न कि एक स्थिर ऑफलाइन चरण के रूप में। यह सिस्टम एक एकल बैकबोन SLM का उपयोग तीन विशिष्ट भूमिकाओं वाले प्रॉम्प्ट्स के माध्यम से तीन मुख्य कार्यों को करने के लिए करता है:

A. एजेंटिक रूटिंग (मेमोरी स्ट्रक्चरिंग)

एक फ्लैट डेटाबेस के बजाय, स्मरतियों को अर्थपूर्ण रूप से सुसंगत क्लस्टर्स (semantically coherent clusters) में व्यवस्थित किया जाता है।

• प्रक्रिया: जब एक नई स्मृति आती है, तो एक SLM-router उसके अर्थ संबंधी प्रोफाइल का विश्लेषण करता है। यह पहले वेक्टर दूरी के माध्यम से शीर्ष-$k$ संभावित क्लस्टर्स की पहचान करता है, फिर क्लस्टर प्रोफाइल (सारांश और टैग) के आधार पर सबसे उपयुक्त क्लस्टर चुनने के लिए SLM का उपयोग करता है।
• अनुकूलनशीलता (Adaptivity): यदि कोई स्मृति मौजूदा क्लस्टर्स से बहुत अलग है (सिमिलैरिटी थ्रेशोल्ड $\tau$ से नीचे), तो एक नया क्लस्टर बनाया जाता है। यदि कोई क्लस्टर बहुत बड़ा हो जाता है ($\tau_{split}$ से अधिक), तो उसे ओवर-सैचुरेशन को रोकने के लिए K-Means का उपयोग करके गतिशील रूप से विभाजित किया जाता है।
• आउटपुट: प्रत्येक क्लस्टर एक प्रोफाइल (विषय सारांश, वर्णनात्मक टैग) बनाए रखता है जो एक आत्मनिर्भर कार्यात्मक इकाई के रूप में कार्य करता है।

B. स्थानीयकृत विकास (Localized Evolution)

मेमोरी अपडेट सख्ती से सौंपे गए क्लस्टर के भीतर ही सीमित होते हैं।

• तंत्र: जब एक नई स्मृति को किसी क्लस्टर में रूट किया जाता है, तो सिस्टम उस क्लस्टर के भीतर शीर्ष-$k$ अर्थपूर्ण रूप से संरेखित पड़ोसियों की पहचान करता है।
• कार्रवाई: SLM नई स्मृति और पड़ोसियों के बीच स्पष्ट संबंध (कारणता, अस्थायी अनुक्रम) बनाता है। इसके बाद, यह नई जानकारी को शामिल करने के लिए क्लस्टर में मौजूद मौजूदा स्मरियों को परिष्कृत (refine) करता है।
• लाभ: यह मानव संज्ञानात्मक स्कीमा (human cognitive schema) के परिशोधन की नकल करता है, जिससे यह सुनिश्चित होता है कि नए अनुभव असंबंधित ज्ञान डोमेन को बाधित किए बिना प्रासंगिक अवधारणाओं को अपडेट करते हैं, जिससे क्रॉस-टॉपिक हस्तक्षेप कम होता है।

C. क्लस्टर-जागरूक द्वि-चरणीय पुनर्प्राप्ति (Cluster-Aware Two-Stage Retrieval)

अनुमान (inference) के समय, CLAG शोर को कम करने के लिए फ्लैट ग्लोबल रिट्रीवल के स्थान पर एक पदानुक्रमित पाइपलाइन का उपयोग करता है।

• चरण 1 (क्लस्टर चयन): एक क्वेरी दिए जाने पर, एजेंट उनके प्रोफाइल का उपयोग करके संबंधित क्लस्टर्स के एक छोटे उपसमूह को चुनकर वैश्विक पूल को फ़िल्टर करता है। यह एक उच्च-स्तरीय अर्थ संबंधी फ़िल्टर के रूप में कार्य करता है, जो खोज स्थान को काफी कम कर देता है और भटकाव (distractors) को बाहर कर देता है।
• चरण 2 (इंट्रा-क्लस्टर रिट्रीवल): सूक्ष्म-स्तरीय पुनर्प्राप्ति केवल चयनित क्लस्टर्स के भीतर की जाती है।
• लाभ: यह एजेंट को उन स्मरियों को प्राप्त करने से रोकता है जो अर्थपूर्ण रूप से समान तो हैं लेकिन कार्य के लिए अप्रासंगिक हैं, जो अक्सर वैश्विक समानता खोजों (global similarity searches) में दिखाई देते हैं।

3. मुख्य योगदान (Key Contributions)

1. एजेंट-संचालित क्लस्टरिंग: एक नवीन तंत्र जहाँ एक SLM एजेंट स्मरियों को ऑनलाइन अर्थपूर्ण समूहों में सक्रिय रूप से रूट करता है, जिससे बिना प्री-प्रोसेसिंग के मजबूत लॉन्ग-होरिज़न संगठन सुनिश्चित होता है।
2. स्थानीयकृत मेमोरी विकास: एक रणनीति जो स्मरियों को विषय-सुसंगत पड़ोस के भीतर ही समेकित और अपडेट करती है, जिससे दीर्घकालिक मेमोरी की गुणवत्ता स्थिर रहती है और हस्तक्षेप कम होता है।
3. द्वि-चरणीय पुनर्प्राप्ति योजना: एक पदानुक्रमित पुनर्प्राप्ति प्रक्रिया जो सूक्ष्म खोज से पहले अप्रासंगिक क्लस्टर्स को फ़िल्टर करती है, जो जेनरेशन स्टेप से पहले डिस्ट्रैक्टर्स को हटाकर क्षमता-सीमित मॉडल्स के लिए मजबूती में सुधार करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन अलग-अलग SLM बैकबोन (Qwen3-0.6B, Llama-3.2-1B, DeepSeek-R1-Distill-1.5B) का उपयोग करके तीन बेंचमार्क (LoCoMo, HotpotQA, BioASQ) पर CLAG का मूल्यांकन किया।

• प्रदर्शन लाभ: CLAG ने सभी डेटासेट्स और मॉडल्स पर बेसलाइन्स (Standard RAG, A-mem, MemoryOS, GAM) को लगातार पछाड़ दिया।
  • BioASQ (बायोमेडिकल डोमेन) पर, CLAG ने 25.11 का Evidence F1 प्राप्त किया, जो RAG (2.29) और A-mem (2.20) से काफी बेहतर है, जो डोमेन-विशिष्ट शब्दावली और शोर को संभालने की श्रेष्ठता प्रदर्शित करता है।
  • LoCoMo (लॉन्ग-कॉन्टेक्स्ट डायलॉग) पर, CLAG ने F1 और BLEU-1 स्कोर में निरंतर सुधार दिखाया, विशेष रूप से मल्टी-हॉप और टेम्पोरल रीजनिंग कार्यों में।
• दक्षता: रूटिंग की अतिरिक्त जटिलता के बावजूद, CLAG अत्यधिक कुशल है। Qwen3-0.6B बैकबोन पर, इसने GAM जैसे जटिल इटरेटिव फ्रेमवर्क्स की तुलना में क्रमों (orders-of-magnitude) से कम एंड-टू-एंड लेटेंसी प्राप्त की, जबकि उच्च सटीकता बनाए रखी।
• एब्लेशन स्टडीज (Ablation Studies):
  • एजेंटिक क्लस्टरिंग को ज्यामितीय क्लस्टरिंग (K-Means या Cosine-आधारित) से बदलने पर प्रदर्शन में काफी कमी आई, जिससे सिद्ध हुआ कि विशेषज्ञ डोमेन को व्यवस्थित करने के लिए एजेंट द्वारा अर्थ संबंधी समझ महत्वपूर्ण है।
  • Localized Evolution या Two-Stage Retrieval को अलग-अलग हटाने से F1 स्कोर में मापने योग्य गिरावट आई, जो पुष्टि करता है कि दोनों घटक आवश्यक हैं।
• केस स्टडी: गुणात्मक विश्लेषण में, CLAG एकमात्र तरीका था जिसने 680-नोट्स वाले मिश्रित-विषय मेमोरी पूल से विशिष्ट विवरणों को सही ढंग से प्राप्त किया, जिसने साहित्य क्लस्टर पर ध्यान केंद्रित करने के लिए अप्रासंगिक क्लस्टर्स (जैसे, खेल, सामाजिक मेलजोल) को सफलतापूर्वक हटा दिया।

5. महत्व और निष्कर्ष (Significance and Conclusion)

CLAG स्वायत्त एजेंटों के रूप में स्मॉल लैंग्वेज मॉडल्स (SLMs) को तैनात करने में एक महत्वपूर्ण बाधा को संबोधित करता है। SLMs विशेष रूप से "कॉन्टेक्स्ट पॉल्यूशन" के प्रति संवेदनशील होते हैं जहाँ अप्रासंगिक जानकारी तर्क को खराब कर देती है। एक स्थिर वैश्विक पूल से गतिशील अर्थपूर्ण पड़ोस (dynamic semantic neighborhoods) की ओर शिफ्ट होकर, CLAG:

• मजबूती बढ़ाता है: यह जेनरेशन स्टेप से पहले डिस्ट्रैक्टर्स को फ़िल्टर करके SLMs को शोर वाले, लंबे-संदर्भ वाले वातावरण में प्रभावी ढंग से काम करने की अनुमति देता है।
• स्केलेबिलिटी में सुधार करता है: स्थानीयकृत विकास और द्वि-चरणीय पुनर्प्राप्ति, वैश्विक पेयरवाइज तुलना या इटरेटिव ग्लोबल सर्च की तुलना में कम्प्यूटेशनल ओवरहेड को कम करते हैं।
• व्यावहारिकता: यह एक हल्का, उच्च-प्रदर्शन वाला मेमोरी लेयर प्रदान करता है जिसके लिए बड़े मॉडल बैकबोन की आवश्यकता नहीं है, जो इसे ऑन-डिवाइस या लागत-संवेदनशील एजेंटिक अनुप्रयोगों के लिए उपयुक्त बनाता है।

शोध पत्र निष्कर्ष निकालता है कि एजेंट-संचालित क्लस्टरिंग के माध्यम से मेमोरी को व्यवस्थित करना संसाधन-सीमित AI एजेंटों के लिए विश्वसनीय, दीर्घकालिक तर्क को सक्षम करने की दिशा में एक मौलिक कदम है।