🤖 AI

Toward a Theory of Hierarchical Memory for Language Agents

यह शोध पत्र भाषा एजेंटों में पदानुक्रमित स्मृति (hierarchical memory) के लिए एक एकीकृत सैद्धांतिक ढांचे का प्रस्ताव करता है, जिसे तीन ऑपरेटरों (निष्कर्षण, स्थूलीकरण और संचलन) द्वारा परिभाषित किया गया है, ताकि दस्तावेज़ पदानुक्रमों से लेकर संवादात्मक स्मृति तक विविध मौजूदा प्रणालियों का औपचारिक रूप से विश्लेषण और तुलना की जा सके।

मूल लेखक: Yashar Talebirad, Ali Parsaee, Csongor Y. Szepesvari, Amirhossein Nadiri, Osmar Zaiane

प्रकाशित 2026-03-24

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yashar Talebirad, Ali Parsaee, Csongor Y. Szepesvari, Amirhossein Nadiri, Osmar Zaiane

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक शानदार जासूस हैं जो एक विशाल रहस्य को सुलझाने की कोशिश कर रहे हैं। आपके पास एक कमरा है जो लाखों दस्तावेजों, वर्षों के बातचीत लॉग्स और हजारों सुरागों से भरा हुआ है।

यदि आप एक साथ हर एक पन्ना पढ़ने की कोशिश करते हैं, तो आपका मस्तिष्क (या आपका AI मॉडल) अभिभूत हो जाएगा। आप कहानी के बीच के हिस्से को भूलने लगते हैं, या शोर में खो जाते हैं। यही समस्या आधुनिक AI के सामने है: इसके पास एक विशाल "स्मृति" (memory) है, लेकिन इसे कुशलतापूर्वक उपयोग करना इसे नहीं आता।

यह शोध पत्र उस स्मृति को व्यवस्थित करने का एक नया तरीका प्रस्तावित करता है, न कि केवल किताबों को शेल्फ पर ढेर करने के रूप में, बल्कि एक स्मार्ट, बहु-स्तरीय फाइलिंग सिस्टम बनाने के रूप में। लेखक इसे "पदानुक्रमित स्मृति" (Hierarchical Memory) कहते हैं।

यहाँ उनके सिद्धांत का सरल विवरण दिया गया, एक जासूसी उपमा (analogy) का उपयोग करते हुए।

तीन जादुई उपकरण

लेखक कहते हैं कि प्रत्येक अच्छी स्मृति प्रणाली कच्चे डेटा के ढेर को एक उपयोगी उत्तर में बदलने के लिए तीन विशिष्ट चरणों (या ऑपरेटरों) का उपयोग करती है।

1. निष्कर्षण (Extraction) - "सुराग संग्रहकर्ता" (The Clue Collector)

उपमा: कल्पना कीजिए कि आप पहेली के ढीले टुकड़ों का एक बड़ा डिब्बा मेज पर खाली कर देते हैं।
यह क्या करता है: AI कच्चे डेटा (जैसे लंबी चैट हिस्ट्री या 500 पन्नों की PDF) को देखता है और इसे छोटे, प्रबंधनीय "परमाणु इकाइयों" (atomic units) में तोड़ देता है। ये व्यक्तिगत पहेली के टुकड़े हैं: एक एकल वाक्य, एक विशिष्ट तथ्य, या एक अलग घटना।

शोध पत्र में: इसे $\alpha$ (अल्फा) कहा जाता है। यह कच्चे टेक्स्ट को जुड़े हुए तथ्यों के एक ग्राफ में बदल देता है।

2. संक्षेपण (Coarsening) - "सारांशकार और फोल्डर" (The Summarizer & Folder)

उपमा: अब, आप एक बार में हर एक पहेली के टुकड़े को नहीं देख सकते। इसलिए, आप उन्हें समूहबद्ध करना शुरू करते हैं।

आप "रसोई" (The Kitchen) के बारे में 50 टुकड़ों को लेते हैं और उन्हें एक रसोई की एक तस्वीर बनाने के लिए एक साथ जोड़ देते हैं।
आप "बगीचे" (The Garden) के बारे में 50 टुकड़ों को लेते हैं और बगीचे की एक तस्वीर बनाते हैं।
फिर, आप उन तस्वीरों को लेते हैं और उन्हें "घर" (The House) की एक बड़ी तस्वीर में समूहित करते हैं।
यह क्या करता है: AI उन छोटी इकाइयों को बड़े समूहों में वर्गीकृत करता है और प्रत्येक समूह के लिए एक सारांश (एक प्रतिनिधि) बनाता है।
ट्विस्ट: शोध पत्र यहाँ एक महत्वपूर्ण विचार पेश करता है जिसे स्व-पर्याप्तता (Self-Sufficiency) कहा जाता है।
- उच्च स्व-पर्याप्तता (High Self-Sufficiency): सारांश इतना अच्छा है कि वह स्वयं ही उत्तर है। (उदाहरण के लिए, "रसोई" की तस्वीर में वे सभी विवरण शामिल हैं जिनकी आपको आवश्यकता है)।
- निम्न स्व-पर्याप्तता (Low Self-Sufficiency): सारांश केवल एक लेबल है। (उदाहरण के लिए, एक स्टिकी नोट जिस पर "रसोई" लिखा है लेकिन यह नहीं बताता कि इसके अंदर क्या है)। आपको विवरण देखने के लिए फोल्डर खोलना होगा।
शोध पत्र में: यह $C$ (Coarsening) है। यह सूचना का एक पिरामिड बनाता है, जो नीचे के सूक्ष्म विवरणों से लेकर ऊपर के बड़े सारांशों तक जाता है।

3. पारगमन (Traversal) - "स्मार्ट खोज" (The Smart Search)

उपमा: आपको एक प्रश्न मिलता है: "संदिग्ध ने चाबी कहाँ छिपाई?" बिना हर पन्ना पढ़े आप उत्तर कैसे ढूंढेंगे?
यह क्या करता है: AI पदानुक्रम (hierarchy) का उपयोग करके नेविगेट करता है।

यदि सारांश "उच्च स्व-पर्याप्तता" (अच्छे सारांश) वाले हैं: AI शीर्ष-स्तरीय "घर" की तस्वीर देख सकता है, "रसोई" की तस्वीर देख सकता है, और महसूस कर सकता है, "आह, सारांश कहता है कि चाबी रसोई में है!" उसे और गहराई में जाने की आवश्यकता नहीं है। वह सीधे उत्तर पर पहुँच जाता है।
यदि सारांश "निम्न स्व-पर्याप्तता" (केवल लेबल) वाले हैं: AI "रसोई" के लेबल को देखता है, महसूस करता है कि यह केवल एक लेबल है, और सोचता है, "मुझे विवरण देखने के लिए इस फोल्डर को खोलना होगा।" वह विवरण खोजने के लिए परत-दर-परत नीचे तक जाता है।
शोध पत्र में: यह $\tau$ (टाऊ) है। यह पिरामिड में खोजने की रणनीति है।

स्वर्णिम नियम: "कपलिंग" (The Coupling)

सबसे महत्वपूर्ण खोज C-T कपलिंग (Coarsening-Traversal Coupling) है।

इसे एक ताले और चाबी की तरह समझें।

यदि आप एक स्मृति प्रणाली विस्तृत सारांशों (High Self-Sufficiency) के साथ बनाते हैं, तो आपको एक तेज़, व्यापक खोज (Collapsed Search) का उपयोग करना चाहिए। यदि आप हर विवरण में जाने की कोशिश करेंगे, तो समय बर्बाद होगा।
यदि आप साधारण लेबल (Low Self-Sufficiency) वाली प्रणाली बनाते हैं, तो आपको चरण-दर-चरण ड्रिल-डाउन (Top-Down Refinement) का उपयोग करना ही होगा। यदि आप लेबल से उत्तर का अनुमान लगाने की कोशिश करेंगे, तो आप गलत होंगे।

गलती: वर्तमान AI सिस्टम अक्सर इन्हें आपस में मिला देते हैं। वे साधारण लेबल का उपयोग करते हैं लेकिन उनसे उत्तर का अनुमान लगाने की कोशिश करते हैं (पैसा और समय बर्बाद करते हैं), या वे विस्तृत सारांशों का उपयोग करते हैं लेकिन फिर भी हर फाइल को पढ़ने की कोशिश करते हैं (यह भी समय बर्बाद करता है)। शोध पत्र कहता है: अपनी खोज रणनीति को अपने सारांशों की गुणवत्ता के अनुरूप बनाएं।

यह भविष्य के लिए क्यों महत्वपूर्ण है

लेखकों ने इस सिद्धांत का परीक्षण 11 अलग-अलग AI सिस्टम पर किया, जिनमें लंबे संवादों को याद रखने वाले सिस्टम से लेकर रोबोट को कार्य योजना बनाने में मदद करने वाले सिस्टम तक शामिल हैं। उन्होंने पाया कि वे सभी गुप्त रूप से इसी तीन-चरणीय प्रक्रिया का पालन करते हैं, भले ही वे इसे अलग-अलग नामों से बुलाते हों।

बड़ी तस्वीर:
जैसे-जैसे AI एजेंट अधिक स्मार्ट होते जा रहे हैं और उन्हें अधिक याद रखने की आवश्यकता है (जैसे कि एक इंसान को अपने पूरे वर्ष के जीवन को याद रखना होता है), वे केवल "अधिक पढ़" नहीं सकते। उन्हें बेहतर व्यवस्थित होने की आवश्यकता है।

पुराना तरीका: "यहाँ दस लाख टोकन का टेक्स्ट है। शुभकामनाएँ।"
नया तरीका: "यहाँ एक पिरामिड है। शीर्ष आपको बड़ी कहानी बताता है। मध्य भाग आपको अध्याय बताता है। निचला भाग विवरण रखता है। मैं आपको केवल वही हिस्से दिखाऊंगा जिनकी आपको अपनी समस्या को हल करने के लिए आवश्यकता है।"

इस तीन चरणों को समझकर, हम ऐसे AI बना सकते हैं जिसके पास न केवल एक बड़ा मस्तिष्क हो, बल्कि एक अधिक संगठित स्मृति हो जो अपने ही आकार से भ्रमित न हो।

यहाँ ICLR 2026 में प्रकाशित शोध पत्र "Toward a Theory of Hierarchical Memory for Language Agents" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

भाषा एजेंट (Language agents) तेजी से बड़े बाहरी संग्रहों और लंबी अंतःक्रिया इतिहास (interaction histories) पर निर्भर होते जा रहे हैं। हालाँकि, केवल कॉन्टेक्स्ट विंडो के आकार को बढ़ाने से बेहतर प्रदर्शन की गारंटी नहीं मिलती है। मॉडल निम्नलिखित समस्याओं से जूझते हैं:

कॉन्टेक्स्ट डाइल्यूशन/रॉट (Context Dilution/Rot): जैसे-जैसे कॉन्टेक्स्ट बढ़ता है, प्रदर्शन कम होता जाता है, क्योंकि मॉडल मध्य-कॉन्टेक्स्ट साक्ष्यों (mid-context evidence) को कम महत्व देने लगते हैं।
रिट्रीवल विफलता (Retrieval Failure): लंबे दस्तावेजों से एकल तथ्यों को खोजने (retrieve करने) में कठिनाई।
औपचारिकता का अभाव (Lack of Formalism): जबकि कई प्रणालियाँ (जैसे, RAPTOR, GraphRAG, H-MEM) टोकन बजट को प्रबंधित करने के लिए पदानुक्रमित स्मृति (hierarchical memory) को लागू करती हैं, उन्हें अलग-अलग डिज़ाइन पॉइंट्स के रूप में प्रस्तुत किया जाता है। उनके डिज़ाइन विकल्पों, विशेष रूप से इस संबंध में कि वे सूचना को कैसे संकुचित (compress) करते हैं और परिणामी संरचना को कैसे पार (traverse) करते हैं, तुलना करने के लिए कोई साझा गणितीय ढांचा नहीं है।

2. कार्यप्रणाली: $(\alpha, C, \tau)$ फ्रेमवर्क

लेखक एक एकीकृत सैद्धांतिक ढांचे का प्रस्ताव करते हैं जो किसी भी पदानुक्रमित स्मृति प्रणाली को तीन मुख्य ऑपरेटरों में विभाजित करता है:

A. निष्कर्षण (Extraction - $\alpha$ )

कार्य: कच्चे डेटा $D$ को परमाणु सूचना इकाइयों के ग्राफ $G_0 = (U_0, E_0)$ में मैप करना।
प्रक्रिया: इसमें सभी प्रीप्रोसेसिंग (चंकिंग, NER, पाथ असाइनमेंट) शामिल है।
आउटपुट: एक यूनिट ग्राफ जहाँ नोड्स स्व-निहित सूचना इकाइयाँ (जैसे, टेक्स्ट चंक्स, बातचीत के टर्न, निष्पादन ट्रेसेस) हैं और किनारे (edges) संबंधों (सिमेंटिक, टेम्पोरल या स्ट्रक्चरल) का प्रतिनिधित्व करते हैं।

B. कोर्सनिंग (Coarsening - $C = (\pi, \rho)$ )

यह ऑपरेटर उच्च-स्तरीय स्तर बनाने के लिए ग्राफ पर पुनरावृत्ति (iteration) करके पदानुक्रम बनाता है।

पार्टिशनिंग ( $\pi$ ): एक सरजेक्टिव (surjective) फलन जो इकाइयों $U$ को क्लस्टरों $\{G_j\}$ में समूहित करता है।
रिप्रजेंटेटिव फंक्शन ( $\rho$ ): प्रत्येक समूह को एक प्रतिनिधि नोड आवंटित करता है।
- पदानुक्रम निर्माण: $C$ का पुनरावृत्ति प्रक्रिया परतें $G_1, G_2, \dots, G_L$ उत्पन्न करती है, जहाँ प्रत्येक परत नीचे वाली परत का सारांश (summary) होती है।
- सूचना हानि (Information Loss): यह प्रक्रिया सूचना-हानि वाली है ( $H(V_0) > H(V_1) > \dots$ ), जो डेटा प्रोसेसिंग इनइक्वेलिटी (Data Processing Inequality) का पालन करती है।

C. ट्रावर्सल (Traversal - $\tau$ )

कार्य: पदानुक्रम $H$ , एक क्वेरी $q$ , और एक टोकन बजट $B$ लेता है।
आउटपुट: परमाणु इकाइयों का एक उपसमुच्चय $S \subseteq V_0$ लौटाता है ताकि कुल टोकन गणना $B$ के भीतर फिट हो सके।
लक्ष्य: पदानुक्रम संरचना का उपयोग करके सर्च स्पेस को $O(n)$ (फ्लैट सर्च) से $O(\log n)$ तक कम करना।

3. प्रमुख योगदान (Key Contributions)

A. सेल्फ-सफिशिएंसी स्पेक्ट्रम (The Self-Sufficiency Spectrum)

शोध पत्र एक "सेल्फ-सफिशिएंसी" ($SS$) के स्पेक्ट्रम की पहचान करता है, जो एक समूह और उसके प्रतिनिधि के बीच म्यूटुअल इंफॉर्मेशन (mutual information) को समूह की एंट्रॉपी के सापेक्ष सामान्यीकृत (normalize) करके परिभाषित किया गया है:
$SS(\rho, G_j) = \frac{I(G_j; \rho(G_j))}{H(G_j)}$

उच्च सेल्फ-सफिशिएंसी (High Self-Sufficiency): प्रतिनिधि एक विस्तृत सारांश (जैसे, LLM-जनित सारांश) है जिसमें समूह की अधिकांश जानकारी होती है। यह क्वेरी का सीधे उत्तर दे सकता है।
निम्न सेल्फ-सफिशिएंसी (Low Self-Sufficiency): प्रतिनिधि एक रूटिंग लेबल (जैसे, एक श्रेणी का नाम या हैश) है जिसमें लगभग कोई सामग्री जानकारी नहीं होती है। यह केवल यह संकेत देता है कि उस समूह में क्या हो सकता है।

B. कोर्सनिंग-ट्रावर्सल (C–T) कपलिंग

लेखक प्रतिनिधि के प्रकार ( $\rho$ ) और व्यवहार्य ट्रावर्सल रणनीति ( $\tau$ ) को जोड़ने वाला एक सैद्धांतिक प्रतिबंध स्थापित करते हैं:

सेल्फ-सफिशिएंट रिप्रजेंटेटिव्स (High SS): कोलैप्स्ड सर्च (Collapsed Search) का समर्थन करते हैं। चूंकि मोटे नोड्स (coarse nodes) पर्याप्त जानकारी रखते हैं, इसलिए सिस्टम एक साथ सभी स्तरों पर खोज कर सकता है और बच्चों (children) तक विस्तार किए बिना सीधे उत्तर डिकोड कर सकता है।
रेफरेंशियल रिप्रजेंटेटिव्स (Low SS): टॉप-डाउन रिफाइनमेंट (Top-Down Refinement) की आवश्यकता होती है। चूंकि मोटे नोड्स केवल लेबल हैं, इसलिए सिस्टम को रूट से नीचे की ओर जाना चाहिए, और केवल तभी नोड्स का विस्तार करना चाहिए जब लेबल प्रासंगिकता का सुझाव दे, ताकि खोई हुई जानकारी प्राप्त की जा सके।

मिसमैच कॉस्ट (Mismatch Cost): रेफरेंशियल नोड्स पर कोलैप्स्ड सर्च का उपयोग करने से अनइंफॉर्मेटिव लेबल्स पर टोकन बर्बाद होते हैं; सेल्फ-सफिशिएंट नोड्स पर टॉप-डाउन रिफाइनमेंट का उपयोग करने से अनावश्यक विस्तार पर टोकन बर्बाद होते हैं।

C. औपचारिक इंस्टेंशिएशन (Formal Instantiation)

इस फ्रेमवर्क को दो डोमेन में 11 मौजूदा प्रणालियों पर लागू किया गया है:

डेटा मेमोरी सिस्टम: (जैसे, RAPTOR, GraphRAG, xMemory, H-MEM, SimpleMem)। ये संग्रहीत दस्तावेजों या बातचीत पर कार्य करते हैं।
एजेंट एक्जीक्यूशन-ट्रेस सिस्टम: (जैसे, MemoBrain, StackPlanner, AgeMem, InfiAgent)। ये तर्क चरणों (reasoning steps), एक्शन ट्रेसेस और स्टेट हिस्ट्री पर कार्य करते हैं।
परिणाम: शोध पत्र प्रदर्शित करता है कि अलग-अलग प्रेरणाओं (सिमेंटिक रिट्रीवल बनाम कॉज़ल रीजनिंग) के बावजूद, सभी ये प्रणालियाँ एक ही $(\alpha, C, \tau)$ पाइपलाइन को इंस्टेंशिएट करती हैं।

4. परिणाम और विश्लेषण (Results and Analysis)

एकीकृत वर्गीकरण (Unified Classification): शोध पत्र की तालिका 1 इन 11 प्रणालियों को उनके विशिष्ट निष्कर्षण, कोर्सनिंग और ट्रावर्सल रणनीतियों के साथ मैप करती है, जिससे पता चलता है कि "डेटा" और "ट्रेस" प्रणालियाँ एक ही संरचनात्मक पाइपलाइन पर अभिसरित (converge) होती हैं।
सैद्धांतिक सीमाएँ (Theoretical Bounds):
- फानो बाउंड (Fano Bound): शोध पत्र प्रतिनिधि की विभेदक गुणवत्ता (discriminative quality/information content) के आधार पर पदानुक्रम के ब्रांचिंग फैक्टर पर एक सीमा निर्धारित करता है। निम्न-गुणवत्ता वाले प्रतिनिधि रूटिंग सटीकता बनाए रखने के लिए मोटे विभाजनों (coarser partitions) को मजबूर करते हैं।
- इष्टतम गहराई (Optimal Depth): लेखक टोकन बाधाओं के तहत रिट्रीवल लागत को कम करने के लिए इष्टतम पदानुक्रम गहराई और ब्रांचिंग फैक्टर ( $b \approx e$ ) की गणना करते हैं।
एफिनिटी और कोहेरेंस (Affinity and Coherence): शोध पत्र $W$ -कोहेरेंट पार्टीशन की अवधारणा पेश करता है, यह तर्क देते हुए कि टॉप-डाउन प्रूनिंग के काम करने के लिए, ग्रुपिंग रणनीति को स्थानीय प्रासंगिकता ज्यामिति (local relevance geometry) को संरक्षित करना चाहिए (अर्थात, एक ही समूह के यूनिट्स एक दूसरे के समान होने चाहिए ताकि पैरेंट की प्रासंगिकता चाइल्ड की प्रासंगिकता का पूर्वानुमान लगा सके)।

5. महत्व और भविष्य की दिशाएं (Significance and Future Directions)

साझा भाषा: यह विरल (disparate) मेमोरी सिस्टम की तुलना करने के लिए पहला औपचारिक गणितीय भाषा प्रदान करता है, जो एड-हॉक विवरणों से आगे जाता है।
डिज़ाइन मार्गदर्शन: C–T कपलिंग एक व्यावहारिक डिज़ाइन नियम प्रदान करती है: सिस्टम आर्किटेक्ट्स को कंप्रेशन रणनीति ( $\rho$ ) और रिट्रीवल रणनीति ( $\tau$ ) को संयुक्त रूप से अनुकूलित करना चाहिए।
ट्रेस मेमोरी: यह पदानुक्रमित स्मृति सिद्धांत को एजेंट निष्पादन ट्रेसेस तक विस्तारित करता है, यह सुझाव देते हुए कि रीजनिंग ट्रेसेस और संग्रहीत ज्ञान समान कंप्रेशन/रिट्रीवल डायनेमिक्स का पालन करते हैं।
खुले प्रश्न (Open Problems):
- डायनेमिक पदानुक्रम (Dynamic Hierarchies): वर्तमान सिद्धांत स्थिर पदानुक्रम मानता है। भविष्य के कार्य को उन एडेप्टिव पदानिक्रमों को संबोधित करने की आवश्यकता है जहाँ इंसर्शन/रीस्ट्रक्चरिंग और सुदृढीकरण लर्निंग (reinforcement learning) मेमोरी को नया आकार देते हैं।
- क्वेरी-डिपेंडेंट सेल्फ-सफिशिएंसी: ट्रावर्सल रणनीतियों को गतिशील रूप से समायोजित करने के लिए $SS_Q$ (एक विशिष्ट क्वेरी के सापेक्ष सेल्फ-सफिशिएंसी) के मेट्रिक्स विकसित करना।
- वेटेड/अनसर्टेन ग्राफ्स: अनिश्चित तथ्यों (जैसे, नॉलेज ग्राफ में) को संभालने के लिए पार्टिशनिंग ऑपरेटर $\pi$ का विस्तार करना।

संक्षेप में, यह शोध पत्र पदानुक्रमित स्मृति के क्षेत्र को इंजीनियरिंग ह्यूरिस्टिक्स के संग्रह से एक कठोर सैद्धांतिक अनुशासन में बदल देता है, जो सूचना संपीड़न, प्रतिनिधि की गुणवत्ता और रिट्रीवल दक्षता के बीच मौलिक ट्रेड-ऑफ को परिभाषित करता है।