🤖 machine learning

What to Keep, What to Forget: A Rate--Distortion View of Memory Compaction in LLMs and Agents

यह शोध पत्र एक रेट-डिस्टॉर्शन (rate-distortion) ढांचे के तहत LLMs और एजेंट्स में विविध मेमोरी संपीड़न (memory compaction) तकनीकों को एकीकृत करता है, एक सात-अक्षीय वर्गीकरण (seven-axis taxonomy) प्रस्तावित करता है, समयपूर्व सूचना त्याग (premature information discarding) के एक साझा विफलता मोड की पहचान करता है, और बार-बार होने वाले संपीड़न के समग्र मूल्यांकन की कमी को दूर करने के लिए नए बेंचमार्क और डिजाइन सिद्धांत प्रस्तुत करता है।

मूल लेखक: Ashwin Gerard Colaco, Nada Lahjouji

प्रकाशित 2026-07-10

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ashwin Gerard Colaco, Nada Lahjouji

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक सुपर-स्मार्ट रोबोट असिस्टेंट के मस्तिष्क हैं। हर बार जब आप किसी से बात करते हैं, तो आपको उनकी कही गई हर बात, इस्तेमाल किए गए हर टूल और सीखे गए हर तथ्य को याद रखना होता है। लेकिन इसमें एक पेच है: आपके पास एक बहुत छोटा, महंगा स्टोरेज बॉक्स (जैसे कि एक बहुत तेज़, बहुत छोटा बैकपैक) है। यदि आप अपनी पूरी जीवन कहानी उस बैकपैक में ठूसने की कोशिश करते हैं, तो वह फट जाएगा, और आपका मस्तिष्क धीमा हो जाएगा।

इसलिए, आपको तय करना होगा: आप क्या रखेंगे, और आप क्या फेंक देंगे?

यह शोध पत्र तर्क देता है कि चाहे आप बातचीत को याद रखने वाला एक चैटबॉट हों, मिशन की योजना बनाने वाला एक रोबोट एजेंट हो, या अपनी मेमोरी को मैनेज करने वाला एक कंप्यूटर सिस्टम, सभी बिल्कुल एक ही समस्या का सामना कर रहे हैं। यह एक ऐसी यात्रा के लिए सामान पैक करने जैसा है जहाँ आपको अभी तक मौसम का पता नहीं है, लेकिन आपके पास वजन की एक सख्त सीमा है। आपको अंदाज़ा लगाना होगा कि क्या महत्वपूर्ण है, उसे पैक करना होगा, और इस उम्मीद में आगे बढ़ना होगा कि आपको उन चीजों की जरूरत नहीं पड़ेगी जिन्हें आपने पीछे छोड़ दिया है।

मुख्य विचार: "रेट-डिस्टॉर्शन" (दर-विकृति) दुविधा

लेखक इसे एक रेट-डिस्टॉर्शन निर्णय कहते हैं। इसे इस तरह सोचें:

रेट (दर): आप कितनी जगह इस्तेमाल करने की अनुमति रखते हैं (आपका बैकपैक का आकार)।
डिस्टॉर्शन (विकृति): चीजों को फेंककर आप अपनी याददाश्त को कितना बिगाड़ देते हैं।

पेपर सुझाव देता है कि हम अपनी मेमोरी को सिकोड़ने के लिए जितने भी अलग-अलग तरीके अपनाते हैं—चाहे वह पुरानी चैट मैसेजेस को डिलीट करना हो, नंबरों को कम बिट्स में कंप्रेस करना हो, या एक लंबी कहानी को छोटे पैराग्राफ में सारांशित करना हो—वे सभी इसी एक ही पैकिंग समस्या के विभिन्न संस्करण हैं। वे सभी बिना रोबोट की बाद में सवाल पूछने की क्षमता को नुकसान पहुँचाए, सबसे उपयोगी जानकारी को सबसे छोटी जगह में फिट करने की कोशिश कर रहे हैं।

चार "पैकिंग रणनीतियाँ" (और वे अक्सर क्यों विफल होती हैं)

पेपर शोधकर्ताओं के चार अलग-अलग समूहों को देखता है जिन्होंने इस समस्या को हल करने की कोशिश की है, लेकिन वे एक-दूसरे से बात नहीं कर रहे हैं:

"डिलीट" करने वाले (KV कैश): ये लोग मॉडल के अंदर काम करते हैं जब वह बात कर रहा होता है। वे बातचीत के इतिहास को देखते हैं और कहते हैं, "वह पुराना टोकन उबाऊ है; इसे डिलीट कर दो!"
"सारांश" लिखने वाले (प्रॉम्ट कंप्रेशन): ये लोग रोबोट के पढ़ने से पहले इनपुट को संपादित करते हैं। वे एक लंबी कहानी को एक छोटी कहानी में फिर से लिखते हैं।
"आर्किटेक्ट" समूह: ये लोग नए रोबोट मस्तिष्क बनाते हैं जो स्वचालित रूप से भूलने के लिए डिज़ाइन किए गए हैं, जैसे कि एक स्पंज जो केवल पानी की एक निश्चित मात्रा ही पकड़ सकता है।
"एजेंट" समूह: ये लोग रोबोट की दीर्घकालिक स्मृति (लॉन्ग-टर्म मेमोरी) को प्रबंधित करते हैं, यह तय करते हैं कि कार्यों के बीच किन जीवन के सबक को रखना है और किन्हें त्याग देना है।

समस्या: पेपर का तर्क है कि इनमें से लगभग सभी तरीके एक घातक गलती करते हैं। वे यह तय करने के लिए चीज़ों को फेंक देते हैं कि उपयोगकर्ता अगला सवाल क्या पूछने वाला है।

उपमा: कल्पना कीजिए कि आप एक यात्रा के लिए सूटकेस पैक कर रहे हैं, लेकिन आपको यह तय करना है कि क्या फेंकना है, इससे पहले कि आपको पता चले कि आप समुद्र तट पर जा रहे हैं या पहाड़ों पर। आप अपना स्विमसूट इसलिए फेंक देते हैं क्योंकि आपको लगता है कि यह एक ठंडी यात्रा होगी। फिर, जब आप समुद्र तट पर पहुँचते हैं, तो आपको एहसास होता है कि आपने गलती की है, लेकिन तब तक बहुत देर हो चुकी होती है।

पेपर दिखाता है कि यह "अंदाजे का खेल" रोबोट को विफल कर देता है। यदि रोबोट किसी जानकारी को फेंक देता है जो एक कठिन सवाल का जवाब साबित होने वाली थी, तो वह उसे वापस नहीं पा सकता। पेपर इसे अपूरणीय हानि (इरिवर्सिबल लॉस) कहता है।

बेहतर पैकिंग के लिए दो स्वर्णिम नियम

सैकड़ों तरीकों को देखने के बाद, लेखकों ने पाया कि दो पैटर्न हैं जो विजेताओं को हारने वालों से अलग करते हैं:

जो आप वापस नहीं पा सकते उसे न फेंकें (प्रतिवर्तीता/रिवर्सिबिलिटी):
यदि आपको कुछ डिलीट करना ही है, तो सुनिश्चित करें कि आपके पास कहीं और एक बैकअप कॉपी है जिसे आप बाद में निकाल सकें।
- पेपर का निष्कर्ष: वे तरीके जो एक पूर्ण संग्रह (आर्काइव) रखते हैं और केवल कम महत्वपूर्ण चीजों को "छिपा" देते हैं (ताकि उन्हें ज़रूरत पड़ने पर निकाला जा सके), वे उन तरीकों से बहुत बेहतर काम करते हैं जो चीजों को हमेशा के लिए डिलीट कर देते हैं।
- प्रमाण: अपने प्रयोगों में, जब उन्होंने रोबोट को बार-बार एक कहानी का सारांश बनाने (हर बार विवरण डिलीट करने) के लिए कहा, तो उसकी याददाश्त खराब होती गई। लेकिन जब उन्होंने रोबलेट को पूरी कहानी रखने दी और पूछे जाने पर प्रासंगिक भागों को निकालने दिया, तो उसकी याददाश्त एकदम सही रही।
पैकिंग करने से पहले सवाल का इंतज़ार करें (क्वेरी-कंडीशनिंग):
यह तय न करें कि क्या रखना है जब तक कि आप यह न जान लें कि उपयोगकर्ता क्या पूछ रहा है।
- पेपर का निष्कर्ष: यदि आप सवाल देखने के बाद प्रतीक्षा करते हैं, तो आप सटीक उत्तर को पैक कर सकते हैं। यदि आप पहले ही अनुमान लगा लेते हैं, तो आप सटीकता की कमी के रूपform में एक "टैक्स" चुकाते हैं।
- प्रमाण: पेपर गणितीय रूप से सिद्ध करता है कि यदि आपको सवाल नहीं पता है, तो आप मजबूर होकर अपनी सीमित जगह को सभी संभावित सवालों में फैला देते हैं, जिसका अर्थ है कि आपके पास वास्तविक सवाल के लिए कम जगह बचती है।

यह पेपर किन चीजों को खारिज करता है

लेखक बहुत स्पष्ट हैं कि क्या अच्छा नहीं काम करता है:

केवल इस आधार पर चीजें डिलीट करना कि वे कितनी "पुरानी" या "उबाऊ" हैं: यदि आप किसी टोकन को इसलिए डिलीट करते हैं क्योंकि उसका उपयोग कुछ समय से नहीं हुआ है, तो आप अनजाने में उस तथ्य को डिलीट कर सकते जिसकी उपयोगकर्ता को पहेली सुलझाने के लिए आवश्यकता है।
बैकअप के बिना सारांश बनाना: एक विस्तृत इतिहास को एक छोटे सारांश में बदलना और फिर मूल को फेंक देना एक बुरा विचार है यदि सारांश एक सूक्ष्म विवरण को छोड़ देता है जो बाद में महत्वपूर्ण हो जाता है।
यह मानना कि सभी मेमोरी एक समान है: पेपर का तर्क है कि आप चैटबॉट की तत्काल बातचीत के लिए वही "पैकिंग नियम" उपयोग नहीं कर सकते जो एक रोबोट के दीर्घकालिक जीवन इतिहास के लिए होते हैं। उन्हें अलग-अलग रणनीतियों की आवश्यकता है, भले ही गणित एक ही हो।

वे कितने आश्वस्त हैं?

लेखक अपने गणित में बहुत आश्वस्त हैं। उन्होंने एक लोअर बाउंड (एक कठिन सीमा) प्राप्त की है जो सिद्ध करती है: यदि आपके पास उत्तर रखने के लिए पर्याप्त जगह नहीं है, तो आप गलती करेंगे ही। कोई भी चतुर तरकीब इस कानून को नहीं तोड़ सकती।

उन्होंने अपने विचारों का परीक्षण करने के लिए सिमुलेशन (एक छोटे कंप्यूटर पर प्रयोग) भी चलाए।

उन्होंने दिखाया कि जब आप मेमोरी को बार-बार कंप्रेस करते हैं (जैसे कि दिनों तक काम करने वाला एक एजेंट), तो यदि आप चीजों को स्थायी रूप से डिलीट करते हैं, तो त्रुटि बहुत तेज़ी से बढ़ती है।
उन्होंने दिखाया कि यदि आप एक "रिवर्सिबल" बैकअप रखते हैं, तो त्रुटि स्थिर रहती है।
उन्होंने इन तरीकों को मापने का एक नया तरीका (जिसे COMPACT-Bench कहा जाता है) बनाया ताकि विभिन्न पैकिंग रणनीतियों की निष्पक्ष रूप से तुलना की जा सके, जैसे सेब और संतरे को एक ही तराजू पर तौलना।

मुख्य निष्कर्ष

पेपर सुझाव देता है कि भविष्य की मेमोरी केवल यह अनुमान लगाने में "स्मार्ट" होने के बारे में नहीं है कि क्या डिलीट करना है। यह रिवर्सिबल (प्रतिवर्ती) और धैर्यवान होने के बारे में है।

एक ऐसे रोबोट के बजाय जो जगह बचाने के लिए पागलों की तरह चीजें फेंकता रहता है, हमें एक ऐसे रोबोट की आवश्यकता है जो एक बड़े गोदाम में सब कुछ सुरक्षित रखे, लेकिन सवाल सुनने के बाद ही उन विशिष्ट वस्तुओं को बाहर निकाले जिनकी उसे आवश्यकता है। यदि हम ऐसा करते हैं, तो रोबोट केवल जगह ही नहीं बचाएगा; वह वास्तव में सही समय पर सही चीजों को याद रखने में अधिक स्मार्ट हो जाएगा।

लेखक स्वीकार करते हैं कि उन्होंने अभी तक सब कुछ हल नहीं किया है। उनके पास कोई सटीक फॉर्मूला नहीं है जो यह भविष्यवाणी कर सके कि हर संभावित कार्य के लिए एक रोबोट को कितनी जगह की आवश्यकता होती है, और उन्हें अपने विचारों को बड़े सिस्टम पर सिद्ध करने के लिए और अधिक बड़े परीक्षणों की आवश्यकता है। लेकिन उन्होंने वहां तक पहुँचने के लिए मानचित्र और दिशा-सूचक यंत्र (कम्पास) प्रदान किया है।

तकनीकी सारांश: क्या रखें, क्या भूलें: LLMs और एजेंट्स में मेमोरी संपीड़न (Memory Compaction) का एक रेट-डिस्टॉर्शन दृष्टिकोण

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) और उन पर आधारित एजेंट्स तेजी से अपने कंप्यूटेशनल संसाधनों को मेमोरी प्रबंधन के लिए समर्पित कर रहे हैं: अटेंशन कीज़ और वैल्यूज (KV) को कैश करना, लंबे प्रॉम्प्ट्स बनाए रखना, रिकरेंट स्टेट्स को स्टोर करना, और एजेंट इंटरैक्शन हिस्ट्री को सुरक्षित रखना। जैसे-जैसे कॉन्टेक्स्ट की लंबाई बढ़ती है, मेमोरी प्राथमिक बाधा बन जाती है, जो अक्सर मॉडल के अपने वेट फुटप्रिंट (weight footprint) से भी अधिक हो जाती है।

वर्तमान में, चार अलग-अलग शोध समुदाय इस बाधा को अलग-थलग रहकर संबोधित कर रहे हैं:

KV-कैश संपीड़न (KV-cache compression): इन्फरेंस के दौरान टोकन को हटाना (evicting), क्वांटाइज़ करना, या मर्ज करना।
प्रॉम्प्ट/कॉन्टेक्स्ट संपीड़न (Prompt/Context compression): मॉडल द्वारा प्रोसेस किए जाने से पहले इनपुट टोकन्स को छाँटना (pruning) या डिस्टिल करना।
आर्किटेक्चरल बाधाएं (Architectural constraints): रिकरेंस, स्टेट-स्पेस मॉडल्स, या लीनियर अटेंशन के माध्यम से मेमोरी को सीमित करना।
एजेंट मेमोरी (Agent memory): एजेंट के प्रक्षेपवक्र (trajectories) और दीर्घकालिक ज्ञान को समेकित और सारांशित करना।

ये समुदाय अलग-अलग बेंचमार्क, सफलता मेट्रिक्स और डिज़ाइन दर्शन के साथ काम करते हैं, और शायद ही कभी एक-दूसरे का संदर्भ देते हैं। यह पेपर तर्क देता है कि ये अलग समस्याएं नहीं हैं, बल्कि एक ही मौलिक चुनौती के विभिन्न उदाहरण हैं: एक रेट-डिस्टॉर्शन निर्णय (rate–distortion decision)। मुख्य समस्या यह निर्धारित करना है कि संसाधन बजट के तहत, डाउनस्ट्रीम कार्य उपयोगिता (task utility) को बनाए रखने के लिए किस कॉन्टेक्स्ट-व्युत्पन्न जानकारी को रखना है और किसे छोड़ देना है।

कार्यप्रणाली और औपचारिकता (Methodology and Formalism)

लेखक मेमोरी संपीड़न को एक रेट-डिस्टॉर्शन ऑप्टिमाइज़ेशन समस्या के रूप में देखते हुए एक एकीकृत औपचारिकता प्रस्तावित करते हैं।

एकीकृत उद्देश्य (The Unified Objective)

एक दिए गए इतिहास $H$ (सभी उपलब्ध टोकन, स्टेट्स, या मेमोरीज) के लिए, एक संपीड़न ऑपरेटर $C_\theta$ एक बजट $B$ (बाइट्स, टोकन, या स्टेट डायमेंशन में मापा गया) के अधीन एक संक्षिप्त प्रतिनिधित्व $Z$ उत्पन्न करता है। इसके बाद एक उपयोग ऑपरेटर $U$ , $Z$ से एक आउटपुट $\hat{Y}$ उत्पन्न करता है। डिज़ाइन लक्ष्य दर प्रतिबंध (rate constraint) के अधीन अपेक्षित हानि (डिस्टॉर्शन) को कम करना है:
$\min_\theta \mathbb{E}[\ell(U(C_\theta(H), Q), Y)] \quad \text{subject to} \quad \text{rate}(Z) \le B$
इसे एक इंफॉर्मेशन बॉटलनेक समस्या के रूप में फ्रेम किया गया है: $I(Z; Y | Q)$ (इतिहास के वे बिट्स जो उत्तर देने के लिए आवश्यक हैं) को अधिकतम करना, जबकि $I(Z; H) \le B$ हो।

सैद्धांतिक निचला स्तर (Theoretical Lower Bound)

पेपर फानो की असमानता (Fano's inequality) का उपयोग करके त्रुटि संभावना $P_e$ के लिए एक लेयर-अज्ञेयवादी (layer-agnostic) निचले स्तर को व्युत्पन्न करता है। मान लें कि $I^\star(Q) = I(Y; H | Q)$ कार्य-सशर्त सूचना सामग्री (वे बिट्स जो वास्तव में क्वेरी $Q$ का उत्तर देने के लिए इतिहास से आवश्यक हैं) है। यदि बजट $B < I^\star(Q)$ है, तो त्रुटि इस प्रकार सीमित है:
$P_e \ge \frac{H(Y|Q) - B - 1}{\log |\mathcal{Y}|}$
मुख्य निहितार्थ:

त्रुटि की अपरिहार्यता (Inevitability of Error): सूचना आवश्यकता $I^\star(Q)$ से नीचे, प्रत्येक लेयर को त्रुटि करनी ही होगी; कोई भी आर्किटेक्चर इससे बच नहीं सकता।
कार्य निर्भरता (Task Dependence): निश्चित गुणवत्ता पर संपीड़न अनुपात $I^\star(Q)$ पर निर्भर करता है। उच्च-एन्ट्रॉपी वाले कार्यों (सटीक रिट्रीवल) के लिए संपीड़न कठिन होता है; कम-एन्ट्रॉपी वाले कार्यों (सारांश बनाना) के लिए यह आसान होता है।
क्वेरी-अज्ञेयवादी दंड (The Query-Agnostic Penalty): वे ऑपरेटर जो क्वेरी देखने से पहले यह तय करते हैं कि क्या रखना है (query-agnostic), उन्हें पूरे क्वेरी वितरण में अपना बजट फैलाना पड़ता है, जिससे उन्हें $H(Q)$ (क्वेरी एन्ट्रॉपी) का दंड भुगतना पड़ता है। क्वेरी-कंडीशन वाले ऑपरेटर उत्तर-प्रासंगिक बिट्स पर पूरा बजट खर्च कर सकते हैं।

सात-अक्षीय वर्गीकरण (Seven-Axis Taxonomy)

तरीकों को समान रूप से वर्गीकृत करने के लिए, लेखक सात ऑर्थोगोनल अक्षों पर आधारित एक वर्गीकरण पेश करते हैं:

ग्रैनुलैरिटी (Granularity): बिट-विड्थ से लेकर सिमेंटिक आइटम्स तक।
जीवनचक्र चरण (Lifecycle Stage): प्रीट्रेनिंग, प्रीफिल, डिकोडिंग, सर्विंग, इन-टास्क, या बिटवीन-टास्क।
हानिपूर्णता/फिडेलिटी (Lossiness/Fidelity): लॉसलेस, लगभग लॉसलेस, यूनिफॉर्मली लॉसी, या मल्टी-फिडेलिटी।
क्वेरी/टास्क अनुकूलन क्षमता (Query/Task Adaptivity): क्वेरी-अज्ञेयवादी बनाम क्वेरी-कंडीशन।
सीखने की क्षमता (Learnability): ट्रेनिंग-फ्री, पोस्ट-ट्रेनिंग एडॉप्टर, या स्क्रैच से प्रशिक्षित।
तंत्र (Mechanism): इविक्शन (eviction), रिट्रीवल, मर्जिंग, क्वांटाइजेशन, आदि।
स्टोरेज सबस्ट्रेट (Storage Substrate): ऑन-जीपीयू, एक्सटर्नल स्टोर, या मॉडल वेट्स।

मुख्य योगदान

एकीकृत औपचारिकता और निचला स्तर: पेपर मेमोरी संपीड़न को एक एकल रेट-डिस्टॉर्शन समस्या के रूप में औपचारिक रूप देता है और एक निचला स्तर (Eq. 2) व्युत्पन्न करता है जो दिखाता है कि त्रुटि दर सभी लेयर्स में एक ही अभिव्यक्ति द्वारा नियंत्रित होती है। यह "क्वेरी-अज्ञेयवादी दंड" को एक मापने योग्य लागत के रूप में पहचानता है।
सात-अक्षीय वर्गीकरण: एक वर्गीकरण प्रणाली जो KV कैशे, प्रॉम्प्ट्स, आर्किटेक्चर और एजेंट मेमोरी से विधियों को एकीकृत करती है, जिससे पता चलता है कि अंतर मुख्य रूप से ग्रैनुलैरिटी, जीवनचक्र चरण और अनुकूलन क्षमता में है।
क्रॉस-लेयर मैकेनिज्म ट्रांसफर: लेखक प्रदर्शित करते हैं कि एक लेयर में परिष्कृत किए गए तंत्र को दूसरी लेयर्स में पोर्ट किया जा सकता है। उदाहरण के लिए:
- एजेंट फॉरगेटिंग कर्व्स (Ebbinghaus) KV इविक्शन के लिए प्रायोर (priors) के रूप में काम कर सकते हैं।
- नो-इविक्शन रिट्रीवल (Quest) एजेंट मेमोरी के लिए डिज़ाइन का सुझाव देता है।
- आउटपुट-एरर बाउंड्स (Ada-KV) एजेंट सारांशीकरण के लिए स्टॉपिंग रूल्स का सुझाव देते हैं।
विफलता मोडों की पहचान: दो महत्वपूर्ण गुण सफलता निर्धारित करते हैं: प्रतिवर्तीता (Reversibility) (क्या छोड़ी गई सामग्री को पुनः प्राप्त किया जा सकता है?) और क्वेरी-कंडीशनिंग (क्या निर्णय क्वेरी पर निर्भर करता है?)। पेपर भविष्यवाणी करता है कि जिनमें ये गुण नहीं हैं (जैसे अपरिवर्तनीय सारांशीकरण), वे बार-बार होने वाले संपीड़न के तहत सुपर-लीनियर त्रुटि संचय से ग्रस्त होंगे।
COMPACT-Bench प्रस्ताव: एक नया बेंचमार्क प्रस्ताव जो एक एकीकृत "बाइट्स-पर-टोकन-ऑफ-हिस्ट्री" (BPT) अक्ष पर संपीड़न को मापने के लिए है। इसमें लॉस एट्रीब्यूशन, रिवर्सिबिलिटी और कैलिब्रेटेड कॉन्फिडेंस को मापने के कार्य शामिल हैं, जो विशेष रूप से "रिपीटेड संपीड़न" (repeated compaction) शासन का परीक्षण करते हैं जिसे वर्तमान बेंचमार्क अनदेखा करते हैं।
संदर्भ प्रयोग: कमोडिटी हार्डवेयर पर छोटे पैमाने के प्रयोग दर्शाते हैं:
- एक एकीकृत सटीकता-बजट फ्रंटियर जहाँ प्रदर्शन तब गिर जाता है जब बजट $I^\star(Q)$ से नीचे चला जाता है।
- प्रतिवर्ती (reversible) और अपरिवर्तनीय (irreversible) ऑपरेटरों के बीच विचलन, जहाँ अपरिवर्तनीय विधियाँ बार-बार संपीड़न के तहत तथ्यों को लगभग 50% अधिक खो देती हैं।

परिणाम और अवलोकन

सार्वभौमिक विफलता मोड: सभी लेयर्स में, वे विधियाँ जो क्वेरी ज्ञात होने से पहले यह तय करती हैं कि क्या रखना है और जो निर्णय को वापस नहीं ले सकतीं (अपरिवर्तनीय, क्वेरी-अज्ञेयवादी), उसी तरह विफल होती हैं: वे ऐसी जानकारी को हटा देती हैं जिसकी क्वेरी बाद में आवश्यकता होती है।
प्रतिवर्तीता का प्रभुत्व (Reversibility Dominance): समान बजट पर, प्रतिवर्ती ऑपरेटर (रिट्रीवल-बैक्ड, आर्काइवल) लगातार अपरिवर्तनीय ऑपरेटरों (इविक्शन, सारांशीकरण) की तुलना में बेहतर प्रदर्शन करते हैं, विशेष रूप से उन क्वेरीज़ पर जो हटाए गए मटेरियल पर निर्भर करती हैं।
मापन अंतराल (Measurement Gap): वर्तमान बेंचमार्क सिंगल-टर्न लॉन्ग-कॉन्टेक्स्ट कार्यों पर ध्यान केंद्रित करते हैं। वे बार-बार होने वाले संपीड़न के लागत को मापने में विफल रहते हैं, जो एजेंटों का वास्तविक ऑपरेटिंग मोड है। पेपर दिखाता है कि अपरिवर्तनीय विधियों के लिए बार-बार होने वाले संपीड़न में त्रुटि संचय सुपर-लीनियर होता है, जबकि प्रतिवर्ती विधियों के लिए यह फ्लैट रहता है।
सरोगट के रूप में अटेंशन ह्यूरिस्टिक्स: सामान्य ह्यूरिस्टिक्स (संचित अटेंशन मास, पर्प्लेक्सिटी, म्यूचुअल इंफॉर्मेशन) सभी को डिस्टॉर्शन सरोगेट के रूप में पहचाना गया है। वे तुलनीय हैं क्योंकि वे एक ही अंतर्निहित मात्रा का अनुमान लगाते हैं: "इसे छोड़ने से उत्तर देने में कितनी हानि होगी?"

महत्व और दावे

पेपर का दावा है कि मेमोरी संपीड़न को रेट-डिस्टॉर्शन लेंस के माध्यम से देखने से तीन विशिष्ट लाभ होते हैं:

एक साझा पैमाना (A Shared Yardstick): यह विधियों को विभिन्न लेयर्स (जैसे, एक KV क्वांटाइज़र की तुलना एक एजेंट सारांशकर्ता से करना) को एक सामान्य बजट अक्ष पर मैप करके सीधे तुलना करने की अनुमति देता है।
एकीकृत विफलता विश्लेषण: यह बताता है कि विविध विधियाँ समान रूप से क्यों विफल होती हैं (अपरिवर्तनीयता और क्वेरी-कंडीशनिंग की कमी के कारण) और विफलता के विशिष्ट संकेतों (जैसे, U-आकार के रिकॉल कर्व्स, सुपर-लीनियर एरर ग्रोथ) की भविष्यवाणी करती है।
तकनीकों की पोर्टेबिलिटी: यह सिद्ध तकनीकों को अन्य लेयर्स में स्थानांतरित करने में सक्षम बनाता है, जैसे एजेंट मेमोरी के लिए आर्किटेक्चरल बाधाओं को लागू करना या एजेंट कंसोलिडेशन रणनीतियों का उपयोग करके KV प्रबंधन को सूचित करना।

लेखक इस बात पर जोर देते हैं कि क्षेत्र में एक क्रॉस-लेयर बेंचमार्क और $I^\star(Q)$ के लिए एक प्रेडिक्टिव स्केलिंग लॉ की कमी है। वे प्रस्तावित करते हैं कि प्रगति केवल अलग-थलग ह्यूरिस्टिक्स से नहीं, बल्कि साझा उद्देश्य को पहचानने और रिवर्सिबिलिटी, क्वेरी-कंडीशनिंग और रिपीटेड संपीड़न को ध्यान में रखते हुए एक एकीकृत प्रोटोकॉल के साथ संपीड़न को मापने से आएगी।

खुली समस्याएं और एजेंडा

पेपर एक प्राथमिकता वाले शोध एजेंडे को रेखांकित करता है:

सभी लेयर्स के लिए क्वेरी-कंडीशनड, रिवर्सिबल, मल्टी-फिडेलिटी संपीड़न ऑपरेटर विकसित करना।
इंफॉर्मेशन-लॉस एट्रीब्यूशन और कैलिब्रेटेड कॉन्फिडेंस तंत्र बनाना।
ऑपरेटर्स का संयोजन (जैसे, क्वांटाइजेशन इविक्शन के साथ कैसे इंटरैक्ट करता है) को मैप करना।
$I^\star(Q)$ का अनुमान लगाने के लिए एक प्रेडिक्टिव कंप्रेशन स्केलिंग लॉ प्राप्त करना।
आउटपुट-एरर बाउंड्स के आधार पर एजेंट सारांशीकरण के लिए स्टॉप रूल्स स्थापित करना।
स्वयं-संपादित (self-editing) मेमोरी सिस्टम में सुरक्षा और ऑडिटेबिलिटी को संबोधित करना।