🤖 AI

AGORA: Adapter-Grounded Observation-Action Retention for Inference-Free Prompt Compression in LLM Agents

AGORA पेपर एक एडेप्टर-ग्राउंडेड (adapter-grounded), इन्फरेंस-फ्री (inference-free) प्रॉम्प्ट कंप्रेशन विधि प्रस्तावित करता है जो टोकन-लेवल एक्सट्रैक्टिव कंप्रेशर्स की संरचनात्मक सीमाओं को पार करने के लिए एक स्ट्रक्चरल फ्लोर (structural floor) को प्राथमिक गुणवत्ता बाधा के रूप में अलग करता है और एक सीखे हुए स्कोरर (learned scorer) के माध्यम से अनकंप्रेस्ड प्रदर्शन को बनाए रखते हुए 1.0–11.5x एडेप्टिव कंप्रेशन प्राप्त करता है।

मूल लेखक: Haoran Zhang, Zhaohua Sun

प्रकाशित 2026-05-27

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Haoran Zhang, Zhaohua Sun

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक LLM एजेंट की कल्पना एक कुशल जासूस के रूप में करें जो एक रहस्य सुलझाने की कोशिश कर रहा है। केस सुलझाने के लिए, जासूस सुरागों, अपने द्वारा किए गए कार्यों और उसके बाद जो कुछ भी उसने देखा, उससे भरी एक लंबी नोटबुक देखता है। जैसे-जैसे जांच आगे बढ़ती है, यह नोटबुक बहुत बड़ी हो जाती है—कभी-कभी 1,00,000 शब्दों से भी अधिक। यदि नोटबुक बहुत बड़ी हो जाती है, तो जासूस अभिभूत हो जाता है और स्पष्ट रूप से सोच नहीं पाता।

समस्या यह है: आप इस नोटबुक को बिना उन सुरागों को हटाए कैसे छोटा कर सकते हैं जो वास्तव में महत्वपूर्ण हैं?

समस्या: "गलत" प्रकार का संकुचक (Shrinker)

शोधकर्ताओं ने मानक "सारांशित करने वाले" (जिन्हें "टोकन-लेवल कंप्रेसर" कहा जाता है) का उपयोग करने की कोशिश की, जो सामान्य पढ़ने के कार्यों के लिए बेहतरीन काम करते हैं, जैसे कि किसी समाचार लेख का सारांश बनाना। ये उपकरण उन शब्दों को हटाकर काम करते हैं जो "अनुमानित" या "उबाऊ" लगते हैं।

लेकिन एक एजेंट जासूस के लिए, यह दृष्टिकोण एक आपदा है। शोध पत्र इसे "एक्शन-ग्रामर डिस्ट्रक्शन" (Action-Grammar Destruction) कहता है।

यहाँ उपमा (analogy) दी गई है:
कल्पना कीजिए कि जासूस की नोटबुक में एक विशिष्ट निर्देश है: "Search for [red shoes size 10]."

शब्द "Search," "for," और ब्रैकेट [ ] एक्शन ग्रामर हैं। ये वे कमांड हैं जो कंप्यूटर को बताते हैं कि क्या करना है।
हालाँकि, क्योंकि अंग्रेजी में ये शब्द बहुत सामान्य और अनुमानित हैं, मानक सारांशित करने वाला उपकरण सोचता है, "ओह, 'for' और ब्रैकेट उबाऊ हैं। मैं जगह बचाने के लिए उन्हें हटा देता हूँ।"
परिणाम: नोटबुक अब कहती है "red shoes size 10."
क्रैश: कंप्यूटर वातावरण इसे देखता है और कहता है, "मुझे नहीं पता कि इसके साथ क्या करना है। यह एक कमांड नहीं है।" एजेंट क्रैश हो जाता है या विफल हो जाता है।

पेपर ने 17 अलग-अलग परिदृश्यों का परीक्षण किया और पाया कि जब भी उन्होंने इन मानक सारांशित करने वालों का उपयोग किया, एजेंट का प्रदर्शन लगभग शून्य पर गिर गया, भले ही उन्होंने सफलतापूर्वक जगह बचा ली थी। टूल अपना काम पूरी तरह से कर रहा था, लेकिन वह उन चीज़ों को ही हटा रहा था जो एजेंट को काम करने के योग्य बनाती थीं।

समाधान: AGORA (एक स्मार्ट फाइलिंग सिस्टम)

लेखकों ने AGकी AGORA नामक एक नया सिस्टम बनाया। एक शब्द-साफ करने वाले (word-scrubber) के बजाय, AGORA एक स्मार्ट फाइलिंग क्लर्क की तरह काम करता है जो जासूस की नोटबुक की संरचना को समझता है।

AGORA तीन सरल परतों में काम करता है:

"कभी न छूने वाला" फर्श (स्ट्रक्चरल पार्सर):
AGORA का एक नियम है: "सिस्टम निर्देशों (System Instructions), वर्तमान सुराग (Current Clue), या पिछले दो चरणों को कभी न हटाएं।"
- उपमा: कल्पना कीजिए कि जासूस की नोटबुक में अंतिम दो पृष्ठों और कवर पेज पर एक लाल स्टिकी नोट है। AGORA कहता है, "चाहे जो हो जाए, हम इन पृष्ठों को बिल्कुल वैसा ही रखेंगे जैसा वे हैं।" यह सुनिश्चित करता है कि एजेंट हमेशा जानता है कि वह क्या कर रहा है और अभी क्या हुआ है।
"प्रासंगिकता स्कोर" (125M पैरामीटर स्कोरर):
नोटबुक के पुराने पृष्ठों के लिए, AGORA एक छोटे, तेज़ AI (एक 125-मिलियन-पैरामीटर मॉडल) का उपयोग करता है जो पूछता है: "यदि हम इस पुराने सुराग को हटा दें, तो क्या जासूस अभी एक अलग निर्णय लेगा?"
- यदि उत्तर है "नहीं, यह पुराना सुराग मायने नहीं रखता," तो इसे हटा दिया जाता है।
- यदि उत्तर है "हाँ, यह सुराग महत्वपूर्ण है," तो यह बना रहता है।
- मुख्य बिंदु: यह लगभग 2 मिलीसेकंड में होता है। यह एक विशाल AI को कहानी फिर से लिखने के लिए नहीं कहता; यह केवल यह जाँचता है कि क्या वह पृष्ठ महत्वपूर्ण है।
"ग्रीडी" फिलर (Greedy Filler):
एक बार जब "कभी न छूने वाले" पृष्ठ सुरक्षित हो जाते हैं, तो AGORA नोटबुक को छोटा करने के लिए सबसे महत्वपूर्ण पुराने सुरागों से शेष स्थान को भर देता है।

यह क्यों एक बड़ी बात है

कोई अतिरिक्त लागत नहीं: अधिकांश अन्य तरीके नोटबुक को सारांशित करने के लिए एक दूसरे विशाल AI को काम करने के लिए कहने की कोशिश करते हैं। यह हर कदम के लिए अतिरिक्त पैसा और समय खर्च करता है। AGORA इसे बिना दूसरे AI से पूछे करता है, जिससे पैसा और समय बचता है।
यह काम करता है: 9 में से 8 अलग-अलग परीक्षण परिदृश्यों में, AGORA ने एजेंट को उसकी मूल गति और सटीकता के 75% या उससे अधिक पर बनाए रखा, भले ही नोटबुक बहुत छोटी थी।
अनुकूलनशील (Adaptive): यह स्वचालित रूप से तय करता है कि नोटबुक को कितना छोटा करना है। कभी-कभी यह इसे 1x (थोड़ा) छोटा करता है, कभी-कभी 11x (बहुत अधिक) छोटा करता है, यह इतिहास में मौजूद "फालतू सामग्री" (fluff) पर निर्भर करता है।

निष्कर्ष

पेपर यह साबित करता है कि आप केवल एक AI एजेंट के इतिहास को एक सामान्य पुस्तक की तरह नहीं मान सकते। आपको उसके कमांड के "व्याकरण" (grammar) का सम्मान करना होगा। AGORA एक हल्का, तेज़ और मुफ्त तरीका है जो एजेंट की याददाश्त को साफ रखने के साथ-साथ उन निर्देशों को गलती से हटाने से बचाता है जो उसे काम करने के योग्य बनाते हैं। यह एक ऐसे सारांशित करने वाले (summarizer) और एक ऐसी फाइलिंग प्रणाली के बीच का अंतर है जो सड़क के मानचित्र से "स्टॉप" साइन को हटा देता है और दूसरी ओर एक ऐसी प्रणाली है जो मानचित्र को पठनीय रखती है लेकिन अप्रासंगिक पुराने स्ट्रीट नामों को हटा देती है।

तकनीकी सारांश: AGORA – LLM एजेंटों के लिए इन्फरेंस-फ्री प्रॉम्प्ट कंप्रेशन हेतु अडैप्टर-ग्राउंडेड ऑब्जर्वेशन-एक्शन रिटेंशन

1. समस्या की परिभाषा

लार्ज लैंग्वेज मॉडल (LLM) एजेंट वातावरण के साथ बातचीत करते समय क्रियाओं (actions) और प्रेक्षणों (observations) के लंबे प्रक्षेपवक्र (trajectories) संचित करते हैं। जैसे-जैसे कार्य क्षितिज (task horizons) बढ़ते हैं (उदाहरण के लिए, WebShop में स्टेप 30 तक 100k टोकन से अधिक होना), इस संदर्भ (context) को कंप्रेस करना एक व्यावहारिक आवश्यकता बन जाता है। हालाँकि, यह शोध पत्र तर्क देता है कि सामान्य सिंगल-टर्न LMs के लिए डिज़ाइन किए गए मानक प्रॉम्प्ट कंप्रेशन तकनीकें LLM एजेंटों के लिए संरचनात्मक रूप से अनुपयुक्त हैं।

पहचाना गया मुख्य मुद्दा एक्शन-ग्रामर डिस्ट्रक्शन (action-grammar destruction) है। एजेंट प्रक्षेपवक्रों में, वे टोकन जो महत्वपूर्ण एक्शन सिमेंटिक्स (जैसे आइडेंटिफायर, ब्रैकेट, या search[...] या click[...] जैसे एक्शन वर्ब्स) ले जाते हैं, वे अक्सर आसपास के नेचुरल लैंग्वेज कॉन्टेक्स्ट से अत्यधिक अनुमानित होते हैं। फलस्वरूप, टोकन-लेवल एक्सट्रैक्टिव कंप्रेसर—जो टोकन को उनके सेल्फ-इन्फॉर्मेशन या परप्लेक्सिटी के आधार पर रैंक करते हैं और सबसे कम स्कोर वाले टोकन को हटा देते हैं—व्यवस्थित रूप से इन सिमेंटिक टोकनों को डिलीट कर देते हैं। परिणामी "कंप्रेस्ड" प्रॉम्प्ट व्याकरणिक रूप से सही अंग्रेजी तो रखता है लेकिन एजेंट कमांड्स के मामले में अग्रामेटिकल हो जाता है, जिससे वातावरण एक्शन को अस्वीकार कर देता है और एजेंट विफल हो जाता है।

लेखक दो स्वतंत्र टोकन-लेवल मेथड फैमिली (Selective Context और LLMLingua-2) के 17 प्रयोगात्मक सेल के माध्यम से प्रदर्शित करते हैं कि हर कॉन्फ़िगरेशन औसत रिवॉर्ड ( $m_r$ ) $\leq 0.05$ पर गिर जाता है, जबकि उन्होंने 1.3–13.3× कंप्रेशन प्राप्त किया था।

2. कार्यप्रणाली: AGORA

इसे संबोधित करने के लिए, लेखक AGORA (अडैप्टर-ग्राउंडेड ऑब्जर्वेशन-रिटेंशन आर्किटेक्चर) प्रस्तावित करते हैं, जो एक इन्फरेंस-फ्री, स्टेप-लेवल कंप्रेसर है। टोकन-लेवल विधियों के विपरीत, AGORA पूर्ण (एक्शन, ऑब्जर्वेशन) जोड़ों की ग्रैनुलैरिटी पर काम करता है, जिससे यह सुनिश्चित होता है कि एक्शन का सिंटैक्स बरकरार रहे।

AGORA तीन प्राथमिक घटकों से बना है:

स्ट्रक्चरल प्रॉम्प्ट पार्सर (Structural Prompt Parser):
- एजेंट के प्रक्षेपवक्र को रोल-टाइप्ड ब्लॉक्स (System, Task, Past Steps, Current Observation, Pending Response) में विभाजित करता है।
- पिछले इंटरैक्शन को डिस्क्रीट स्टेप पेयर्स $(a_i, o_i)$ में समूहित करता है।
- यह पार्सिंग नियत (deterministic) और टास्क-अग्नोस्टिक है, जो रोल मार्कर्स (जैसे [ASSISTANT], [USER]) पर निर्भर करती है।
ऑलवेज-कीप फ्लोर (Always-Keep Floor - नियत गुणवत्ता फ्लोर):
- फॉर्मेट और हालियाता (recency) को बनाए रखने के लिए विशिष्ट महत्वपूर्ण सामग्री को बिना शर्त सुरक्षित रखता है:
  - सिस्टम मैसेज ( $c_{sys}$ ) और टास्क इंस्ट्रक्शन ( $c_{task}$ )।
  - वर्तमान ऑब्जर्वेशन ( $c_{now}$ ) और कोई भी पेंडिंग रिस्पॉन्स ( $c_{pend}$ )।
  - सबसे हालिया $K_{recent}=2$ स्टेप्स।
- यह लेयर सुनिश्चित करती है कि एजेंट के कार्य करने के लिए आवश्यक "इनवेरिएंट" (जैसे वर्तमान स्थिति और हालिया इतिहास जानना) कभी भी नष्ट न हो।
लर्नड स्टेप रेलिवेंस स्कोरर (Learned Step Relevance Scorer):
- एक 125M-पैरामीटर वाला RoBERTa-base क्लासिफायर जिसे वर्तमान ऑब्जर्वेशन के विरुद्ध पिछले स्टेप्स की प्रासंगिकता को स्कोर करने के लिए प्रशिक्षित किया गया है।
- ट्रेनिंग सिग्नल: मॉडल को काउंटरफैक्टुअल नेक्स्ट-एक्शन-चेंज लेबल्स पर प्रशिक्षित किया गया है। प्रत्येक पिछले स्टेप $s_i$ और वर्तमान ऑब्जर्वेशन $c_{now}$ के लिए, एजेंट बैकबोन को $K=8$ बार क्वेरी किया जाता है (आधा $s_i$ के साथ, आधा $s_i$ के बिना)। लेबल वह अंश है जितनी बार कैनोनिकलकृत (canonicalized) अगला एक्शन बदलता है। यह एक सॉफ्ट लेबल $y_i \in [0, 1]$ बनाता है जो स्टेप की क्रिटिकैलिटी को दर्शाता है।
- इन्फरेंस: स्कोरर बिना किसी API कॉल के एक सिंगल फॉरवर्ड पास ( $\sim 2$ ms/step) चलाता है। यह एक संभावना $p_i$ आउटपुट करता है कि स्टेप $s_i$ को हटाने से अगला एक्शन बदल जाएगा।
ग्रीडी बजट फिल (Greedy Budget Fill):
- एक लक्षित कैरेक्टर बजट (जैसे मूल लंबाई का 25%) दिए जाने पर, सिस्टम "ऑलवेज-कीप फ्लोर" के बाद शेष स्थान को उनके रेलिवेंस स्कोर $p_i$ के अवरोही क्रम (descending order) में गैर-फ्लोर स्टेप्स को ग्रीडी तरीके से चुनकर भरता है।
- ड्रॉप किए गए स्टेप्स को एक सिंगल एलिसन मार्कर (जैसे [... N step(s) elided ...]) द्वारा प्रतिस्थापित किया जाता है।

3. प्रमुख योगदान

यह शोध पत्र तीन प्राथमिक योगदान देता है:

एक्शन-ग्रामर डिस्ट्रक्शन की पहचान: लेखक औपचारिक रूप से उस संरचनात्मक विफलता मोड का निदान और नाम देते हैं जहाँ टोकन-लेवल कंप्रेसर एजेंटों पर विफल हो जाते हैं। वे व्यवस्थित साक्ष्य प्रदान करते हैं कि ये विधियाँ एजेंट प्रदर्शन को ध्वस्त कर देती हैं क्योंकि वे उन लो-सेल्फ-इन्फॉर्मेशन टोकन को हटा देती हैं जो एक्शन सिंटैक्स के लिए आवश्यक हैं।
AGORA आर्किटेक्चर: एक नवीन, इन्फरेंस-फ्री स्टेप-लेवल कंप्रेसर जो एक स्ट्रक्चरल पार्सर, एक नियत "ऑलवेज-कीप फ्लोर" और काउंटरफैक्टुअल लेबल्स पर प्रशिक्षित एक लर्नड रेलिवेंस स्कोरर को जोड़ता है। यह शून्य प्रति-स्टेप LLM ओवरहेड के साथ एडेप्टिव कंप्रेशन (1.0–11.5×) प्राप्त करता है।
कंपोनेंट एट्रिब्यूशन: एब्लेशन स्टडीज के माध्यम से, पेपर प्रत्येक डिज़ाइन विकल्प के विशिष्ट मूल्य को अलग करता है:
- ऑलवेज-कीप फ्लोर गुणवत्ता बनाए रखने के लिए प्रमुख लीवर है (इसे हटाने से प्रदर्शन काफी गिर जाता है)।
- लर्नड स्कोरर एडेप्टिव कंप्रेशन रेंज का प्राथमिक चालक है, जो सिस्टम को एक निश्चित 'कीप रेशियो' बनाए रखते हुए प्रक्षेपवक्र की जटिलता के आधार पर कंप्रेशन अनुपात को बदलने की अनुमति देता है।

4. प्रयोगात्मक परिणाम

लेखकों ने 10 बेसलाइन्स (जिनमें टोकन-लेवल एक्सट्रैक्टिव मेथड्स और LLM-आधारित एब्स्ट्रैक्टिव कंप्रेसर शामिल हैं) के विरुद्ध 9 सेल्स (3 वातावरण: ALFWorld, ScienceWorld, WebShop; 3 बैकबोन्स: qwen3.5-flash, gpt-4o-mini, gpt-5-mini) में AGORA का मूल्यांकन किया।

क्वालिटी रिटेंशन: AGORA एकमात्र इन्फरेंस-फ्री विधि है जो 9 में से 8 सेल्स में $\geq 75\%$ $\geq 75%$ अनकंप्रेस्ड प्रदर्शन को बनाए रखती है (अपवाद gpt-5-mini के साथ ScienceWorld है जो 73% है)।
- AGORA के साथ औसत मीन रिवॉर्ड ( $m_r$ ): 0.387 (नो-कंप्रेशन बनाम 92% रिटेंशन)।
- इसके विपरीत, टोकन-लेवल मेथड्स (Selective Context, LLMLingua-2) $m_r \leq 0.05$ पर गिर गए।
कंप्रेशन एफिशिएंसी: AGORA एक सिंगल फिक्स्ड कॉन्फ़िगरेशन ( $\rho=0.25$ ) का उपयोग करके 1.0–11.5× का एडेप्टिव एंड-टू-एंड कंप्रेशन रेंज प्राप्त करता है, जो बिना प्रति-सेल ट्यूनिंग के विशिष्ट प्रक्षेपवक्र शासन (regime) के अनुकूल होता है।
लागत: AGORA प्रति स्टेप शून्य अतिरिक्त LLM टोकन लागत वहन करता है (इन्फरेंस-फ्री)। जबकि LLM-आधारित कंप्रेसर (HiAgent, AgentDiet, ACON) लॉन्ग-ट्रैजेक्टरी परिदृश्यों में अपने स्वयं के कंप्रेसर कॉल्स के कारण प्रति टास्क 8–126k अतिरिक्त टोकन का भुगतान करते हैं, AGORA उन परिदृश्यों में बेहतर है जहाँ प्रति-स्टेप LLM ओवरहेड निषेधात्मक है या जहाँ रिटेंशन ही मुख्य बाधा है।
एब्लेशन: "ऑलवेज-कीप फ्लोर" को हटाने से सबसे बड़ा प्रदर्शन ड्रॉप ( $\Delta m_r \approx -0.088$ ) हुआ। स्कोरर को हटाने से प्रदर्शन केवल थोड़ा कम हुआ ( $\Delta m_r \approx -0.031$ ) लेकिन इसने एडेप्टिव कंप्रेशन रेंज को समाप्त कर दिया, जो पुष्टि करता है कि फ्लोर क्वालिटी को संभालता है जबकि स्कोरर वॉल्यूम को संभालता है।

5. महत्व और दावे

यह शोध पत्र दावा करता है कि AGORA एजेंटों के लिए प्रॉम्प्ट कंप्रेशन के प्रति दृष्टिकोण में एक आवश्यक बदलाव का प्रतिनिधित्व करता है। लेखक तर्क देते हैं कि टोकन-लेवल कंप्रेशन का "रैंक-एंड-डिलीट" प्रतिमान एजेंटों के लिए संरचनात्मक रूप से गलत तरीके से निर्दिष्ट है क्योंकि यह सूचना घनत्व (information density) के बजाय एक्शन कमांड की संरचनात्मक अखंडता के लिए अनुकूलित (optimize) होता है।

महत्व:

प्रतिमान परिवर्तन (Paradigm Shift): यह डिज़ाइन स्पेस को टोकन-लेवल से स्टेप-लेवल कंप्रेशन की ओर ले जाता है, जिससे एजेंट कमांड्स की सिंटैक्टिक अखंडता सुरक्षित रहती है।
इन्फरेंस-फ्री व्यवहार्यता: यह प्रदर्शित करता है कि एजेंटों के लिए उच्च-गुणवत्ता वाला कंप्रेशन महंगे, प्रति-स्टेप LLM कॉल्स की आवश्यकता नहीं रखता है, जिससे यह फ्रोजन, ब्लैक-बॉक्स बैकबोन्स के साथ तैनाती के लिए व्यवहार्य हो जाता है।
मजबूती (Robustness): सिमेंटिक सारांशीकरण (semantic summarization) के बजाय संरचनात्मक संरक्षण (फ्लोर) को प्राथमिकता देकर, AGORA उन विनाशकारी विफलता मोड से बचता है जो सामान्य-उद्देश्य वाले कंप्रेसर में देखे जाते हैं।

लेखक विनम्र रहते हुए नोट करते हैं कि AGORA एक सार्वभौमिक लागत विजेता नहीं है (लॉन्ग-ट्रैजेक्टरी सेटिंग्स में LLM-आधारित विधियां अक्सर शुद्ध $/task पर जीतती हैं), और उनका मूल्यांकन वाइड कॉन्फिडेंस इंटरवल्स ( $n=30$ ) के कारण पॉइंट एस्टीमेट्स पर निर्भर करता है। हालाँकि, वे दावा करते हैं कि AGORA एकमात्र व्यवहार्य इन्फरेंस-फ्री समाधान प्रदान करता है जो एक्शन ग्रामर को तोड़े बिना विविध एजेंट सेटिंग्स में उच्च प्रदर्शन बनाए रखता है।