💬 NLP

Attn-GS: Attention-Guided Context Compression for Efficient Personalized LLMs

Attn-GS एक अटेंशन-गाइडेड कॉन्टेक्स्ट कंप्रेशन फ्रेमवर्क है जो प्रमुख पर्सनलाइजेशन सिग्नल्स की पहचान करने के लिए LLM अटेंशन पैटर्न्स का लाभ उठाता है, जिससे उच्च-गुणवत्ता वाले, कार्य-प्रासंगिक यूजर प्रोफाइल्स का निर्माण सक्षम होता है जो पूर्ण कॉन्टेक्स्ट का उपयोग करने के प्रदर्शन के करीब रहते हुए टोकन के उपयोग को महत्वपूर्ण रूप से कम कर देता है।

मूल लेखक: Shenglai Zeng, Tianqi Zheng, Chuan Tian, Dante Everaert, Yau-Shian Wang, Yupin Huang, Michael J. Morais, Rohit Patki, Jinjin Tian, Xinnan Dai, Kai Guo, Monica Xiao Cheng, Hui Liu

प्रकाशित 2026-02-10

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Shenglai Zeng, Tianqi Zheng, Chuan Tian, Dante Everaert, Yau-Shian Wang, Yupin Huang, Michael J. Morais, Rohit Patki, Jinjin Tian, Xinnan Dai, Kai Guo, Monica Xiao Cheng, Hui Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक व्यक्तिगत सहायक है जो अविश्वसनीय रूप से बुद्धिमान है लेकिन उसकी मेज बहुत छोटी है।

हर बार जब आप उनसे सलाह मांगते हैं—जैसे "मुझे आज रात कौन सी फिल्म देखनी चाहिए?" या "मेरा शोध पत्र (research paper) का शीर्षक लिखने में मदद करें"—तो आप चाहते हैं कि वे आपके बारे में सब कुछ याद रखें: आपकी पसंदीदा शैलियाँ (genres), आपकी पिछली रेटिंग्स, आपकी लेखन शैली, और यहाँ तक कि आपकी उम्र भी। लेकिन एक समस्या है: आपकी जीवन कहानी किताबों के एक विशाल पुस्तकालय की तरह है, और उनकी मेज केवल एक स्टिकी नोट (sticky note) रखने के लिए पर्याप्त बड़ी है।

यदि वे केवल आपकी हालिया बातों को उठाते हैं ("हालिया इंटरैक्शन" विधि), तो वे भूल सकते हैं कि आपको वास्तव में हॉरर फिल्में पसंद नहीं हैं। यदि वे सब कुछ एक साथ संक्षेप में लिखने की कोशिश करते हैं ("सारांश" विधि), तो वे अनजाने में आपके जटिल व्यक्तित्व को एक उबाऊ, सामान्य पैराग्राफ में बदल सकते हैं जो आपके "स्पार्क" (spark) को खो देता है।

यह पेपर Attn-GS नामक एक समाधान पेश करता है।

उपमा: "हाइलाइटर" विधि

Attn-GS को अपने सहायक को "एक्स-रे चश्मे" और एक "जादुई हाइलाइटर" देने के रूप में सोचें।

एक्स-रे चश्मे (मार्किंग मॉडल): एक सामान्य व्यक्ति की तरह केवल आपके इतिहास को पढ़ने के बजाय, सहायक एक विशेष चश्मा पहन लेता है। ये चश्मे उन्हें यह देखने की अनुमति देते हैं कि पढ़ते समय उनका अपना मस्तिष्क वास्तव में कहाँ "चमक" (light up) रहा है। वे महसूस करते हैं, "अरे, हर बार जब मैं किसी फिल्म के शीर्षक या रेटिंग को पढ़ता हूँ, तो मेरा मस्तिष्क उत्साहित हो जाता है और तीव्रता से ध्यान केंद्रित करता है। लेकिन जब मैं रिलीज का वर्ष पढ़ता हूँ, तो मेरा ध्यान थोड़ा भटक जाता है।" इसे ही शोधकर्ता "अटेंशन पैटर्न" (Attention Patterns) कहते हैं।
जादुई हाइलाइटर (मार्किंग स्टेज): उन एक्स-रे चश्मों का उपयोग करते हुए, सहायक आपके विशाल पुस्तकालय में जाता है और केवल उन्हीं वाक्यों को हाइलाइट करता है जिन्होंने उनके मस्तिष्क को चमकाया था। वे केवल हालिया वाक्यों को नहीं चुन रहे हैं; वे अर्थपूर्ण वाक्यों को चुन रहे हैं।
मास्टर समराइज़र (कंप्रेशन स्टेज): अंत में, सहायक उन हाइलाइट किए गए "सुनहरे टुकड़ों" (golden nuggets) को लेता है और उस छोटे से स्टिकी नोट पर एक छोटा, अत्यंत सघन "चीट शीट" (Cheat Sheet) लिखता है। क्योंकि उन्हें बताया गया था, "हाइलाइट किए गए हिस्सों पर ध्यान केंद्रित करें!", इसलिए सारांश केवल एक सामान्य धुंधलापन नहीं है—यह आपके वास्तविक स्वरूप का एक केंद्रित सार है।

यह एक बड़ी बात क्यों है?

यह अविश्वसनीय रूप से कुशल है: शोधकर्ताओं ने पाया कि वे उपयोगकर्ता के इतिहास को 50 गुना तक सिकोड़ सकते थे (10,000 टोकन को केवल 200 में कम करना) और फिर भी AI को उतना ही स्मार्ट रख सकते थे जितना कि यदि उसने पूरा पुस्तकालय पढ़ा होता।
यह "अनुमान लगाने" से बेहतर है: अधिकांश AI केवल टेक्स्ट के बारे में "गहराई से सोचने" के माध्यम से सारांश निकालने की कोशिश करते हैं। Attn-GS अलग है क्योंकि यह AI के अपने आंतरिक "फोकस संकेतों" (attention) का उपयोग यह तय करने के लिए करता है कि क्या महत्वपूर्ण है। यह एक ऐसे छात्र की तरह है जो केवल पाठ्यपुस्तक नहीं पढ़ता, बल्कि विशेष रूप से उन हिस्सों को देखता है जिन पर शिक्षक ने कक्षा में जोर दिया था।
यह पैसा और समय बचाता है: क्योंकि "स्टिकी नोट" बहुत छोटा है, AI बहुत तेज़ी से प्रतिक्रिया दे सकता है और इसे चलाने में लागत भी बहुत कम आती है, जिससे यह व्यक्तिगत खरीदारी या स्मार्ट असिस्टेंट जैसे वास्तविक दुनिया के ऐप्स के लिए व्यावहारिक बन जाता है।

संक्षेप में: Attn-GS AI को सब कुछ एक रोबोट की तरह पढ़ना बंद करने और वास्तव में क्या मायने रखता है उसे "नोटिस" करना सिखाता है, जिससे वह एक विशाल डेस्क की आवश्यकता के बिना आपके सार को याद रख सकता है।

तकनीकी सारांश: Attn-GS: कुशल व्यक्तिगत LLMs के लिए अटेंशन-गाइडेड कॉन्टेक्स्ट कंप्रेशन

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को व्यक्तिगत बनाने (Personalizing) के लिए, प्रतिक्रियाओं को अनुकूलित करने हेतु विस्तृत उपयोगकर्ता इंटरैक्शन इतिहास और प्रोफाइल प्रदान करने की आवश्यकता होती है। हालाँकि, यह दो प्रमुख चुनौतियाँ पेश करता है:

संसाधन संबंधी बाधाएँ (Resource Constraints): लंबे कॉन्टेक्स्ट के कारण इन्फरेंस लेटेंसी (inference latency) बढ़ जाती है और API लागत में वृद्धि होती है, जिससे वास्तविक समय में तैनाती (real-time deployment) अव्यावहारिक हो जाती है।
सूचनात्मक शोर (Information Noise): सभी ऐतिहासिक डेटा किसी विशिष्ट कार्य के लिए प्रासंगिक नहीं होता है। सभी संकेतों को बिना सोचे-समझे शामिल करने से शोर उत्पन्न हो सकता है और प्रदर्शन में गिरावट आ सकती है।

मौजूदा समाधान आमतौर पर ह्यूरिस्टिक विधियों (जैसे, केवल हालिया इंटरैक्शन चुनना) या प्रॉम्प्ट-आधारित सारांशीकरण (summarization) का उपयोग करते हैं। लेखक तर्क देते हैं कि ये विधियाँ कॉन्टेक्स्ट को एक "एकल अखंड इकाई" (monolithic whole) के रूप में मानती हैं और विशिष्ट जानकारी को प्राथमिकता देने की LLM की आंतरिक क्षमता का लाभ उठाने में विफल रहती हैं।

2. कार्यप्रणाली (Methodology)

लेखक Attn-GS का प्रस्ताव करते हैं, जो एक अटेंशन-गाइडेड कॉन्टेक्स्ट कंप्रेशन फ्रेमवर्क है। मुख्य अंतर्दृष्टि यह है कि एक LLM का आंतरिक अटेंशन पैटर्न स्वाभाविक रूप से प्रकट करता है कि कौन से निजीकरण संकेत (personalization signals) दिए गए कार्य के लिए सबसे अधिक प्रासंगिक हैं। यह फ्रेमवर्क दो अलग-अलग चरणों में कार्य करता है:

चरण 1: महत्वपूर्ण निजीकरण वाक्य अंकन (Critical Personalization Sentence Marking)

मार्किंग मॉडल ( $\Phi_{Mark}$ ): एक "व्हाइट-बॉक्स" LLM (जो अटेंशन वेट्स तक पहुँच की अनुमति देता है) का उपयोग उपयोगकर्ता इतिहास ( $H$ ) और कार्य विवरण ( $T$ ) को प्रोसेस करने के लिए किया जाता है।
अटेंशन निष्कर्षण (Attention Extraction): मॉडल विशिष्ट परतों (आमतौर पर मध्यवर्ती परतों) से टोकन-स्तरीय अटेंशन स्कोर निकालता है। इन स्कोर्स को वाक्य-स्तरीय स्कोर में एकत्रित किया जाता है।
थ्रेशोल्ड-आधारित फ़िल्टरिंग: वे वाक्य जिनका औसत अटेंशन स्कोर एक निश्चित थ्रेशोल्ड ( $\alpha \times \text{max\_score}$ ) से अधिक होता है, उन्हें "महत्वपूर्ण" के रूप में पहचाना जाता है।
स्पष्ट अंकन (Explicit Marking): इन महत्वपूर्ण वाक्यों को विशेष टैग (जैसे, <start_important> और <end_important>) के भीतर लपेटा जाता है ताकि एक संशोधित कॉन्टेक्स्ट ( $H^*$ ) बनाया जा सके।

चरण 2: चिह्नित कॉन्टेक्स्ट पर आधारित सारांशीकरण (Summarization Based on Marked Context)

समरी मॉडल ( $\Phi_{Sum}$ ): दूसरा LLM चिह्नित कॉन्टेक्स्ट ( $H^*$ ) और टैग किए गए वाक्यों को प्राथमिकता देने के लिए एक विशिष्ट निर्देश प्राप्त करता है।
बाधा संतुष्टि (Constraint Satisfaction): मॉडल एक संक्षिप्त, उच्च-गुणवत्ता वाला उपयोगकर्ता प्रोफाइल ( $G$ ) उत्पन्न करता है जो एक पूर्व-निर्धारित टोकन सीमा ( $m$ ) के भीतर फिट बैठता है, यह सुनिश्चित करते हुए कि संपीड़ित (compressed) संस्करण में सबसे महत्वपूर्ण संकेत सुरक्षित रहें।

3. मुख्य योगदान (Key Contributions)

अनुभवजन्य खोज (Empirical Discovery): पेपर प्रारंभिक अध्ययन प्रदान करता है जो सिद्ध करता है कि (a) LLM अटेंशन पैटर्न स्वाभाविक रूप से महत्वपूर्ण और महत्वहीन निजीकरण संकेतों के बीच अंतर कर सकते हैं, और (b) मार्किंग मॉडल को फाइन-ट्यून करने से इस विभेदक क्षमता (discriminative ability) में काफी वृद्धि होती है।
नवाचारी फ्रेमवर्क: दो-चरणीय "मार्क-देन-समराइज" (Mark-then-Summarize) पाइपलाइन का परिचय, जो बाहरी सारांशीकरण को निर्देशित करने के लिए आंतरिक मॉडल संकेतों का उपयोग करता है।
दक्षता-प्रदर्शन संतुलन (Efficiency-Performance Balance): एक विधि जो उच्च-निष्ठा (high-fidelity) संपीड़न प्राप्त करती है, "फुल कॉन्टेक्स्ट" बेसलाइन के प्रदर्शन के करीब बनी रहती है, जबकि टोकन की संख्या को भारी रूप से कम कर देती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

फ्रेमवर्क का मूल्यांकन दो डेटासेट्स पर किया गया: MovieLens-1M (मूवी रिकमेंडेशन) और LaMP-5 (पर्सनलाइज्ड टाइटल जनरेशन)।

इन्फरेंस-ओनली सेटिंग (Inference-Only Setting): Attn-GS ने लगातार सभी बेसलाइन्स (Truncation, Direct Summary, CoT, Self-Reflection, और Prompt-based identification) को पीछे छोड़ दिया। इसने केवल 200 टोकन का उपयोग करते हुए फुल कॉन्टेक्स्ट (10,000 टोकन का उपयोग करते हुए) के प्रदर्शन के 1.8% के भीतर प्रदर्शन हासिल किया—जो टोकन उपयोग में 50 गुणा कमी है।
ट्रेनिंग और इन्फरेंस सेटिंग: जब इसे एक जनरेटर मॉडल ( $\Phi_G$ ) को प्रशिक्षित करने के लिए उपयोग किया गया, तो Attn-GS ने बेसलाइन्स की तुलना में बहुत उच्च गुणवत्ता वाले संपीड़ित कॉन्टेक्स्ट प्रदान किए, जिससे डाउनस्ट्रीम टास्क सटीकता में श्रेष्ठता मिली।
एब्लेशन स्टडीज (Ablation Studies):
- थ्रेशोल्ड ( $\alpha$ ): एक मध्यम थ्रेशोल्ड (0.2–0.4) इष्टतम है।
- परतें (Layers): मार्किंग के लिए LLM की मध्यवर्ती परतें सबसे प्रभावी हैं, क्योंकि शुरुआती परतें सिंटैक्स (syntax) पर ध्यान केंद्रित करती हैं और अंतिम परतें जनरेशन पर, जबकि मध्यवर्ती परतें सिमेंटिक महत्व (semantic importance) को कैप्चर करती हैं।
दक्षता (Efficiency): अन्य बेसलाइन विधियों की तुलना में, Attn-GS को समान सटीकता स्तर तक पहुँचने के लिए 7 गुणा कम टोकन की आवश्यकता पड़ी।

5. महत्व (Significance)

Attn-GS कुशल, दीर्घकालिक निजीकरण (long-term personalization) की ओर एक महत्वपूर्ण कदम है। "ब्लैक-बॉक्स" सारांशीकरण से हटकर "व्हाइट-बॉक्स" अटेंशन-गाइडेड कंप्रेशन की ओर बढ़कर, लेखक प्रदर्शित करते हैं कि हम कॉन्टेक्स्ट विंडो की बाधा को हल करने के लिए अपने स्वयं के आंतरिक तर्क (internal reasoning) का उपयोग कर सकते हैं। यह दृष्टिकोण अत्यधिक स्केलेबल है और सीधे वास्तविक उत्पादन वातावरण (production environments) में लागू किया जा सकता है जहाँ उपयोगकर्ता अनुभव के लिए लेटेंसी और API लागत को कम करना महत्वपूर्ण है।