← नवीनतम पेपर
💬 NLP

End-to-End Context Compression at Scale

यह शोधपत्र लेटेंट कॉन्टेक्स्ट लैंग्वेज मॉडल्स (LCLMs) को प्रस्तुत करता है, जो विशाल डेटासेट पर प्रशिक्षित एनकोडर-डिकोडर कंप्रेसर का एक परिवार है, जो मॉडल की उच्च गुणवत्ता बनाए रखते हुए मेमोरी उपयोग और संपीड़न समय को कम करके लॉन्ग-कॉन्टेक्स्ट इन्फरेंस के लिए सटीकता-दक्षता सीमा (accuracy-efficiency frontier) में महत्वपूर्ण सुधार करता है।

मूल लेखक: Ang Li, Sean McLeish, Haozhe Chen, Nimit Kalra, Zaiqian Chen, Artem Gazizov, Venkata Anoop Suhas Kumar Morisetty, Bhavya Kailkhura, Harshitha Menon, Zhuang Liu, Brian R. Bartoldson, Tom Goldstein, San
प्रकाशित 2026-06-09
📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें
CC BY 4.0

मूल लेखक: Ang Li, Sean McLeish, Haozhe Chen, Nimit Kalra, Zaiqian Chen, Artem Gazizov, Venkata Anoop Suhas Kumar Morisetty, Bhavya Kailkhura, Harshitha Menon, Zhuang Liu, Brian R. Bartoldson, Tom Goldstein, Sanae Lotfi, Micah Goldblum, Pavel Izmailov

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक शानदार, अत्यंत बुद्धिमान सहायक (एक लार्ज लैंग्वेज मॉडल) है जो लाखों पन्नों के टेक्स्ट को पढ़ सकता है। समस्या यह है कि इसका "वर्किंग मेमोरी" (जैसे कि एक छोटी नोटबुक) बहुत कम है। हर बार जब आप इसे कोई लंबा दस्तावेज़ पढ़ने के लिए देते हैं, तो इसे उस दस्तावेज़ का हर एक शब्द अपनी नोटबुक में लिखना पड़ता है ताकि वह उसे याद रख सके। यदि दस्तावेज़ बहुत लंबा है, तो नोटबुक भर जाती है, सहायक अभिभूत (overwhelmed) हो जाता है, और यह प्रक्रिया अविश्वसनीय रूप से धीमी और महंगी हो जाती है।

यह शोध पत्र लेटेंट कॉन्टेक्स्ट लैंग्वेज मॉडल्स (LCLMs) नामक एक नया टूल पेश करता है जो इस समस्या को हल करता है। LCLMs को एक अत्यधिक कुशल "समराइज़र" (सारांश बनाने वाला) या "कंप्रेशन एक्सपर्ट" के रूप में समझें जो आपके और सहायक के बीच बैठा है।

यह कैसे काम करता है, सरल उपमाओं (analogies) का उपयोग करके यहाँ दिया गया है:

1. समस्या: "नोटबुक" की बाधा (The "Notepad" Bottleneck)

वर्तमान में, यदि आप किसी AI को 100 पन्नों की किताब पढ़ने के लिए कहते हैं, तो वह उन 100 पन्नों के हर एक शब्द को अपनी सक्रिय मेमोरी (KV कैश) में रखने की कोशिश करता है।

  • उपमा: कल्पना कीजिए कि आप मैराथन दौड़ते समय अपनी जेब में 100 पन्नों की किताब लेकर दौड़ने की कोशिश कर रहे हैं। यह भारी है, यह आपको धीमा कर देता है, और अंततः आपकी जेब फट जाती है (मेमोरी खत्म हो जाती है)।
  • पुराने समाधान: पिछले तरीकों ने उन पन्नों को हटाने की कोशिश की जिन्हें वे महत्वहीन समझते थे (जैसे कि अध्याय हटा देना) या उन्होंने फॉन्ट का आकार छोटा करने की कोशिश की। लेकिन इससे अक्सर सहायक महत्वपूर्ण विवरण भूल जाता था या इसे "एडिट" करने में इतना अधिक समय लगता था कि यह फायदेमंद नहीं था।

2. समाधान: "स्मार्ट कंप्रेशन" (LCLM)

लेखकों ने एक ऐसा सिस्टम बनाया है जो केवल शब्दों को हटाता नहीं है; बल्कि यह किताब को एक अत्यधिक सघन (condensed), गुप्त कोड में अनुवाद (translate) करता है।

  • एन्कोडर (द ट्रांसलेटर): यह एक छोटा, विशिष्ट AI है जो आपके टेक्स्ट के टुकड़ों (जैसे कि एक पैराग्राफ एक बार में) को पढ़ता है और उन्हें एक एकल, सघन "थॉट टोकन" (thought token) में बदल देता है।
    • उपमा: सहायक को पूरी 100 पन्नों की किताब देने के बजाय, एन्कोडर एक पेज पढ़ता है और पूरे पेज के अर्थ को समाहित करने वाला केवल एक सटीक वाक्य लिखता है। यह पूरी किताब के लिए ऐसा करता है, जिससे 100 पन्ने केवल 10 वाक्यों में बदल जाते हैं।
  • डिकोडर (द असिस्टेंट): यह मुख्य AI है जिसका आप उपयोग करना चाहते हैं। इसे 100 पन्नों के बजाय ये 10 संकुचित (compressed) वाक्य प्राप्त होते हैं। क्योंकि "नोटबुक" अब बहुत छोटी है, सहायक इसे तुरंत पढ़ सकता है, कम ऊर्जा का उपयोग कर सकता है, और फिर भी कहानी को समझ सकता है।

3. उन्होंने इसे कैसे बनाया (द "रेसिपी")

लेखकों ने केवल अनुमान नहीं लगाया कि इसे कैसे बनाया जाए; उन्होंने सही रेसिपी खोजने के लिए हजारों विविधताओं का परीक्षण किया।

  • "मीन" बनाम "कॉनकेट" टेस्ट: उन्होंने जानकारी को संयोजित करने के विभिन्न तरीकों का परीक्षण किया।
    • उपमा: कल्पना कीजिए कि आपके पास सूप के लिए 16 सामग्रियां हैं।
      • विकल्प A (Concat): आप सभी 16 सामग्रियों को एक बड़े कटोरे में अलग-अलग रखते हैं।
      • विकल्प B (Mean): आप सभी 16 सामग्रियों को एक चिकने, समृद्ध शोरबे (broth) में मिला देते हैं।
    • उन्होंने पाया कि बहुत लंबे टेक्स्ट के लिए, उन्हें मिलाना (Mean Pooling) सबसे अच्छा काम करता है, जिससे एक चिकना, सूचना-सघन "शोरबा" बनता है जिसे सहायक आसानी से पचा सकता है।
  • ट्रेनिंग: उन्होंने इस सिस्टम को भारी मात्रा में डेटा (350 बिलियन शब्द) खिलाकर सिखाया, जिसमें सामान्य टेक्स्ट और संकुचित टेक्स्ट के बीच बारी-बारी से बदलाव किया गया। इसने सिस्टम को यह सिखाया कि कैसे मूल टेक्स्ट के "स्वाद" को बनाए रखा जाए, भले ही उसे सिकोड़ दिया गया हो।

4. परिणाम: तेज़, हल्का और स्मार्ट

शोध पत्र का दावा है कि उनका नया सिस्टम एक "नया क्षितिज" बनाता है जहाँ आपको दोनों दुनियाओं का सर्वश्रेष्ठ मिलता है:

  • गति: यह लंबे दस्तावेज़ों को प्रोसेस करने में काफी तेज़ है।
    • उपमा: लाइब्रेरी में किताब खोजने के लिए पैदल चलने के बजाय, LCLM सहायक को एक नक्शा देता है जो सीधे सही शेल्फ की ओर इशारा करता है।
  • मेमोरी: यह बहुत कम कंप्यूटर मेमोरी का उपयोग करता है।
    • उपमा: अब आप एक व्हीलबैरो के बजाय अपने बैकपैक में पूरी लाइब्रेरी ले जा सकते हैं।
  • सटीकता: पुराने तरीकों के विपरीत, जो सहायक को "मूर्ख" या भुलक्कड़ बना देते थे, LCLMs उनकी बुद्धिमत्ता को उच्च बनाए रखते हैं। वे अभी भी कठिन सवालों के जवाब दे सकते हैं और टेक्स्ट में छिपे विशिष्ट विवरणों को ढूंढ सकते हैं।

5. "एजेंट" फीचर: "एक्सपैंड" बटन

यह पेपर यह भी दिखाता है कि यह AI एजेंटों (जो कार्य करने वाले रोबोट हैं) के लिए कैसे काम करता है।

  • परिदृश्य: कल्पना कीजिए कि एक एजेंट को एक विशाल कोडबेस (एक बहुत बड़ा सॉफ्टवेयर प्रोजेक्ट) में एक विशिष्ट बग ढूंढने की आवश्यकता है।
  • ट्रिक: एजेंट पहले पूरे कोडबेस के संकुचित (compressed) संस्करण को पढ़ता है ताकि एक "बर्ड्स-आई व्यू" (ऊपर से व्यापक दृश्य) प्राप्त किया जा सके। वह सामान्य संरचना को देखता है और जानता है कि समस्या कहाँ हो सकती है।
  • "एक्सपैंड" टूल: एक बार जब एजेंट संकुचित दृश्य में किसी संदिग्ध क्षेत्र को पहचान लेता है, तो वह उस विशिष्ट अनुभाग को "एक्सपैंड" (विस्तार) करने के लिए बटन दबा सकता है। सिस्टम फिर उस छोटे से हिस्से को पूर्ण, विस्तृत टेक्स्ट में अनपैक कर देता है ताकि एजेंट बग को सटीक रूप से ठीक कर सके।
  • उपमा: यह शहर के नक्शे को देखकर सही पड़ोस खोजने जैसा है, और फिर ज़ूम इन करके गली का पता देखने जैसा है। आपको एक समय में पूरे शहर की हर गली देखने की ज़रूरत नहीं है; आप बस ज़रूरत पड़ने पर ज़ूम इन करते हैं।

सारांश

यह शोध पत्र AI के लिए भारी मात्रा में टेक्स्ट को संभालने का एक नया तरीका प्रस्तुत करता है। AI को कच्चे डेटा का भारी, बोझिल भार उठाने के लिए मजबूर करने के बजाय, वे डेटा को हल्के, उच्च-गुणवत्ता वाले सारांश में सिकोड़ने के लिए एक स्मार्ट "कंप्रेशन एक्सपर्ट" का उपयोग करते हैं। यह AI को विवरणों को समझने की क्षमता खोए बिना, कम मेमोरी के साथ, तेज़ गति से लंबे दस्तावेज़ पढ़ने की अनुमति देता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →

इसी तरह के और पेपर

इस विषय के सभी पेपर देखें 💬 cs.CL →