💬 NLP

ATACompressor: Adaptive Task-Aware Compression for Efficient Long-Context Processing in LLMs

यह शोध पत्र ATACompressor को प्रस्तुत करता है, जो एक अनुकूली कार्य-जागरूक संपीड़न विधि है जो "लॉस्ट इन द मिडल" (बीच में खो जाने की) समस्या को कम करने के लिए केवल कार्य-प्रासंगिक अंशों को गतिशील रूप से चुनती और संपीड़ित करती है, जिससे यह QA बेंचमार्क पर संपीड़न दक्षता और कार्य प्रदर्शन दोनों में मौजूदा दृष्टिकोणों से बेहतर प्रदर्शन करती है।

मूल लेखक: Xuancheng Li, Haitao Li, Yujia Zhou, Qingyao Ai, Yiqun Liu

प्रकाशित 2026-02-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xuancheng Li, Haitao Li, Yujia Zhou, Qingyao Ai, Yiqun Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक प्रतिभाशाली लेकिन बहुत व्यस्त लाइब्रेरियन (लार्ज लैंग्वेज मॉडल, या LLM) है। वह सवाल पूछने में अद्भुत है, लेकिन उसकी एक समस्या है: यदि आप उसे एक विशिष्ट तथ्य खोजने के लिए 100 किताबों का ढेर थमा देते हैं, तो वह घबरा जाता है। वह शायद पहले कुछ पन्ने सरसरी निगाह से देख लेगा, बीच के अध्यायों में भटक जाएगा, और बीच में या ढेर के अंत में छिपे हुए महत्वपूर्ण उत्तर को पूरी तरह से मिस कर देगा। शोधकर्ता इसे "लॉस्ट इन द मिडिल" (बीच में खो जाना) की समस्या कहते है।

आमतौर पर, लाइब्रेरियन की मदद करने के लिए, हम उनके लिए किताबों का सारांश (summary) बनाने की कोशिश करते हैं। लेकिन मौजूदा समराइज़र (summarizers) में दो मुख्य कमियां हैं:

"कैंची" वाला दृष्टिकोण (हार्ड प्रॉम्प्ट्स): वे उन वाक्यों को काट देते हैं जिन्हें वे उबाऊ समझते हैं। यह सुरक्षित है, लेकिन अक्सर सारांश को वास्तव में कुशल होने के लिए बहुत लंबा छोड़ देता है।
"जादुई स्याही" वाला दृष्टिकोण (सॉफ्ट प्रॉम्प्ट्स): वे पूरी किताब को एक छोटे, अदृश्य कोड में बदल देते हैं। यह बहुत छोटा है, लेकिन क्योंकि वे आपके विशिष्ट प्रश्न को देखे बिना सब कुछ सारांशित करते हैं, इसलिए वे अनजाने में उस एक वाक्य को भी फेंक देते जिसकी आपको वास्तव में आवश्यकता थी।

यहाँ ATACompressor आता है, जो इस समस्या को ठीक करने के लिए डिज़ाइन किया गया एक नया टूल है। इसे एक स्मार्ट, एडेप्टिव असिस्टेंट (अनुकूलनशील सहायक) के रूप में समझें जो किताबों को खोलने से पहले ही लाइब्रेरियन की मदद करता है।

यहाँ बताया गया है कि ATACompressor कैसे काम करता है, जिसे तीन सरल चरणों में विभाजित किया गया है:

1. चयनात्मक पाठक (द "सिलेक्टिव एनकोडर")

पूरी किताब को शुरू से अंत तक पढ़ने के बजाय, यह सहायक पहले आपके विशिष्ट प्रश्न को देखता है।

उपमा: कल्पना कीजिए कि आपने पूछा, "घोड़े का रंग क्या था?" सहायक घोड़े के आहार, अस्तबल के इतिहास या घुड़सवार की जीवनी का सारांश नहीं बनाएगा। वे केवल उन्हीं वाक्यों को हाइलाइट करेंगे और रखेंगे जो घोड़े के रंग का उल्लेख करते हैं।
यह कैसे काम करता है: यह लंबे टेक्स्ट को स्कैन करता है, फालतू बातों को अनदेखा करता है, और केवल उन्हीं हिस्सों को संकुचित (compress) करता है जो वास्तव में आपके प्रश्न के लिए प्रासंगिक हैं। यह सुनिश्चित करता है कि "महत्वपूर्ण जानकारी" खो न जाए।

2. स्मार्ट बजट मैनेजर (द "एडेप्टिव एलोकेशन कंट्रोलर")

यह सबसे अनूठा हिस्सा है। अतीत में, कंप्रेशन टूल्स का एक "एक ही नियम सबके लिए" (जैसे, "हमेशा 1,000 शब्दों को 10 शब्दों में बदलें") होता था।

उपमा: कल्पना कीजिए कि आप एक यात्रा के लिए पैकिंग कर रहे हैं। यदि आप सप्ताहांत (weekend) के लिए जा रहे हैं, तो आपको एक छोटा बैकपैक चाहिए। यदि आप एक महीने के लिए जा रहे हैं, तो आपको एक बड़ा सूटकेस चाहिए। एक कठोर नियम आपको सप्ताहांत की यात्रा के लिए सूटकेस इस्तेमाल करने (जगह बर्बाद करना) या एक महीने की यात्रा के लिए बैकपैक इस्तेमाल करने (कपड़े पीछे छोड़ देना) के लिए मजबूर करेगा।
यह कैसे काम करता है: ATACompressor के पास एक "बजट मैनेजर" है जो उस प्रासंगिक टेक्स्ट को देखता है जिसे सिलेक्टिव रीडर ने खोजा है।
- यदि उत्तर एक छोटे पैराग्राफ में छिपा है, तो मैनेजर कहता है, "हमें बहुत कम जगह (कुछ टोकन) की आवश्यकता है।"
- यदि उत्तर एक लंबे अध्याय में फैला हुआ है, तो मैनेजर कहता है, "हमें एक बड़ा सूटकेस (अधिक टोकन) चाहिए।"
- यह गतिशील समायोजन सुनिश्चित करता है कि लाइब्रेरियन के पास काम करने के लिए बिल्कुल पर्याप्त जानकारी हो, न उससे अधिक और न ही कम।

3. परिणाम: एक पूरी तरह से पैक किया गया ब्रीफकेस

एक बार जब सहायक ने सही हिस्सों को चुन लिया हो और सही आकार तय कर लिया हो, तो वे उस जानकारी को टोकन के एक छोटे, घने "ब्रीफकेस" में संकुचित कर देते हैं। वे यह ब्रीफकेस लाइब्रेरियन को सौंप देते हैं।

क्योंकि ब्रीफकेस में केवल प्रासंगिक जानकारी है, इसलिए लाइब्रेरियन अभिभूत (overwhelmed) नहीं होता है।
क्योंकि ब्रीफकेस का आकार कार्य की जटिलता के अनुरूप है, इसलिए लाइब्रेरियन के पास सटीक उत्तर देने के लिए पर्याप्त विवरण होता है।

शोधपत्र ने क्या पाया

लेखकों ने इस प्रणाली का परीक्षण तीन अलग-अलग प्रकार के "रीडिंग टेस्ट" (डेटासेट जिन्हें HotpotQA, MSMARCO, और SQUAD कहा जाता है) पर किया।

बेहतर उत्तर: ATACompressor को इन परीक्षणों पर पिछले तरीकों की तुलना में उच्च स्कोर मिला। यह सही उत्तर खोजने में बेहतर था, विशेष रूप से बहुत लंबे टेक्स्ट में जहाँ अन्य तरीके विफल रहे।
अधिक कुशल: इसने महत्वपूर्ण हिस्सों को खोए बिना जानकारी को बहुत अधिक सघनता से संकुचित किया (उच्च कंप्रेशन रेशियो)।
तेज़: क्योंकि लाइब्रेरियन को कम "कचरा" पढ़ना था, इसलिए पूरी प्रक्रिया तेज़ थी।

संक्षेप में: ATACompressor एक स्मार्ट फ़िल्टर और एक लचीली पैकिंग प्रणाली के संयोजन की तरह है। यह आपके प्रश्न को पढ़ता है, केवल आवश्यक तथ्यों को पकड़ता है, उन्हें एक ऐसे आकार में पैक करता है जो काम के लिए बिल्कुल सही हो, और इसे AI को सौंप देता है ताकि वह शोर के बीच खोए बिना आपको सर्वोत्तम उत्तर दे सके।

तकनीकी सारांश: ATACompressor

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को लंबे संदर्भ (long-context) इनपुट को प्रोसेस करने में महत्वपूर्ण चुनौतियों का सामना करना पड़ता है, मुख्य रूप से "lost in the middle" की घटना, जहाँ अत्यधिक अनुक्रम लंबाई (sequence length) के कारण महत्वपूर्ण जानकारी कम हो जाती है या अनदेखी कर दी जाती है। जबकि रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) बाहरी संदर्भ प्रदान करता है, कच्चे दस्तावेज़ टोकन (raw document tokens) को जोड़ने वाले सरल दृष्टिकोण अक्सर मॉडल को अभिभूत कर देते हैं। मौजूदा संदर्भ संपीड़न (context compression) विधियाँ इसे कम करने का प्रयास करती हैं लेकिन विशिष्ट सीमाओं से ग्रस्त हैं:

हार्ड-प्रॉम्ट विधियाँ (जैसे, Selective-Context, LongLLMLingua) अप्रासंगिक टोकन को हटा देती हैं लेकिन आमतौर पर कम संपीड़न अनुपात (compression ratios) प्राप्त करती हैं।
सॉफ्ट-प्रॉम्ट विधियाँ (जैसे, AutoCompressor, ICAE, 500Compressor) टेक्स्ट को सघन टोकन अनुक्रमों (dense token sequences) में कंप्रेस करती हैं, जिससे उच्च संपीड़न अनुपात प्राप्त होता है। हालाँकि, वे अक्सर पूरे संदर्भ को बिना किसी भेदभाव के कंप्रेस करती हैं, जिससे कार्य-प्रासंगिक जानकारी (task-relevant information) के खो जाने का खतरा रहता है क्योंकि उनमें संपीड़न के दौरान कार्य-विशिष्ट जागरूकता (task-specific awareness) की कमी होती है। इसके अलावा, ये विधियाँ आमतौर पर एक निश्चित संख्या में कंप्रेस किए गए टोकनों का उपयोग करती हैं, जो विभिन्न कार्यों के अलग-अलग सूचना घनत्व (information density) के अनुसार गतिशील रूप से अनुकूलित होने में विफल रहती हैं।

कार्यप्रणाली (Methodology): ATACompressor

लेखक एडेप्टिव टास्क-अवेयर कंप्रेसर (ATACompressor) का प्रस्ताव करते हैं, जो एक ऐसा फ्रेमवर्क है जिसे विशिष्ट कार्य आवश्यकताओं के आधार पर संपीड़न को गतिशील रूप से समायोजित करने के लिए डिज़ाइन किया गया है। इस आर्किटेक्चर में तीन मुख्य घटक शामिल हैं: एक सेलेक्टिव एनकोडर (Selective Encoder), एक एडेप्टिव एलोकेशन कंट्रोलर (AAC), और एक लक्षित LLM (डिकोडर)।

1. सेलेक्टिव एनकोडर ( $\varphi$ )

पारंपरिक सॉफ्ट-प्रॉम्ट कंप्रेसर के विपरीत जो पूरे संदर्भ को प्रोसेस करते हैं, सेलेक्टिव एनकोडर को केवल संदर्भ के उन हिस्सों ( $\hat{C}_{Rel}$ ) को पहचानने और कंप्रेस करने के लिए डिज़ाइन किया गया है जो क्वेरी ( $Q$ ) के लिए प्रासंगिक हैं।

आर्किटेक्चर: यह एक फ्रोजन (frozen) लार्ज लैंग्वेज मॉडल (LLM) का उपयोग करता है जिसमें ट्रेन करने योग्य LoRA पैरामीटर्स होते हैं।
ग्रैनुलैरिटी हैंडलिंग (Granularity Handling): "प्रासंगिकता" की अस्पष्टता को दूर करने के लिए (जो वाक्य या दस्तावेज़ स्तर तक भिन्न हो सकती है), इनपुट संदर्भ को समान चंक्स (जैसे, पैसेज या वाक्य) में विभाजित किया जाता है जो प्रशिक्षण के दौरान ग्राउंड-ट्रुथ ग्रैनुलैरिटी के साथ संरेखित होते हैं। एनकोडर केवल उन्हीं चंक्स को बनाए रखने और कंप्रेस करने के लिए सीखता है जो क्वेरी का उत्तर देने के लिए आवश्यक हैं।
प्रक्रिया: एनकोडर संयोजित चंक्स और क्वेरी को प्रोसेस करता है, और प्रासंगिक जानकारी का प्रतिनिधित्व करने वाले एक संक्षिप्त कंप्रेस किए गए टोकन सेट ( $c_1, ..., c_k$ ) को आउटपुट के रूप में देता है।

2. एडेप्टिव एलोकेशन कंट्रोलर (AAC)

AAC मौजूदा सॉफ्ट-प्रॉम्ट विधियों की निश्चित संपीड़न दर (fixed compression rates) की सीमा को संबोधित करता है। यह प्रासंगिक सामग्री की अनुमानित लंबाई के आधार पर कंप्रेस किए गए टोकनों की संख्या ( $k$ ) को गतिशील रूप से निर्धारित करता है।

घटक: इसमें एक हल्का प्रोब ( $\zeta$ ) और एक पॉलिसी फंक्शन ( $\eta$ ) शामिल है।
तंत्र (Mechanism): जब सेलेक्टिव एनकोडर इनपुट को प्रोसेस कर लेता है, तो प्रोब प्रासंगिक टेक्स्ट की लंबाई ( $\hat{L}_{Rel}$ ) का अनुमान लगाने के लिए एनकोडर की हिडन स्टेट्स (hidden states) का विश्लेषण करता है। इसके बाद पॉलिसी फंक्शन एक पूर्व-निर्धारित पॉलिसी अनुपात ( $r$ ) का उपयोग करके कंप्रेस किए गए टोकनों की संख्या ( $k$ ) की गणना करता है:
$k = \min(\frac{\hat{L}_{Rel}}{r}, k_{max})$
लाभ: यह सिस्टम को कम प्रासंगिक स्पैन के लिए कम टोकन और लंबे स्पैन के लिए अधिक टोकन आवंटित करने की अनुमति देता है, जिससे आवश्यक जानकारी को सुरक्षित रखते हुए संसाधनों का अनुकूलन होता है।

3. ट्रेनिंग और इन्फरेंस वर्कफ़्लो

प्रीट्रेनिंग (Pretraining): सेलेक्टिव एनकोडर और प्रोब को संयुक्त रूप से ऑप्टिमाइज़ किया जाता है। एनकोडर को क्रॉस-एन्ट्रॉपी लॉस का उपयोग करके प्रासंगिक संदर्भ (ग्राउंड-ट्रुथ) को पुनर्गठित (reconstruct) करने के लिए प्रशिक्षित किया जाता है, जबकि प्रोब को हबर लॉस (Huber loss) का उपयोग करके प्रासंगिक टेक्स्ट की लंबाई का अनुमान लगाने के लिए प्रशिक्षित किया जाता है।
फाइनट्यूनिंग (Finetuning): सेलेक्टिव एनकोडर को डाउनस्ट्रीम कार्यों (जैसे, QA) पर और अधिक प्रशिक्षित किया जाता है जहाँ लक्षित LLM कंप्रेस किए गए की-वैल्यू (KV) रिप्रजेंटेशन के आधार पर उत्तर उत्पन्न करता है।
इन्फरेंस (Inference): सिस्टम समानांतर (parallel) तरीके से काम करता है। जैसे ही सेलेक्टिव एनकोडर इनपुट को प्रोसेस करता है, AAC पहले कंप्रेस किए गए टोकन के जेनरेट होने से पहले ही आवश्यक टोकन काउंट ( $k$ ) का अनुमान लगा लेता है, जिससे ऑटोरिग्रेसिव फ्लो (autoregressive flow) में कोई बाधा नहीं आती है।

मुख्य योगदान (Key Contributions)

टास्क-अवेयर कंप्रेशन: एक सेलेक्टिव एनकोडर का परिचय जो केवल कार्य-प्रासंगिक सामग्री को फ़िल्टर और कंप्रेस करता है, जिससे ग्लोबल कंप्रेशन विधियों में होने वाली महत्वपूर्ण जानकारी के नुकसान को रोका जा सकता है।
एडेप्टिव रिसोर्स एलोकेशन: एक AAC का विकास जो प्रासंगिक सामग्री की अनुमानित लंबाई के आधार पर संपीड़न दर को गतिशील रूप से समायोजित करता है, जो फिक्स्ड-टोकन बाधाओं से आगे बढ़ता है।
ग्रैनुलैरिटी-अवेयर ट्रेनिंग: प्रशिक्षण के दौरान संदर्भ को समान चंक्स में प्री-सेगमेंट करने के माध्यम से अलग-अलग एनोटेशन ग्रैनुलैरिटी (वाक्य बनाम दस्तावेज़ स्तर) को संभालने की एक रणनीति, जो एनकोडर की अनुकूलन क्षमता को बढ़ाती है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने LLaMA-2-7B और Qwen-2-7B को बैकबोन मॉडल के रूप में उपयोग करते हुए तीन QA बेंचमार्क: HotpotQA (दस्तावेज़ स्तर), MSMARTO (पैसेज स्तर), और SQUAD (वाक्य स्तर) पर ATACompressor का मूल्यांकन किया।

प्रदर्शन (Performance): ATACompressor ने दोनों एक्जैक्ट मैच (EM) और F1 स्कोर में स्टेट-ऑफ-द-आर्ट बेसलाइन्स (जिसमें Selective-Context, LongLLMLingua, AutoCompressor, ICAE, 500Compressor, और QGC शामिल हैं) को लगातार पछाड़ा। उदाहरण के लिए, Qwen-2-7B के साथ HotpotQA पर, इसने 72.36 के अगले सर्वश्रेष्ठ मेथड (QGC) की तुलना में 80.23 का F1 प्राप्त किया।
दक्षता (Efficiency): विधि ने प्रतिस्पर्धी थ्रूपुट (TP) बनाए रखते हुए उच्च कंप्रेशन रेश्यो (CR) (लगभग ~27x तक) प्राप्त किया। इसने QGC जैसे तरीकों की तुलना में बेहतर दक्षता दिखाई, जो जटिल बाहरी रिट्रिवर्स (external retrievers) पर निर्भर करते हैं।
एब्लेशन स्टडीज (Ablation Studies): AAC को हटाने (फिक्स्ड टोकन काउंट) या सेलेक्टिव एनकोडर को हटाने (पूरे संदर्भ को कंप्रेस करना) से प्रदर्शन में भारी गिरावट आई, जो दोनों घटकों की आवश्यकता की पुष्टि करता है।
मजबूती (Robustness): मॉडल ने कम टोकन वाले परिदृश्यों में भी प्रदर्शन स्थिरता बनाए रखी और बेसलाइन्स से बेहतर प्रदर्शन किया। इसने LongBench कार्यों (Summary और Few-shot) पर भी मजबूत सामान्यीकरण (generalization) दिखाया।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि ATACompressor LLMs में कुशल लॉन्ग-कॉन्टेक्स्ट प्रोसेसिंग के लिए एक स्केलेबल समाधान प्रदान करता है। कंप्रेशन प्रक्रिया में टास्क अवेयरनेस को एकीकृत करके और संसाधनों को गतिशील रूप से आवंटित करके, यह सूचना संरक्षण और कंप्रेशन दक्षता के बीच के संतुलन को प्रभावी ढंग से प्रबंधित करता है। लेखकों का कहना है कि यह दृष्टिकोण न केवल "lost in the middle" की समस्या को कम करता है, बल्कि इन्फरेंस लागत और लेटेंसी को भी कम करता है, जिससे यह बिना किसी अंडरलाइंग LLM के आर्किटेक्चरल बदलाव के, रियल-टाइम और बड़े पैमाने के अनुप्रयोगों के लिए उपयुक्त बन जाता है। यह कार्य RAG और लॉन्ग-कॉन्टेक्स्ट LLM अनुप्रयोगों को अधिक व्यावहारिक और प्रभावी बनाने की दिशा में एक कदम के रूप में प्रस्तुत किया गया है।