Parallel Context Compaction for Long-Horizon LLM Agent Serving
यह शोध पत्र **पैरेलल कॉन्टेक्स्ट कॉम्पेक्शन (parallel context compaction)** को प्रस्तुत करता है, जो लॉसवी (lossy) और अप्रत्याशित अनुक्रमिक सारांशीकरण के स्थान पर एक समानांतर दृष्टिकोण (parallelized approach) का उपयोग करता है ताकि सारांश की मात्रा पर सूक्ष्म नियंत्रण प्रदान किया जा सके, साथ ही लॉन्ग-होरिज़न एलएलएम एजेंटों (long-horizon LLM agents) के लिए वॉल टाइम (wall time) को काफी कम करते हुए थ्रूपुट में सुधार किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शानदार जासूस (AI एजेंट) हैं जो एक विशाल, बहु-स्तरीय रहस्य को सुलझा रहे हैं। हर बार जब आप कोई प्रश्न पूछते हैं या कोई सुराग मिलता है, तो आप उसे एक बड़ी नोटबुक में लिख देते हैं। जैसे-जैसे मामला आगे बढ़ता है, आपकी नोटबुक मोटी और मोटी होती जाती है।
अंततः, नोटबुक इतनी विशाल हो जाती है कि:
- इसे उठाना बहुत भारी हो जाता है: जासूस को नए सुरागों तक पहुँचने से पहले किताब का शुरुआती हिस्सा पढ़ने में ही थकान होने लगती है (इसे "कॉन्टेक्स्ट रॉट" या संदर्भ क्षय कहा जाता है)।
- यह ब्रीफकेस में नहीं समाती: नोटबुक उस आकार की सीमा से बड़ी हो जाती है जिसे जासूस को अपने ब्रीफकेस में रखने की अनुमति है (इसे "कॉन्टेक्स्ट विंडो" कहा जाता है)।
इसे ठीक करने के लिए, जासूस आमतौर पर रुकता है और एक लेखक (LLM) से पूरी नोटबुक को एक छोटी, 1-पेज की 'चीट शीट' में सारांशित (summarize) करने के लिए कहता है। लेकिन आपके द्वारा दी गई जानकारी बताती है कि इस पारंपरिक तरीके में तीन बड़ी समस्याएँ हैं, और फिर यह "पैरेलल कॉम्पेक्शन" (Parallel Compaction) नामक एक चतुर नया समाधान पेश करती है।
यहाँ सरल शब्दों में इसका विवरण दिया गया है:
समस्या: "वन-साइज़-फिट्स-ऑल" सारांश
लेखकों ने पाया कि सारांशित करने का पारंपरिक तरीका तीन विशिष्ट तरीकों से टूटा हुआ है:
- लंबाई का "ब्लैक बॉक्स": आप लेखक से कह सकते हैं, "इस सारांश को बहुत विस्तृत बनाओ!" या "इसे बहुत छोटा बनाओ!" लेकिन लेखक आपकी बात अनसुनी कर देता है। मूल नोटबुक कितनी भी लंबी क्यों न हो (2 पेज या 200 पेज), लेखक हमेशा एक लगभग समान आकार का सारांश लिखता है (लगभग आधा पेज)। उनके पास प्रशिक्षण से एक "मानसिक नियम" होता है कि, "एक सारांश हमेशा इतना ही लंबा होता है," और वे इसे बदलते नहीं हैं।
- "वेट टाइम" (प्रतीक्षा समय) की बाधा: क्योंकि लेखक को एक भी शब्द लिखने से पहले पूरी विशाल नोटबुक पढ़नी पड़ती है, इसलिए जासूस को स्थिर खड़ा होकर इंतजार करना पड़ता है। एक तेज़ गति वाली जांच में, यह प्रतीक्षा समय उत्पादकता के घंटों के नुकसान में बदल जाता है।
- "लकी ड्रॉ" जैसी अस्थिरता: यदि आप लेखक से एक ही नोटबुक को दो बार सारांशित करने के लिए कहते हैं, तो वे आपको दो पूरी तरह से अलग सारांश दे सकते हैं। एक बार वे लाल कार वाला सुराग रखते हैं; अगली बार, वे उसे भूल जाते हैं और नीली टोपी वाला सुराग रखते हैं। यह जासूस के प्रदर्शन को अप्रत्याशित बनाता है।
समाधान: "असेंबली लाइन" (पैरेलल कॉम्पेक्शन)
एक अकेले लेखक को पूरी किताब पढ़ने और एक रिपोर्ट लिखने के लिए कहने के बजाय, लेखक सुझाव देते हैं कि लेखकों की एक टीम को काम पर रखा जाए और काम को विभाजित किया जाए।
कल्पना कीजिए कि विशाल नोटबुक एक लंबी ट्रेन है।
- पुराना तरीका: एक व्यक्ति पूरी ट्रेन की लंबाई में चलता है, हर डिब्बे को पढ़ता है, और एक रिपोर्ट लिखता है।
- नया तरीका (पैरेलल कॉम्पेक्शन): आप ट्रेन को छोटे, समान आकार के डिब्बों (ब्लॉक्स) में काट देते हैं। आप एक डिब्बा लेखक A को, अगला डिब्बा लेखक B को, और इसी तरह अन्य को सौंप देते हैं।
यहाँ एक चतुर मोड़ है:
जब लेखक A अपने डिब्बे का सारांश बनाता है, तो उसे पिछले डिब्बों (इतिहास/संदर्भ) को भी देखने का मौका मिलता है ताकि वह संदर्भ समझ सके। लेखक B डिब्बे 1 और 2 को देखता है, लेखक C डिब्बे 1, 2 और 3 को देखता है, और इसी तरह आगे। वे सभी एक साथ (समानांतर में) काम करते हैं।
यह बेहतर क्यों काम करता है
पेपर का दावा है कि यह "असेंबली लाइन" दृष्टिकोण ऊपर दी गई तीन समस्याओं को हल करता है:
- पूर्ण नियंत्रण (वॉल्यूम नॉब): चूंकि आप तय करते हैं कि ट्रेन को कितने डिब्बों (ब्लॉक्स) में काटा जाए, इसलिए आप अंतिम आकार को नियंत्रित करते हैं। यदि आप एक विशाल सारांश चाहते हैं, तो आप बहुत छोटे ब्लॉक्स का उपयोग करते हैं (अधिक लेखक, अधिक विवरण)। यदि आप एक छोटा सारांश चाहते हैं, तो आप बड़े ब्लॉक्स का उपयोग करते हैं (कम लेखक, कम विवरण)। आपको AI से निर्देश मानने की भीख माँगने की ज़रूरत नहीं है; आप बस श्रमिकों की संख्या बदलकर इसे नियंत्रित कर सकते हैं।
- गति (ट्रैफिक जाम): क्योंकि सभी लेखक एक ही समय में काम कर रहे हैं, इसलिए सारांश पूरा करने में लगने वाला कुल समय बहुत कम हो जाता है। यह एक साथ 10 लोगों द्वारा कार धोने जैसा है, बजाय एक व्यक्ति के अकेले काम करने के।
- स्थिरता (एक सुसंगत रेसिपी): क्योंकि प्रत्येक लेखक केवल कहानी के एक छोटे, केंद्रित हिस्से के लिए जिम्मेदार है, इसलिए उनके भ्रमित होने या चीजें भूल जाने की संभावना बहुत कम होती है। सारांश बहुत अधिक सुसंगत हो जाता है, हर बार।
मुख्य निष्कर्ष
पेपर दिखाता है कि लंबी, जटिल AI कार्यों के लिए, आपको एक विशाल इतिहास का सारांश देने के लिए एक एकल AI पर भरोसा नहीं करना चाहिए। इसके बजाय, आपको उस इतिहास को छोटे टुकड़ों में काटना चाहिए, उन्हें एक स्मार्ट लेआउट का उपयोग करके एक साथ सारांशित करना चाहिए जो संदर्भ को जोड़े रखता है, और फिर परिणामों को आपस में जोड़ देना चाहिए।
यह ऑपरेटर (प्रभारी मानव) को यह तय करने के लिए एक सटीक "वॉल्यूम नॉब" देता है कि कितनी जानकारी रखनी है, जबकि यह पूरी प्रक्रिया को तेज़ और अधिक विश्वसनीय बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।