Dual Soft-Adaptive Aggregation for Long-Context LLMs_ Mitigating Sequence-and-Depth Information Dilution
यह शोध पत्र एक एकीकृत सॉफ्ट-एडेप्टिव एग्रीगेशन फ्रेमवर्क प्रस्तावित करता है जो सॉफ्ट-चंकअट्न (Soft-ChunkAttn) को डिफरेंशिएबल सिमेंटिक चंकिंग के लिए और वर्चुअल डायनेमिक ब्लॉक-अट्नरेज़ (Virtual Dynamic Block-AttnRes) को इनपुट-एडेप्टिव लेयर मर्जिंग के लिए पेश करके लॉन्ग-कॉन्टेक्स्ट एलएलएम (LLMs) में सीक्वेंस और डेप्थ सूचना के क्षरण को कम करता है, और यह सब कुशल जीपीयू (GPU) परिनियोजन के लिए मूल कंप्यूटेशन ग्राफ को सुरक्षित रखते हुए किया जाता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, लार्ज लैंग्वेज मॉडल्स वे इंजन हैं जो राइटिंग असिस्टेंट से लेकर जटिल रीजनिंग कार्यों तक सब कुछ संचालित करते हैं। ये सिस्टम विशाल मात्रा में टेक्स्ट को पढ़कर और यह सीखकर काम करते हैं कि अगला शब्द क्या होगा, जिससे वे प्रभावी रूप से इस बात का एक मानसिक मानचित्र (mental map) बना लेते हैं कि शब्द और विचार आपस में कैसे जुड़ते हैं। लंबे दस्तावेजों या बहु-चरणीय (multi-step) बातचीत को संभालने के लिए, इन मॉडल्स को सूचनाओं के बढ़ते प्रवाह को याद रखना पड़ता है। हालाँकि, जैसे-जैसे टेक्स्ट की मात्रा बढ़ती है, विशिष्ट विवरणों को थामे रखने की मॉडल की क्षमता कम होने लगती है। यह दो अलग-अलग तरीकों से होता है: जैसे-जैसे शब्दों की सूची लंबी होती है, किसी भी एकल शब्द का महत्व कम होता जाता है क्योंकि मॉडल को अपना ध्यान (attention) बहुत अधिक फैलाना पड़ता है; और जैसे ही सूचना मॉडल के आंतरिक प्रसंस्करण (internal processing) के कई स्तरों से गुजरती है, शुरुआती संकेत धुंधले होकर शोर में खो जाते हैं। सूचना के इस क्षरण (information dilution) की घटना, जिसे 'इन्फॉर्मेशन डाइल्यूशन' कहा जाता है, एक प्रमुख बाधा है जो इन प्रणालियों को लंबे और जटिल संदर्भों को वास्तव में समझने से रोकती है।
शोधकर्ता मिन्ज़े लियू (Minzhe Liu) ने, स्वतंत्र रूप से कार्य करते हुए, बिना किसी डेटा को फेंके इस समस्या को हल करने के लिए एक नया दृष्टिकोण प्रस्तावित किया है। मुख्य विचार यह है कि मॉडल की स्मृति (memory) को एक कठोर संरचना के रूप में मानना बंद कर दिया जाए जो सूचना को निश्चित बक्सों में डालने के लिए मजबूर करती है। इसके बजाय, यह नई विधि, जिसे 'डुअल सॉफ्ट-एडैप्टिव एग्रीगेशन' (Dual Soft-Adaptive Aggregation) कहा जाता है, मॉडल को विचारों की समानता के आधार पर सूचनाओं को गतिशील रूप से समूहित करने की अनुमति देती है, जबकि डेटा का हर एक हिस्सा उपलब्ध रहता है। शोधकर्ता का तर्क है कि वर्तमान समाधान अक्सर "हार्ड" निर्णयों पर निर्भर करते हैं, जैसे कि दस्तावेज़ के कुछ हिस्सों को काट देना या उन प्रोसेसिंग लेयर्स को हटा देना जो कम महत्वपूर्ण लगती हैं। हालांकि इससे कंप्यूटिंग शक्ति की बचत होती है, लेकिन इसमें टेक्स्ट में दबे सूक्ष्म विवरणों के खो जाने का जोखिम रहता है। प्रस्तावित ढांचा इन स्थायी कटों को एक "सॉफ्ट" प्रणाली से बदल देता है जो सूचना को निरंतर तौलता है, यह सुनिश्चित करते हुए कि कुछ भी वास्तव में हटाया नहीं जाता, केवल सारांशित और प्राथमिकता दी जाती है।
यह समाधान दो कोणों से एक साथ समस्या का समाधान करता है: टेक्स्ट की लंबाई और मॉडल के प्रसंस्करण की गहराई। टेक्स्ट की लंबाई के पक्ष पर, सिस्टम 'सॉफ्ट-चंक-एटीएन' (Soft-ChunkAttn) नामक एक विधि पेश करता है। दस्तावेज़ को समान आकार के टुकड़ों में काटने के बजाय, मॉडल शब्दों के अर्थ को देखता है और उन्हें सिमेंटिक चंक्स (semantic chunks) में समूहित करता है। यह एक गणितीय तकनीक का उपयोग करता है जो इसे सुचारू और लचीले तरीके से यह तय करने की अनुमति देती है कि एक विचार कहाँ समाप्त होता है और दूसरा कहाँ शुरू होता है। एक बार ये समूह बन जाने के बाद, मॉडल प्रत्येक के लिए एक सारांश बनाता है, लेकिन यह केवल शब्दों का औसत नहीं निकालता। इसके बजाय, यह प्रत्येक समूह के भीतर सबसे महत्वपूर्ण शब्दों पर अतिरिक्त ध्यान देता है। महत्वपूर्ण रूप से, मॉडल निर्णय लेते समय अभी भी हर एक समूह को देखता है, कम प्रासंगिक समूहों को पूरी तरह से अनदेखा करने के बजाय उन्हें कम महत्व देता है। यह सुनिश्चित करता है कि दूरस्थ या सूक्ष्म विवरण भी सुलभ बने रहें।
गहराई के पक्ष पर, मॉडल को इस चुनौती का सामना करना पड़ता है कि दर्जनों प्रसंस्करण परतों (processing layers) के माध्यम से यात्रा करते समय सूचना कैसे खो जाती है। मानक मॉडल हर परत को समान रूप से महत्वपूर्ण मानते हैं, जिससे उनके आउटपुट एक साथ जुड़ने से शुरुआती, महत्वपूर्ण संकेत धुंधले हो सकते हैं। नई विधि, जिसे 'वर्चुअल डायनेमिक ब्लॉक-एटीएन-रेज़' (Virtual Dynamic Block-AttnRes) कहा जाता है, इन परतों की परस्पर क्रिया के तरीके को बदल देती है। परतों के निश्चित समूहों के बजाय, सिस्टम कार्य की जटिलता के अनुकूल "वर्चुअल ब्लॉक्स" बनाता है। यदि इनपुट सरल है, तो परतें प्रयास बचाने के लिए बड़े, मोटे समूहों में मिल जाती हैं। यदि इनपुट के लिए गहन तर्क (deep reasoning) की आवश्यकता है, तो परतें सूक्ष्म, अधिक विस्तृत समूहों में विभाजित हो जाती हैं। यह मॉडल की भौतिक संरचना को बदले बिना होता है, जिसका अर्थ है कि इसे मौजूदा प्रणालियों में बिना तोड़े प्लग किया जा सकता है। सिस्टम एक विशेष नियम का उपयोग करता है ताकि ये समूह केवल एक बड़े ब्लॉक में न सिमट जाएं या बहुत अधिक छोटे टुकड़ों में न बंट जाएं, जिससे विशिष्ट इनपुट के लिए सही संतुलन बना रहे।
इस कार्य की एक प्रमुख विशेषता यह है कि यह सूचना के पूर्ण इतिहास को बनाए रखता है और किसी भी चीज़ को स्थायी रूप से नहीं हटाता है। पिछले तरीकों में अक्सर "टॉप-के" (top-k) चयन प्रक्रिया का उपयोग किया जाता था, जो सूचना के कुछ बेहतरीन हिस्सों को चुन लेती थी और बाकी को हटा देती थी। यह नया दृष्टिकोण सब कुछ रखता है लेकिन जो सबसे अधिक महत्वपूर्ण है उसे उजागर करने के लिए एक वेटिंग सिस्टम (weighting system) का उपयोग करता है। शोधकर्ता का कहना है कि यह डेटा को हटाने वाले तरीकों की तुलना में थोड़ी अधिक कंप्यूटिंग लागत के साथ आता है, लेकिन यह हर एक शब्द को पूर्ण विवरण के साथ प्रोसेस करने की तुलना में बहुत कम महंगा है। डिजाइन में विशिष्ट सुरक्षा उपाय भी शामिल हैं, जैसे कि समूहित सारांशों के लिए सापेक्ष स्थिति मार्कर (relative position markers), जो मॉडल को घटनाओं के क्रम को समझने में मदद करते हैं, भले ही वे संकुचित (compressed) क्यों न हों।
यह शोध पत्र इस ढांचे के पीछे के पूर्ण डिजाइन और सैद्धांतिक तर्क को प्रस्तुत करता है, लेकिन यह अंतिम, बड़े पैमाने के परीक्षण परिणामों प्रदान करने से रुक जाता है। लेखक भविष्य के प्रयोगों के माध्यम से इस विधि को मान्य करने की योजना की रूपरेखा तैयार करता है, जिसमें 4,000 से 32,000 शब्दों के 'हे स्टैक ऑफ टेक्स्ट' (घास के ढेर) में विशिष्ट सुइयों को खोजने की क्षमता के परीक्षण शामिल हैं। प्रस्तावित प्रयोग इस नए सॉफ्ट-एडैप्टिव तरीके की तुलना पुराने, कठोर दृष्टिकोणों से करेंगे ताकि यह देखा जा सके कि क्या ग्रैनुलैरिटी (granularity) को समायोजित करने की क्षमता वास्तव में जटिल तर्क कार्यों पर प्रदर्शन में सुधार करती है। हालांकि पूर्ण अनुभवजन्य प्रमाण (empirical proof) अभी लंबित है, सैद्धांतिक ढांचा एक आशाजनक मार्ग प्रदान करता है। यह सुझाव देता है कि सूचना के क्षरण को लंबाई और गहराई की दोहरी समस्या के रूप में मानकर, और कठोर कटों को लचीले, भारित सारांशों से बदलकर, लार्ज लैंग्वेज मॉडल्स को अधिक मजबूत और वास्तविक दुनिया के अनुप्रयोगों की मांग वाले लंबे, जटिल संदर्भों को संभालने में सक्षम बनाया जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।