TreeWY: Speculative Verification for Gated DeltaNet Hybrids

आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, लार्ज लैंग्वेज मॉडल्स (LLMs) शक्तिशाली इंजन के रूप में कार्य करते हैं जो एक बार में एक शब्द करके टेक्स्ट जनरेट करते हैं। ऐसा करने के लिए, उन्हें यह याद रखना होता है कि उन्होंने अब तक क्या लिखा है ताकि अगला शब्द संदर्भ के अनुकूल हो सके। कई वर्षों तक, इस मेमोरी को संभालने का सबसे सामान्य तरीका हर पिछले शब्द और उससे जुड़े डेटा की एक बढ़ती हुई सूची रखना था, एक ऐसी विधि जो अच्छा काम करती है लेकिन जैसे-जैसे बातचीत लंबी होती जाती है, कंप्यूटर मेमोरी की भारी मात्रा की आवश्यकता होती है। हाल ही में, मॉडल्स की एक नई पीढ़ी उभरी है जो इस पारंपरिक दृष्टिकोण को एक अलग, अधिक संक्षिप्त विधि के साथ मिलाती है। ये हाइब्रिड मॉडल्स एक विशेष प्रकार की लेयर का उपयोग करते हैं जो पूरे इतिहास को एक एकल, निश्चित आकार के स्नैपशॉट में सारांशित कर देती है, न कि एक बढ़ती हुई सूची के रूप में। यह उन्हें मानक पढ़ने और लिखने के कार्यों के लिए अविश्वसनीय रूप से कुशल बनाता है, जिससे वे छोटे कंप्यूटरों पर भी चल सकते हैं। हालांकि, यह दक्षता 'स्पेक्युलेटिव डिकोडिंग' (speculative decoding) नामक तकनीक का उपयोग करके प्रक्रिया को तेज करने के प्रयास में एक नई समस्या पैदा करती है।

स्पेक्युलेटिव डिकोडिंग एक रणनीति है जिसका उपयोग इन AI मॉडल्स को तेज़ बनाने के लिए किया जाता है। एक बार में एक शब्द जनरेट करने के बजाय, एक छोटा, सस्ता "ड्राफ्ट" मॉडल कई शब्द आगे का अनुमान लगाता है, और मुख्य मॉडल यह जांचने के लिए उन सभी को एक साथ देखता है कि कौन से अनुमान सही थे। यदि मुख्य मॉडल अनुमानों की एक लंबी श्रृंखला को सत्यापित कर सकता है, तो वह एक ही चरण में कई शब्द आउटपुट कर सकता है, जिससे गति नाटकीय रूप रूप से बढ़ जाती है। समस्या ऊपर बताए गए हाइब्रिड मॉडल्स के साथ उत्पन्न होती है। क्योंकि उनकी मेमोरी एक एकल, निश्चित स्नैपशॉट है जिसे आसानी से काटा या चिपकाया नहीं जा सकता, वर्तमान सिस्टम को ड्राफ्ट मॉडल द्वारा अनुमान लगाए गए प्रत्येक शब्द के लिए इस स्नैपशॉट की एक पूरी प्रति लेनी पड़ती है। यदि ड्राफ्ट मॉडल शब्दों की एक लंबी सूची का अनुमान लगाता है, तो सिस्टम को प्रत्येक अनुमान के लिए मेमोरी की एक प्रति संग्रहीत करनी पड़ती है। यह तेजी से कंप्यूटर की मेमोरी भर देता है, जिससे सिस्टम लंबे अनुमान लगाने से रुक जाता है और गति का लाभ सीमित हो जाता है। यह एक बाधा (bottleneck) है जो इन कुशल मॉडल्स को उस गति से चलने से रोकता है जितनी वे सैद्धांतिक रूप से कर सकते हैं।

थॉमसन रॉयटर्स के शोधकर्ताओं ने, स्नेहा मूर्ति घनतला के नेतृत्व में, इस विशिष्ट मेमोरी बाधा को हल करने के लिए 'TreeWY' नामक एक नई विधि विकसित की है। उनका कार्य हाइब्रिड मॉडल्स के एक परिवार पर केंद्रित है जिन्हें Qwen3.5 के रूप में जाना जाता है, जो कुशल होने के लिए डिज़ाइन किए गए हैं लेकिन स्पेक्युलेटिव डिकोडिंग की मेमोरी मांगों के साथ संघर्ष करते हैं। टीम ने महसूस किया कि इन मॉडल्स में उनकी मेमोरी अपडेट होने का तरीका एक विशिष्ट गणितीय पैटर्न का पालन करता है जिसे पुनर्व्यवस्थित किया जा सकता है। प्रत्येक अनुमान के लिए मेमोरी का एक पूर्ण संस्करण सहेजने के बजाय, उन्होंने एक एकल, सुव्यवस्थित गणितीय ऑपरेशन का उपयोग करके सभी अनुमानों के परिणामों की गणना करने का एक तरीका खोजा। यह ऑपरेशन अनुमानों के अनुक्रम को अलग-अलग स्नैपशॉट्स के रूप में नहीं, बल्कि एक संरचित 'ट्री' (tree) के रूप में मानता है जहाँ आवश्यक जानकारी साझा और कुशलतापूर्वक कंप्यूट की जाती है।

उनकी खोज का मूल आधार यह है कि अब उन्हें प्रत्येक ड्राफ्ट टोकन के लिए पूर्ण मेमोरी स्टेट को स्टोर करने की आवश्यकता नहीं है। पुराने तरीके में, यदि एक मॉडल ने दस शब्दों का अनुमान लगाया, तो उसे अपनी मेमोरी के दस पूर्ण संस्करणों को सहेजना पड़ता था, जिसमें बहुत अधिक स्थान खर्च होता था। TreeWY के साथ, सिस्टम केवल अनुमान लगाने के चरण के दौरान किए गए परिवर्तनों का एक छोटा, संकुचित सारांश (summary) ही सहेजता है। यह सभी अनुमानों को एक साथ सत्यापित करने के लिए एक एकल गणना करता है। यदि कोई अनुमान स्वीकार किया जाता है, तो सिस्टम उस छोटे सारांश से सही मेमोरी स्टेट को पुनर्गठित करता है। यदि कोई अनुमान खारिज कर दिया जाता है, तो सिस्टम बिना कभी भी पूर्ण, भारी मेमोरी स्टेट को स्टोर किए, बस उस सारांश को हटा देता है। यह दृष्टिकोण उस विशाल मेमोरी ओवरहेड की आवश्यकता को समाप्त कर देता है जिसने पहले लंबे अनुमान लगाने वाली श्रृंखलाओं को असंभव बना दिया था।

शोधकर्ताओं ने इस विधि का परीक्षण Qwen3.5 मॉडल के दो आकारों पर किया, एक 35-बिलियन पैरामीटर वाला संस्करण और एक बहुत बड़ा 397-बिलियन पैरामीटर वाला संस्करण, जिन्हें हाई-एंड ग्राफिक्स कार्ड पर चलाया गया। उन्होंने अपने नए TreeWY मेथड की तुलना लोकप्रिय AI सॉफ्टवेयर में उपयोग किए जाने वाले मानक दृष्टिकोण से की। परिणामों ने दिखाया कि जब कंप्यूटर की मेमोरी भारी दबाव में थी, तो नए मेथड ने सिस्टम को एक साथ काफी अधिक अनुरोधों को संभालने की अनुमति दी। कुछ मामलों में, टेक्स्ट जनरेट करने की गति लगभग पचास प्रतिशत बढ़ गई, और प्रतिक्रिया जनरेट करने में लगने वाला समय नाटकीय रूप से कम हो गया। ऐसा इसलिए हुआ क्योंकि खाली हुई मेमोरी स्पेस ने सिस्टम को क्रैश हुए बिना या धीमे हुए बिना एक साथ अधिक सक्रिय बातचीत चलाने की अनुमति दी।

हालांकि, अध्ययन में यह भी पाया गया कि लाभ इस बात पर निर्भर करते हैं कि कितनी मेमोरी उपलब्ध है। जब कंप्यूटर के पास पर्याप्त मेमोरी खाली थी, तो नया मेथड मानक दृष्टिकोण की तुलना में थोड़ा धीमा था, जिसमें गति में कुछ प्रतिशत की कमी आई। ऐसा इसलिए है क्योंकि नया कैलकुलेशन, हालांकि मेमोरी बचाता है, डेटा को केवल कॉपी करने के सरल तरीके की तुलना में थोड़ा अधिक समय लेता है। शोधकर्ताओं ने नोट किया कि वास्तविक जीत तब आती है जब सिस्टम मेमोरी-सीमित (memory-limited) होता है, जो बड़े मॉडल्स के लिए एक सामान्य स्थिति है। इन परिदृश्यों में, एक साथ अधिक बातचीत चलाने की क्षमता गणना की छोटी लागत से कहीं अधिक महत्वपूर्ण है।

टीम ने यह भी पता लगाया कि क्या यह विधि और भी महत्वाकांक्षी अनुमान रणनीतियों का समर्थन कर सकती है, जैसे कि एक "ट्री" संरचना जहाँ मॉडल शब्दों की एक एकल रेखा के बजाय एक ही समय में कई अलग-अलग पथों का अनुमान लगाता है। नए मेथड ने यह संभव बनाया क्योंकि इसने अनुमानों के ट्री के कितने भी चौड़े होने के बावजूद मेमोरी उपयोग को स्थिर रखा। पहले, अनुमानों का एक चौड़ा ट्री चलाने के लिए इतनी मेमोरी की आवश्यकता होती थी कि यह असंभव था। अब, सिस्टम एक साथ कई अलग-अलग पथों को आज़माने में सक्षम है। हालांकि इससे परीक्षण किए गए मॉडल्स को तत्काल बहुत बड़ी गति वृद्धि नहीं मिली, लेकिन इसने साबित कर दिया कि यह विधि जटिल, चौड़े अनुमान संरचनाओं को संभालने के लिए पर्याप्त लचीली है जो पहले किफायती नहीं थे।

शोधकर्ताओं ने जोर देकर कहा कि उनका समाधान इन हाइब्रिड मॉडल्स को नियंत्रित करने वाले गणितीय नियमों के लिए विशिष्ट है। यह मॉडल के डिज़ाइन के विशिष्ट विवरणों पर निर्भर नहीं करता है बल्कि इस मौलिक तरीके पर निर्भर करता है कि इसकी मेमोरी खुद को कैसे अपडेट करती है। इसका मतलब है कि इस दृष्टिकोण को अन्य मॉडल्स पर भी लागू किया जा सकता है जो समान मेमोरी संरचनाओं का उपयोग करते हैं। इस कार्य को AI मॉडल्स चलाने के लिए उपयोग किए जाने वाले एक व्यापक रूप से उपयोग किए जाने वाले सॉफ्टवेयर फ्रेमवर्क में लागू किया गया था, और शोधकर्ताओं ने सत्यापित किया कि नया मेथड मानक दृष्टिकोण के गणितीय रूप से समान परिणाम देता है, जिससे यह सुनिश्चित होता है कि टेक्स्ट की गुणवत्ता अपरिवर्तित रहती है।

अंत में, यह शोध दर्शाता है कि अनुमान लगाने के चरण के दौरान मेमोरी को संभालने के तरीके पर पुनर्विचार करके, कुशल हाइब्रिड मॉडल्स की पूर्ण गति क्षमता को अनलॉक करना संभव है। अध्ययन से पता चलता है कि सीमा मॉडल्स में नहीं थी, बल्कि इस बात में थी कि उनका सॉफ्टवेयर उनकी मेमोरी को कैसे प्रबंधित करता है। पूर्ण स्नैपशॉट को स्टोर करने के बजाय एक साझा सारांश की गणना करने की ओर स्विच करके, शोधकर्ताओं ने मेमोरी बाधा को उच्च प्रदर्शन के मार्ग में बदल दिया। यह इन कुशल मॉडल्स को तेज़ी से चलाने और अधिक उपयोगकर्ताओं को संभालने की अनुमति देता है, विशेष रूप से उन स्थितियों में जहाँ कंप्यूटर मेमोरी सबसे कठिन बाधा होती है। निष्कर्ष बताते हैं कि भविष्य में AI की गति में सुधार न केवल बड़े मॉडल बनाने से, बल्कि उनके पास पहले से मौजूद डेटा को प्रबंधित करने के स्मार्ट तरीकों से आएगा।