Dual-Cache Latent Space Communication between Heterogeneous Language Models
यह शोधपत्र XKV का परिचय देता है, जो एक नवीन संचार प्रोटोकॉल है जो विषम (heterogeneous), फ्रोजन लैंग्वेज मॉडल्स को उनके KV कैश के एक सीखे हुए ट्रांसलेटर के माध्यम से सूचनाओं का आदान-प्रदान करने में सक्षम बनाता है, जो ज्यामिति और लेयर संरेखण की पूर्व सीमाओं को पार करते हुए टेक्स्ट-आधारित और पिछले लेटेंट-स्पेस संचार विधियों दोनों की तुलना में बेहतर सटीकता और काफी तेज़ इन्फरेंस प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक आर्टिफिशियल इंटेलिजेंस के परिदृश्य में, लार्ज लैंग्वेज मॉडल्स (बड़े भाषा मॉडल) तेजी से एकल विचारक के रूप में नहीं, बल्कि एक टीम के सदस्य के रूप में कार्य कर रहे हैं। एक ऐसे शोधकर्ताओं के समूह की कल्पना करें जो एक जटिल रहस्य पर काम कर रहे हैं, जहाँ प्रत्येक व्यक्ति ने केवल दस्तावेजों का एक अलग सेट पढ़ा है। मामले को सुलझाने के लिए, उन्हें वह साझा करना होगा जो वे जानते हैं। डिजिटल दुनिया में, ये "शोधकर्ता" सॉफ्टवेयर एजेंट हैं, और उनके पास मौजूद दस्तावेज़ उनकी आंतरिक स्मृति के भीतर छिपे साक्ष्य के टुकड़े हैं। इन एजेंटों को एक साथ काम करने के लिए, उन्हें एक-दूसरे को जानकारी भेजने का एक तरीका चाहिए। हाल तक, मानक तरीका यह था कि एक एजेंट साधारण अंग्रेजी में एक सारांश लिखे और उसे अगले को भेज दे। हालांकि यह मनुष्यों के पढ़ने के लिए आसान है, लेकिन मशीनों के लिए यह अक्षम है। भेजने वाले एजेंट को शब्द दर शब्द संदेश का निर्माण धीरे-धीरे करना पड़ता है, और प्राप्त करने वाले एजेंट को फिर उन शब्दों को पढ़ना पड़ता है और अपनी स्वयं की आंतरिक समझ को शून्य से फिर से बनाना पड़ता है। यह प्रक्रिया एक रिले रेस की तरह है जहाँ धावकों को रुकना पड़ता है, एक नोट लिखना पड़ता है, उसे सौंपना पड़ता है, और फिर उसे पढ़ने में समय बिताना पड़ता है इससे पहले कि वे फिर से दौड़ सकें।
शोधकर्ता संचार के एक तेज़ तरीके की खोज कर रहे थे, जो शब्दों के लिखने और पढ़ने को पूरी तरह से छोड़ देता है। टेक्स्ट का आदान-प्रदान करने के बजाय, उन्होंने एक मशीन के कच्चे, आंतरिक "विचारों" को सीधे दूसरी मशीन को भेजने का प्रयास किया। यह एक धावक को एक पहले से लिखा गया नोट देने के समान है जिसे वह बिना पढ़े तुरंत आत्मसात कर सकता है। हालाँकि, प्रत्यक्ष हस्तांतरण के शुरुआती प्रयासों को एक बाधा का सामना करना पड़ा। वे केवल तभी अच्छी तरह काम करते थे जब दोनों मशीनें जुड़वां होती थीं, या वे भेजने वाले को अपने पूरे ज्ञान को एक एकल, सामान्य सारांश में संकुचित करने के लिए मजबूर करते थे जो यह अनदेखा कर देता था कि प्राप्तकर्ता पहले से क्या जानता था। इसका मतलब था कि प्राप्तकर्ता को अक्सर एक ऐसा संदेश दिया जाता था जो या तो बहुत अस्पष्ट था या उसकी विशिष्ट आवश्यकताओं के लिए अप्रासंगिक था। चुनौती एक ऐसा संचार चैनल बनाने की थी जो तेज़ हो, विभिन्न प्रकार की मशीनों के बीच काम करे, और प्राप्तकर्ता को ठीक वही जानकारी मांगने की अनुमति दे जिसकी उसे आवश्यकता है, न कि केवल एक 'वन-साइज-फिट्स-ऑल' सारांश को स्वीकार करे।
शोधकर्ताओं ने अब XKV नामक एक नई प्रणाली पेश की है जो इन समस्याओं को हल करती है। उनका दृष्टिकोण दो अलग-अलग भाषा मॉडलों के बीच संचार को एक साधारण हैंडऑफ के बजाय एक संयुक्त प्रयास के रूप में देखता है। उनके सिस्टम में, दोनों मॉडल—एक जिसके पास पहेली का एक हिस्सा है और दूसरा जिसके पास शेष हिस्सा है—अपनी मूल अवस्था में स्थिर (frozen) रहते हैं, जिसका अर्थ है कि उनकी मूल बुद्धिमत्ता में कोई बदलाव नहीं किया जाता है। इसके बजाय, उनके बीच एक हल्का (lightweight) अनुवादक बैठता है। यह अनुवादक एक ही समय में दोनों मॉडलों की आंतरिक स्मृति को देखता है। यह केवल पहले मॉडल के ज्ञान का सारांश नहीं बनाता; यह दोनों सेटों की तुलना करके यह पता लगाता है कि दूसरे मॉडल में क्या कमी है। फिर यह एक संक्षिप्त, साझा मेमोरी बैंक बनाता है जो भेजने वाले के साक्ष्य को प्राप्तकर्ता की वर्तमान स्थिति के साथ मिला देता है।
नवाचार इस बात में है कि इस साझा स्मृति का उपयोग कैसे किया जाता है। पिछले सिस्टमों में, प्राप्तकर्ता के मॉडल के हर हिस्से को एक ही एकल सारांश सुनने के लिए मजबूर किया जाता था, जैसे कि एक कक्षा जहाँ हर छात्र को अपनी समझ की परवाह किए बिना बिल्कुल एक ही व्याख्या सुनाई देती है। नया XKV सिस्टम प्राप्तकर्ता की स्मृति में प्रत्येक स्थिति को इस साझा बैंक से एक विशिष्ट प्रश्न पूछने की अनुमति देता है। यह ऐसा है जैसे कक्षा में प्रत्येक छात्र हाथ उठाकर उस विशिष्ट तथ्य के बारे में पूछ सके जिसकी उसे कमी है, और शिक्षक उसे केवल वही प्रदान करे। सिस्टम फिर प्राप्तकर्ता की स्मृति के प्रत्येक भाग को एक सटीक, अनुकूलित अपडेट प्रदान करता है, जिससे उसके ज्ञान को बाधित किए बिना अंतराल भरा जा सके। यह प्रक्रिया टेक्स्ट मैसेज लिखने और पढ़ने में लगने वाले समय के एक अंश में होती है, और यह तब भी काम करती है जब दो मॉडल पूरी तरह से अलग आर्किटेक्चर पर बने हों, अलग शब्दावली का उपयोग करते हों, या उनके आंतरिक स्तरों (layers) की संख्या अलग हो।
शोधकर्ताओं ने इस प्रणाली का परीक्षण विभिन्न परिदृश्यों में किया, जिसमें विभिन्न परिवारों के भाषा मॉडलों को पांच अलग-अलग तर्क कार्यों (reasoning tasks) पर आमने-सामने रखा गया। इन कार्यों में ऐसे प्रश्नों के उत्तर देना शामिल था जिनमें उन साक्ष्यों को जोड़ना आवश्यक था जो दो एजेंटों के बीच विभाजित थे, जैसे कि बहु-चरणीय समस्या को हल करने के लिए अलग-अलग अनुच्छेदों से तथ्यों को जोड़ना। परिणामों ने दिखाया कि नया सिस्टम पारंपरिक टेक्स्ट-आधारित पद्धति और प्रत्यक्ष मेमोरी ट्रांसफर के पिछले सर्वोत्तम प्रयास, दोनों से लगातार बेहतर प्रदर्शन करता है। औसतन, नए सिस्टम ने उत्तरों की सटीकता में महत्वपूर्ण सुधार किया, जिसमें कुछ विशिष्ट परीक्षणों में पिछले सर्वोत्तम तरीके की तुलना में सटीक मिलान स्कोर में चार प्रतिशत से अधिक की वृद्धि देखी गई। केवल स्मार्ट होने के अलावा, यह नाटकीय रूप से तेज़ भी था। नए सिस्टम का ट्रांसलेटर घटक पिछले अग्रणी तरीके की तुलना में दस गुना से अधिक तेज़ था और मानक टेक्स्ट-आधारित दृष्टिकोण की तुलना में लगभग सात गुना तेज़ था।
अध्ययन ने यह भी रेखांकित किया कि यह गति जटिलता की कीमत पर नहीं आई। नए ट्रांसलेटर को पिछले अग्रणी तरीके की तुलना में 76 प्रतिशत कम 'ट्रेनेबल पैरामीटर्स' की आवश्यकता थी, जिससे इसे बनाना और चलाना बहुत अधिक कुशल हो गया। महत्वपूर्ण रूप से, सिस्टम ने उच्च प्रदर्शन बनाए रखा, भले ही संचार करने वाले दो मॉडल एक-दूसरे से पूरी तरह से भिन्न थे, जैसे कि एक कंपनी के मॉडल का दूसरी कंपनी के मॉडल से बात करना, या एक छोटे मॉडल का एक बड़े मॉडल से बात करना। यह लचीलापन सुझाव देता है कि इस प्रणाली को वास्तविक दुनिया के परिदृश्यों में तैनात किया जा सकता है जहाँ विविध AI उपकरणों को पुन: प्रशिक्षित किए बिना या एक समान आकार में बदले बिना सहयोग करने की आवश्यकता होती है। शोधकर्ताओं ने पाया कि सिस्टम तब सबसे अच्छा काम करता है जब यह दोनों पक्षों से संयुक्त स्मृति बना सकता है, न कि केवल एक तरफ से सारांश पर निर्भर रहता है। इसने पुष्टि की कि सबसे प्रभावी संचार तब होता है जब प्रेषक और प्राप्तकर्ता को एक साथ माना जाता है, जिससे प्राप्तकर्ता एक साझा सूचना पूल से ठीक वही प्राप्त कर पाता है जिसकी उसे आवश्यकता है।
इस कार्य के निहितार्थ केवल AI को तेज़ बनाने तक ही सीमित नहीं हैं। मॉडलों को एक-दूसरे को समझने के लिए मानवीय भाषा में बोलने की आवश्यकता को समाप्त करके, यह प्रणाली अधिक तरल और कुशल मल्टी-एजेंट सिस्टम के द्वार खोलती है। ये सिस्टम जटिल कार्यों का समन्वय कर सकते हैं, जैसे कि डेटा की विशाल मात्रा का विश्लेषण करना या जटिल वैज्ञानिक समस्याओं को हल करना, बिना टेक्स्ट उत्पन्न करने और पुनः पढ़ने की बाधा के। शोधकर्ताओं ने प्रदर्शित किया है कि यह संभव है कि एक ऐसा संचार चैनल बनाया जाए जो प्राप्तकर्ता की स्थिति के प्रति जागरूक हो, साझा स्मृति से विशिष्ट अपडेट प्राप्त करे, और उन प्रेषक-केंद्रित सारांशों की तुलना में जो इसके स्थान पर आते हैं, काफी सस्ता और तेज़ बना रहे। यह AI एजेंटों को अलग-अलग संस्थाओं के रूप में देखने के बजाय, जो अपने विचारों को शब्दों में अनुवाद करने के लिए मजबूर होते हैं, एक सुसंगत नेटवर्क के रूप में देखने की ओर एक बदलाव है जो सीधे कच्चे बोध (raw understanding) को साझा कर सकते हैं। निष्कर्ष बताते हैं कि सहयोगात्मक आर्टिफिशियल इंटेलिजेंस का भविष्य बेहतर भाषा में नहीं, बल्कि उन शांत, आंतरिक अवस्थाओं को साझा करने के बेहतर तरीकों में निहित है जो बुद्धिमत्ता को संचालित करती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।