MultiHashFormer: Hash-based Generative Language Models
मल्टीहैशफॉर्मर (MultiHashFormer) एक नवीन हैश-आधारित ऑटोरेग्रेसिव फ्रेमवर्क पेश करता है जो टोकन को हैश आईडी के अद्वितीय अनुक्रमों के रूप में निरूपित करता है ताकि स्थिर शब्दावली फुटप्रिंट के साथ पैरामीटर-कुशल भाषा मॉडलिंग सक्षम हो सके, जो कई पैमानों और बहुभाषी परिदृश्यों में मानक ट्रांसफॉर्मर्स की तुलना में बेहतर प्रदर्शन प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक नई भाषा बोलना सिखाने की कोशिश कर रहे हैं। वर्तमान रोबोट्स (लैंग्वेज मॉडल्स) के साथ सबसे बड़ी समस्या उनका "शब्दकोश" (डिक्शनरी) है।
समस्या: भारी शब्दकोश (The Heavy Dictionary)
मानक एआई मॉडल्स में, हर एक शब्द या शब्द के हिस्से (जैसे "cat," "map," या "physics") को अपना एक अनूना, भारी बैग (backpack) मिलता है। यदि आप चाहते हैं कि रोबोट 100,000 शब्द सीखे, तो आपको 100,000 भारी बैगों की आवश्यकता होगी। यह रोबोट को विशाल, चलाने में महंगा और अपडेट करने में कठिन बना देता है। यदि आप बाद में कोई नई भाषा या दुर्लभ शब्द जोड़ना चाहते हैं, तो आपको नए बैगों का एक पूरा सेट बनाना होगा, जो घर की नींव बदले बिना उसमें एक नया विंग जोड़ने जैसा है।
इसे ठीक करने के पिछले प्रयासों ने "हैशिंग" (hashing) तकनीक का उपयोग किया: प्रत्येक शब्द को अपना अलग बैग देने के बजाय, उन्होंने कई शब्दों को एक ही बैग में डाल दिया।
- खामी: कल्पना कीजिए कि आपने "cat," "map," और "physics" तीनों को बैग नंबर #40 में रख दिया। यदि रोबोट "बैग नंबर #40" का अनुमान लगाता है, तो उसे पता ही नहीं चलेगा कि उसका वास्तव में क्या मतलब था। यह एक अनुमान लगाने का खेल बन गया। यह पढ़ने (encoders) के लिए तो काम कर गया लेकिन लिखने (generators) के लिए विफल रहा क्योंकि रोबोट यह तय नहीं कर सका कि उसे आगे क्या कहना है।
समाधान: मल्टीहैशफॉर्मर (ID कार्ड सिस्टम)
इस शोध पत्र के लेखकों ने MultiHashFormer नामक एक नया सिस्टम प्रस्तावित किया है। एक बैग देने के बजाय, वे प्रत्येक शब्द को संख्याओं के एक संक्षिप्त अनुक्रम (sequence) से बना एक अनूठा ID कार्ड देते हैं।
इसे एक कॉन्सर्ट के सुरक्षा तंत्र की तरह समझें:
- पुराना तरीका: आपके पास एक टिकट है। यदि 100 लोगों के पास एक ही टिकट नंबर है, तो गार्ड पहचान नहीं पाएगा कि कौन कौन है।
- MultiHashFormer का तरीका: हर व्यक्ति को चार अलग-अलग नंबरों वाला एक अनूठा ID कार्ड मिलता है (जैसे, [12, 40, 56, 99])। भले ही दो लोग "40" नंबर साझा करते हों, लेकिन वे पूरा अनुक्रम साझा नहीं करेंगे।
- "Cat" हो सकता है:
[12, 40, 56, 99] - "Map" हो सकता है:
[99, 40, 3, 12] - "Physics" हो सकता है:
[5, 40, 88, 2]
- "Cat" हो सकता है:
क्योंकि नंबरों का संयोजन (combination) अनूठा है, इसलिए रोबोट हमेशा जान पाएगा कि किस शब्द का क्या अर्थ है, भले ही नंबर आपस में ओवरलैप क्यों न हों।
यह कैसे काम करता है (असेंबली लाइन)
शोध पत्र प्रक्रिया के तीन चरणों का वर्णन करता है:
- एन्कोडर (अनुवादक): जब रोबोट एक शब्द देखता है, तो वह एक भारी बैग नहीं ढूँढता। इसके बजाय, वह उस शब्द को चार अलग-अलग "हैश मशीनों" के माध्यम से चलाता है ताकि उसका अनूठा 4-नंबर वाला ID कार्ड तैयार किया जा सके। फिर वह इस ID कार्ड को एक एकल, कुशल "थॉट वेक्टर" (thought vector) में संकुचित करता है ताकि इसे मस्तिष्क तक भेजा जा सके।
- मस्तिष्क (ट्रांसफॉर्मर): रोबोट का मस्तिष्क इन विचारों को बिल्कुल वैसे ही प्रोसेस करता है जैसे एक सामान्य एआई करता है, जिससे वाक्य के संदर्भ को समझा जा सके।
- डिकोडर (अनुमान लगाने वाला): जब रोबोट को अगले शब्द का अनुमान लगाना होता है, तो वह सीधे शब्द का अनुमान नहीं लगाता। वह अगले शब्द के ID कार्ड के चार नंबरों का अनुमान लगाता है, एक-एक करके।
- पहले, वह पहले नंबर का अनुमान लगाता है।
- फिर, उस नंबर का उपयोग संकेत के रूप में करते हुए, वह दूसरे नंबर का अनुमान लगाता है।
- वह तब तक जारी रखता है जब तक कि उसके पास पूरा 4-नंबर वाला अनुक्रम न हो जाए।
- अंत में, वह देखता है कि उस सटीक अनुक्रम से कौन सा शब्द मेल खाता है और फिर वह शब्द बोलता है।
यह एक बड़ी बात क्यों है
शोध पत्र तीन मुख्य जीत का दावा करता है:
- यह बेहतर लिखता है: इस ID कार्ड सिस्टम का उपयोग करके, रोबोट वास्तव में उसी आकार के मानक रोबोटों की तुलना में बेहतर लिखता है। उन्होंने 100 मिलियन, 1 बिलियन और 3 बिलियन "पैरामीटर्स" (मस्तिष्क कोशिकाओं) वाले मॉडल्स का परीक्षण किया और पाया कि MultiHashFormer लगातार तर्क, पठन बोध और भाषाई कार्यों पर उच्च स्कोर करता है।
- यह दुर्लभ शब्दों को बेहतर जानता है: क्योंकि यह सिस्टम दुर्लभ शब्दों को स्मार्ट तरीके से "स्टोरेज स्पेस" साझा करने के लिए मजबूर करता है (जैसे एक भीड़भाड़ वाला पुस्तकालय जहाँ किताबों को कई टैग द्वारा व्यवस्थित किया जाता है), रोबोट मानक मॉडल्स की तुलना में अस्पष्ट या दुर्लभ शब्दों को समझने में बेहतर हो जाता है।
- "जादुई" विस्तार: यह सबसे शानदार हिस्सा है। यदि आप रोबोट को एक नई भाषा सिखाना चाहते हैं या 15,000 नए शब्द जोड़ना चाहते हैं, तो आपको कोई नया मेमोरी जोड़ने या अपने रोबोट को बड़ा बनाने की आवश्यकता नहीं है।
- एक सामान्य रोबोट में, शब्द जोड़ने से वह भारी हो जाता है।
- MultiHashFormer में, आप बस सिस्टम में नए ID कार्ड संयोजन दर्ज करते हैं। रोबोट का आकार बिल्कुल वैसा ही रहता है, लेकिन उसका शब्दकोश तुरंत बढ़ जाता है। शोध पत्र ने दिखाया कि वे शब्दावली को 32,000 से 48,000 शब्दों तक बढ़ा सकते थे बिना एक भी नया पैरामीटर जोड़े, और रोबोट ने अपना प्रदर्शन उतना ही अच्छा बनाए रखा।
निचोड़ (The Bottom Line)
MultiHashFormer एक रोबोट के शब्दकोश को भारी, एकल-उपयोग वाली किताबों के ढेर से एक हल्के, डिजिटल ID कार्ड सिस्टम में अपग्रेड करने जैसा है। यह रोबोट को भारी हुए बिना अधिक भाषाएं बोलने और अधिक शब्द जानने की अनुमति देता है, जबकि वास्तव में उसे एक साथ अधिक स्मार्ट भी बनाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।