Phase-Associative Memory: Sequence Modeling in Complex Hilbert Space
यह शोध पत्र फेज़-एसोसिएटिव मेमोरी (PAM) का परिचय देता है, जो एक कॉम्प्लेक्स-वैल्यूड रिकरेंट सीक्वेंस मॉडल है जो एसोसिएटिव एक्यूमुलेशन के लिए मैट्रिक्स स्टेट और कंजुगेट इनर प्रोडक्ट रिट्रीवल का उपयोग करता है ताकि WikiText-103 पर प्रतिस्पर्धी परप्लेक्सिटी प्राप्त की जा सके, जिससे भाषा मॉडलिंग में गैर-शास्त्रीय, होलोग्राफिक औपचारिकताओं की संभावित प्रभावकारिता प्रदर्शित होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप कल सुनी हुई एक कहानी को याद करने की कोशिश कर रहे हैं।
पुराना तरीका (वर्तमान AI):
अधिकांश आधुनिक AI मॉडल (जैसे प्रसिद्ध "ट्रांसफॉर्मर्स") एक विशाल, स्थिर पुस्तकालय की तरह काम करते हैं। जब वे एक वाक्य पढ़ते हैं, तो वे उस सटीक किताब को खोजने की कोशिश करते हैं जो शब्दों से मेल खाती है। वे हर शब्द को एक निश्चित वस्तु और एक स्थायी लेबल के रूप में देखते हैं। यदि आप उनसे पूछते हैं, "फ्रांस की राजधानी क्या है?" तो वे "पेरिस" वाली फाइल निकाल लेते हैं।
लेकिन समस्या यह है: मानव भाषा केवल फाइलों की सूची नहीं है। यह तरल (fluid) है। शब्द का अर्थ संदर्भ, लहजे और उससे पहले आने वाली बातों के आधार पर बदल जाता है। ठीक वैसे ही जैसे क्वांटम भौतिकी में, जहाँ किसी कण की निश्चित स्थिति तब तक नहीं होती जब तक कि आप उसे देखते नहीं हैं, शब्द का अर्थ भी अक्सर तब तक "स्थिर" नहीं होता जब तक कि आप उसे एक विशिष्ट वाक्य में व्याख्यायित नहीं करते।
वर्तमान AI इस तरल, परिवर्तनशील अर्थ को कठोर, स्थिर बक्सों में फिट करने की कोशिश करता है। यह ठीक-ठाक काम करता है, लेकिन इसके कारण "हलुसिनेशन" (चीजों को मनगढ़ंत बनाना) होता है क्योंकि AI केवल यह अनुमान लगा रहा होता है कि कौन सा स्थिर बॉक्स सबसे अच्छा फिट बैठता है, बजाय इसके कि वह बातचीत के प्रवाह को वास्तव में समझे।
नया तरीका (फेज़-एसोसिएटिव मेमोरी - PAM):
आपके द्वारा साझा किया गया पेपर एक नया मॉडल पेश करता है जिसे फेज़-एसोसिएटिव मेमोरी (PAM) कहा जाता है। एक स्थिर पुस्तकालय के बजाय, कल्पना कीजिए कि PAM एक जीवित, कंपन करती हुई संगीतमय धुन (musical chord) है।
यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:
1. "कॉम्प्लेक्स" कॉर्ड (केवल नंबर नहीं)
मानक AI शब्दों का प्रतिनिधित्व करने के लिए वास्तविक संख्याओं (जैसे 0.5, 1.2, -3.4) का उपयोग करता है। PAM कॉम्प्लेक्स नंबर्स (complex numbers) का उपयोग करता है।
- उपमा: एक मानक संख्या को केवल ध्वनि के वॉल्यूम के रूप में सोचें। PAM वॉल्यूम और फेज़ (तरंग के समय या लय) दोनों का उपयोग करता है।
- यह क्यों महत्वपूर्ण है: संगीत में, दो नोट जो एक ही वॉल्यूम पर बजते हैं, वे पूरी तरह से अलग सुनाई दे सकते हैं यदि एक दूसरे के साथ थोड़ा तालमेल बिगाड़ दे। PAM इस "फेज़" का उपयोग भाषा के सूक्ष्म संदर्भ को पकड़ने के लिए करता है। यह जानता है कि "बैंक" (bank) का अर्थ "नदी का किनारा" (river bank) बनाम "पैसों का बैंक" (money bank) में केवल शब्द के वॉल्यूम से नहीं, बल्कि आसपास के शब्दों के साथ उसकी लय से बदल जाता है।
2. "मैट्रिक्स" मेमोरी (एक गतिशील ब्लैकबोर्ड)
पुराने मॉडल जुड़ाव (associations) को डेटा की एक एकल रेखा में संग्रहीत करने की कोशिश करते हैं। यदि आप एक साथ बहुत सारी चीजें याद रखने की कोशिश करते हैं, तो वे धुंधली हो जाती हैं और एक-दूसरे में हस्तक्षेप करती हैं (जैसे एक साथ तीन अलग-अलग कहानियाँ फुसफुसाने की कोशिश करना)।
- PAM का समाधान: एक एकल रेखा के बजाय, PAM अपनी यादों को एक 2D ग्रिड (मैट्रिक्स) पर लिखता है।
- उपमा: एक ब्लैकबोर्ड की कल्पना करें। यदि आप एक ही रेखा में तीन अलग-अलग कहानियाँ लिखने की कोशिश करते हैं, तो वे एक-दूसरे को काट देंगी। लेकिन यदि आपके पास एक पूरा बोर्ड है, तो आप कहानी A को ऊपर बाईं ओर, कहानी B को नीचे दाईं ओर और कहानी C को बीच में लिख सकते हैं। वे एक-दूसरे में हस्तक्षेप नहीं करेंगे।
- जादू: PAM केवल बोर्ड पर लिखता ही नहीं है; यह आउटर प्रोडक्ट्स (outer products) का उपयोग करता है। यह बोर्ड पर एक स्टैम्प (मोहर) लगाने और उसे दबाने जैसा है। हर बार जब यह एक नया संबंध सीखता है, तो यह ग्रिड पर सूचना की एक नई परत अंकित करता है, जिससे उस संबंध का "फेज़" (समय) सुरक्षित रहता है।
3. "कॉन्जुगेट" खोज (रेडियो ट्यून करना)
जब PAM को किसी स्मृति को पुनः प्राप्त करने (प्रश्न का उत्तर देने) की आवश्यकता होती है, तो यह केवल एक मिलते-जुलते शब्द को नहीं खोजता। यह एक कॉन्जुगेट इनर प्रोडक्ट (conjugate inner product) करता है।
- उपमा: कल्पना कीजिए कि आप एक पुराने रेडियो को एक विशिष्ट स्टेशन पर ट्यून करने की कोशिश कर रहे हैं।
- पुराना AI: यह डायल को स्कैन करता है और तब रुक जाता है जब उसे स्टेशन नंबर के करीब दिखने वाला कोई नंबर मिलता है।
- PAM: यह स्टैटिक (शोर/गूंज) को सुनता है। यदि स्टेटिक (शोर) उस सिग्नल के साथ पूरी तरह से मेल खाता जिसे आप ढूंढ रहे हैं, तो संगीत स्पष्ट रूप से सुनाई देता है। यदि स्टेटिक तालमेल से बाहर है, तो सिग्नल गायब हो जाता है।
- परिणाम: PAM स्वाभाविक रूप से "शोर" (अप्रासंगिक जानकारी) को फ़िल्टर कर देता है क्योंकि उनके फेज़ मेल नहीं खाते, और यह "सिग्नल" (सही उत्तर) को बढ़ाता है क्योंकि उनके फेज़ पूरी तरह से संरेखित होते हैं। इसे विनाशकारी हस्तक्षेप (destructive interference) (गलत चीजों को रद्द करना) और रचनात्मक हस्तक्षेप (constructive interference) (सही चीजों को बढ़ावा देना) कहा जाता है।
4. "क्वांटम" कनेक्शन
लेखकों का तर्क है कि मानव भाषा क्वांटम मैकेनिक्स की तरह व्यवहार करती है।
- अंतर्दृष्टि: वास्तविक दुनिया में, यदि आप किसी कण को मापते हैं, तो आप उसे बदल देते हैं। भाषा में, शब्द का अर्थ इस बात पर निर्भर करता है कि आप प्रश्न कैसे पूछते हैं।
- महत्वपूर्ण उपलब्धि: PAM इस "धुंधलेपन" को स्वाभाविक रूप से संभालने के लिए बनाया गया है। यह भाषा को कठोर, अलग बöttों में जबरदस्ती डालने की कोशिश नहीं करता। यह स्वीकार करता है कि अर्थ "अनिश्चित" (indeterminate) होता है जब तक कि उसे देखा (पढ़ा) न जाए। यह इसे बिना भ्रमित हुए बारीकियों और संदर्भ को समझने में बहुत बेहतर बनाता है।
परिणाम: इसने कैसा प्रदर्शन किया?
शोधकर्ताओं ने PAM का परीक्षण एक मानक भाषा डेटासेट (WikiText-103) पर किया।
- प्रतिस्पर्धा: उन्होंने समान आकार के एक मानक ट्रांसफार्मर मॉडल के साथ इसकी तुलना की।
- चुनौती: PAM को चलाना "महंगा" है। क्योंकि यह जटिल गणित (काल्पनिक संख्याओं) का उपयोग करता है, इसमें मानक मॉडल की तुलना में 4 गुना अधिक कंप्यूटिंग पावर लगती है।
- जीत: 4 गुना अधिक गणना कठिन होने के बावजूद, PAM अगले शब्द की भविष्यवाणी करने में मानक मॉडल से केवल 10% खराब था।
- यह बहुत बड़ी बात क्यों है: यदि आप सोने की ईंटों से घर बनाते हैं, और वह लकड़ी के घर की तुलना में केवल थोड़ा कम मजबूत है, तो आपने सिद्ध कर दिया है कि सोना एक व्यवहार्य सामग्री है। यह सुझाव देता है कि इस "क्वांटम-जैसे" दृष्टिकोण का उपयोग करके, हम भविष्य में ऐसे मॉडल बना सकते हैं जो अधिक कुशल और हलुसिनेशन से कम ग्रस्त हों, एक बार जब सॉफ्टवेयर अनुकूलित हो जाए।
सारांश
वर्तमान AI को एक फोटोग्राफर के रूप में सोचें जो चलती हुई कार को एक एकल, स्थिर तस्वीर लेकर कैद करने की कोशिश करता है। यह अच्छा है, लेकिन यह गति को छोड़ देता है।
फेज़-एसोसिएटिव मेमोरी (PAM) एक वीडियो ग्राफर की तरह है। यह गति, समय और प्रवाह को पकड़ता है। यह समझता है कि कार केवल एक स्थिर वस्तु नहीं है; यह एक गतिशील घटना है। जटिल संख्याओं और "फेज़" (समय) का उपयोग करके, PAM भाषा को मृत तथ्यों की सूची के बजाय एक जीवित, सांस लेती लहर के रूप में देखता है।
यह ऐसे AI की ओर पहला कदम है जो केवल जानकारी को "प्राप्त" नहीं करता, बल्कि वास्तव में उसका "व्याख्या" करता है, बिल्कुल वैसे ही जैसे एक इंसान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।