WavePhaseNet: A DFT-Based Method for Constructing Semantic Conceptual Hierarchy Structures (SCHS)
यह शोधपत्र WavePhaseNet का प्रस्ताव करता है, जो एक ऐसी विधि है जो डिस्क्रीट फूरियर ट्रांसफॉर्म के माध्यम से एक सिमेंटिक कॉन्सेप्चुअल पदानुक्रम संरचना (Semantic Conceptual Hierarchy Structure) का निर्माण करने के लिए माप सिद्धांत (measure theory) और आवृत्ति विश्लेषण (frequency analysis) के माध्यम से LLM अटेंशन मैकेनिज्म को पुनर्गठित करती है, जिससे मतिभ्रम (hallucinations) को कम करने और तार्किक निरंतरता को लागू करने के लिए आयामी न्यूनीकरण (dimensionality reduction) और कोहोमोलॉजिकल रेगुलराइजेशन (cohomological regularization) को सैद्धांतिक रूप से सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कंप्यूटर को मानव भाषा समझने के लिए सिखाने की कोशिश कर रहे हैं। लंबे समय से, हमने इसे करने के लिए "ट्रांसफॉर्मर" (Transformer) नामक एक उपकरण का उपयोग किया है। ट्रांसफॉर्मर को एक बहुत तेज़, बहुत ध्यान देने वाले पाठक के रूप में सोचें जो एक वाक्य को शब्द दर शब्द स्कैन करता है, और जो पहले आया है उसके आधार पर अगले शब्द का अनुमान लगाता है। यह कहानियाँ लिखने और बातचीत करने में अद्भुत है, लेकिन इसमें एक अजीब सी खामी है: कभी-कभी यह पूरे आत्मविश्वास के साथ मनगढ़ंत बातें बना देता है। हम इन मनगढ़ंत तथ्यों को "हैलुसिनेशन" (hallucinations) कहते हैं।
ऐसा क्यों होता है? यह शोध पत्र सुझाव देता है कि ऐसा केवल इसलिए नहीं है क्योंकि कंप्यूटर ने पर्याप्त पढ़ाई नहीं की है। इसके बजाय, यह एक संरचनात्मक समस्या है, जैसे केवल सीधी रेखाओं का उपयोग करके एक आदर्श वृत्त बनाने की कोशिश करना। कंप्यूटर भाषा को संभावनाओं के एक सुचारू, गणितीय औसत के रूप में देखता है, लेकिन वास्तविक दुनिया अव्यवस्थित, ऊबड़-खाबड़ और विशिष्ट सत्यों से भरी होती है जो हमेशा उन सुचारू औसतों में फिट नहीं बैठते। इसे ठीक करने के लिए, लेखक भाषा को देखने का एक नया तरीका प्रस्तावित करते हैं, न कि केवल शब्दों की एक सूची के रूप में, बल्कि अलग-अलग संगीत के सुरों (musical notes) वाले एक गीत के रूप में। वे डिस्क्रीट फूरियर ट्रांसफॉर्म (Discrete Fourier Transform - DFT) नामक एक गणितीय उपकरण का उपयोग करते हैं, जो वही गणित है जिसका उपयोग एक जटिल ध्वनि तरंग को सरल आवृत्तियों (जैसे बास, मिड-रेंज और ट्रेबल) की एक सूची में बदलने के लिए किया जाता है। वाक्य को संगीत की तरह मानकर, वे उम्मीद करते हैं कि वे "बड़ी तस्वीर" के अर्थ को "छोटे विवरणों" से अलग कर सकेंगे, जिससे कंप्यूटर का भ्रमित होना और मनगढ़ंत बातें बनाना कठिन हो जाएगा।
समस्या: जब गणित बहुत अधिक सुचारू (Smooth) हो जाता है
लेखक, कियोताका कासुबुची और काज़ुओ फुकिया, यह बताते हुए शुरुआत करते हैं कि वर्तमान AI मॉडल कैसे काम करते हैं, उनमें एक मौलिक दोष है। उनका तर्क है कि ये मॉडल भाषा के साथ इस तरह व्यवहार करते हैं जैसे वह एक सुचारू, निरंतर वक्र (curve) हो जहाँ सब कुछ आपस में मिल जाता है। हालाँकि, वास्तविक दुनिया में, सत्य अक्सर ऊबड़-खाबड़ और विशिष्ट होता है। जब मॉडल अगले शब्द के लिए "सबसे संभावित" विकल्प खोजने के लिए सभी संभावनाओं का औसत निकालने की कोशिश करता है, तो वह कभी-कभी एक ऐसा वाक्य बना देता है जो व्याकरणिक रूप से तो एकदम सही लगता है लेकिन पूरी तरह से गलत होता है। यह कोई बग नहीं है; लेखकों का सुझाव है कि यह स्वयं गणित की एक विशेषता है। क्योंकि मॉडल औसत पर आधारित है, यह वास्तविकता के तीखे, गैर-औसत सत्यों का पूर्ण प्रतिनिधित्व नहीं कर सकता।
समाधान: वाक्यों को संगीत में बदलना
इसे ठीक करने के लिए, शोध पत्र वेवफेज़नेट (WavePhaseNet) नामक एक नई विधि पेश करता है। कल्पना कीजिए कि आपके पास कागज के एक टुकड़े पर लिखा हुआ एक वाक्य है। पुराने तरीके में, कंप्यूटर इसे बाएं से दाएं, शब्द दर शब्द पढ़ता है। वेवफेज़नेट में, कंप्यूटर पहले उस वाक्य को एक संगीतमय कॉर्ड (chord) में बदल देता है।
डिस्क्रीट फूरियर ट्रांसफॉर्म (DFT) नामक एक गणितीय प्रक्रिया का उपयोग करके, मॉडल वाक्य को विभिन्न "आवृत्तियों" (frequencies) में तोड़ देता है, ठीक वैसे ही जैसे एक साउंड इंजीनियर एक गाने को बास, ड्रम और वोकल्स में अलग करता है।
- कम आवृत्तियाँ (Low Frequencies): ये वाक्य के "बास" का प्रतिनिधित्व करती हैं—बड़ी तस्वीर, मुख्य विषय और समग्र इरादा। (उदाहरण के लिए, "यह कहानी एक बिल्ली के बारे में है।")
- उच्च आवृत्तियाँ (High Frequencies): ये वाक्य के "ट्रेबल" का प्रतिनिधित्व करती हैं—तेज़ बदलाव, विशिष्ट व्याकरण और अभिव्यक्ति के छोटे विवरण। (उदाहरण के लिए, "बिल्ली मैट पर बैठी है।")
लेखकों का प्रस्ताव है कि इन आवृत्तियों को अलग करके, कंप्यूटर "बड़े विचार" और "छोटे विवरणों" को अलग-अलग तरीके से संभाल सकता है। यह मुख्य अर्थ (कम आवृत्तियों) को लॉक कर सकता है ताकि वह भटक न जाए, जबकि विवरणों (उच्च आवृत्तियों) को बदलने की अनुमति दे सकता है। यह एक सिमेंटिक कॉन्सेप्चुअल हायराकी स्ट्रक्चर (Semantic Conceptual Hierarchy Structure - SCHS) बनाता है, जो एक फैंसी तरीका है यह कहने का कि कंप्यूटर चीजों के अर्थ का एक स्पष्ट, व्यवस्थित मानचित्र बनाता है, न कि केवल अनुमानों का एक धुंधला बादल।
जादुई संख्या: मस्तिष्क को छोटा करना
इस नए तरीके के बारे में सबसे आश्चर्यजनक दावा यह है कि इसे कितनी जगह की आवश्यकता है। वर्तमान शक्तिशाली मॉडल, जैसे कि GPT-4 के पीछे का मॉडल, जानकारी संग्रहीत करने के लिए बहुत अधिक स्थान का उपयोग करते हैं—विशेष रूप से, 24,576 आयाम (dimensions) (इन्हें 24,576 अलग-अलग स्लाइडर्स या नॉब्स के रूप में सोचें जो किसी शब्द के अर्थ को नियंत्रित करते हैं)।
लेखकों का सुझाव है कि चूंकि भाषा एक प्राकृतिक पैटर्न जिसका नाम जिपफ का नियम (Zipf's Law) है (जहाँ कुछ शब्दों का बहुत बार उपयोग किया जाता है और कई का बहुत कम), उसका पालन करती है, इसलिए वाक्य की ऊर्जा निचली आवृत्तियों में केंद्रित होती है। उन्होंने एक गणितीय विश्लेषण किया और पाया कि मूल अर्थ को बरकरार रखने के लिए आपको सभी 24,576 आयामों की आवश्यकता नहीं है।
उन्होंने गणना की कि आप मूल अर्थ या इरादे को खोए बिना अपने मॉडल को केवल 3,000 आयामों तक सिकोड़ सकते हैं। यह वैसा ही है जैसे यह महसूस करना कि फिल्म का आनंद लेने के लिए आपको 4K टीवी की आवश्यकता नहीं है; कहानी को स्पष्ट रूप से देखने के लिए एक उच्च गुणवत्ता वाला 1080p स्क्रीन पर्याप्त है। 24,576 से 3,000 तक आकार को कम करके, मॉडल अधिक कुशल हो जाता है और महत्वपूर्ण रूप से, हैलुसिनेशन की संभावना कम हो जाती है क्योंकि इसे उच्च आवृत्तियों के शोर में खो जाने के बजाय आवश्यक "कम-आवृत्ति" वाले सत्य पर ध्यान केंद्रित करने के लिए मजबूर किया जाता है।
टुकड़ों को जोड़ना: "कोहोमोलॉजी" (Cohomology) का कमाल
संगीत के उदाहरण के बावजूद, अभी भी जोखिम बना रहता है कि कंप्यूटर वाक्य के विभिन्न हिस्सों को देखते समय भ्रमित हो सकता है। इसे हल करने के लिए, लेखक कोहोमोलॉजी (cohomology) नामक गणित की एक शाखा का उपयोग करते हैं।
कल्पना कीजिए कि आप एक विशाल पहेली को जोड़ने की कोशिश कर रहे हैं, लेकिन आपके पास केवल दोस्तों के छोटे समूह हैं जो अलग-अलग हिस्सों को देख रहे हैं। कभी-कभी, मित्र A सोचता है कि एक टुकड़ा एक दिशा में जाता है, और मित्र B सोचता है कि वह दूसरी दिशा में जाता है। पुराने मॉडलों में, इन असहमतियों को बस औसत निकालकर सुचारू कर दिया जाता था, जिससे एक टूटी हुई तस्वीर बनती थी।
वेवफेज़नेट इन स्थानीय समूहों को एक नेटवर्क के रूप में मानता है। यह जाँचता है कि क्या वाक्य के विभिन्न हिस्सों से आने वाले "स्थानीय विचार" एक-दूसरे से सहमत हैं। यदि वे नहीं हैं, तो यह एक "असहमति स्कोर" (जिसे कोबाउंड्री/coboundary कहा जाता है) की गणना करता है। सिस्टम फिर हॉज डिकंपोजिशन (Hodge decomposition) नामक एक गणितीय तकनीक का उपयोग करता है ताकि "हारमोनिक" समाधान (harmonic solution) खोजा जा सके—वह संस्करण जो सभी स्थानीय टुकड़ों में अधिकतम रूप से सुसंगत है। यह एक रेफरी की तरह है जो यह सुनिश्चित करता है कि कहानी का हर हिस्सा पूरे हिस्से के साथ यथासंभव सहमत हो, जिससे AI को एक वाक्य में "बिल्ली मैट पर है" कहने और अगले वाक्य में "बिल्ली उड़ रही है" कहने से रोकने में मदद मिलती है। हालाँकि, शोध पत्र नोट करता है कि कुछ "वास्तविक बाधाएं" या अपरिहार्य अर्थ संबंधी विरोधाभास अभी भी बने रह सकते हैं, जिन्हें सिस्टम पूरी तरह से समाप्त करने के बजाय कम करने का लक्ष्य रखता है।
भविष्य के लिए इसका क्या अर्थ है
यह शोध पत्र यह दावा नहीं करता है कि इसने AI को हमेशा के लिए हल कर दिया है, बल्कि यह समस्या को देखने का एक नया तरीका प्रदान करता है। मॉडल पर केवल अधिक डेटा डालने के बजाय, यह इसके नीचे के गणित को बदलने का सुझाव देता है। भाषा को आवृत्ति-आधारित पदानुक्रम (hierarchy) के रूप में मानकर और निरंतरता सुनिश्चित करने के लिए इन "हारमोनिक" जाँचों का उपयोग करके, लेखकों का मानना है कि हम ऐसा AI बना सकते हैं जो अधिक तार्किक रूप से तर्क करता है और हैलुसिनेशन को रोकता है।
वे दिखाते हैं कि DFT का उपयोग करके "इरादे" को "अभिव्यक्ति" से अलग करके, और मॉडल को इसके आवश्यक 3,000 आयामों तक सिकोड़कर, हम एक ऐसी प्रणाली बना सकते है जो न केवल तेज़ है बल्कि अधिक सटीक भी है। यह AI से "अगले शब्द का अनुमान लगाने" के बजाय उसे "नोट बजाने से पहले गाना समझने" के लिए कहने की ओर एक बदलाव है। हालांकि यह शोध पत्र सैद्धांतिक है और गणितीय प्रमाणों एवं सिमुलेशन पर निर्भर है, यह एक ऐसे भविष्य के लिए एक सम्मोहक ब्लूप्रिंट प्रदान करता है जहाँ AI हैलुसिनेशन को काफी हद तक कम किया जा सकता है, और उन्हें अर्थ की अधिक कठोर, गणितीय रूप से सुदृढ़ समझ से बदला जा सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।