Diffusion Language Models as Open Quantum Systems
यह शोध पत्र सुपरपोजिशन-आधारित जनरेशन (SoP/SoT) को सक्षम करने के लिए ओपन क्वांटम सिस्टम के भीतर डिफ्यूजन लैंग्वेज मॉडल्स को एम्बेड करने वाला एक ढांचा स्थापित करता है और एक कॉन्फिडेंस-ड्रिवन टोकन रिवीजन मैकेनिज्म (QIR) पेश करता है, जिससे टेक्स्ट जनरेशन की क्षमताओं को क्लासिकल डिस्क्रीट स्टेट्स से आगे बढ़ाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, कंप्यूटर टेक्स्ट लिखने में उल्लेखनीय रूप से कुशल हो गए हैं, जो अक्सर मानवीय शैली की इतनी बारीकी से नकल करते हैं कि अंतर धुंधला हो जाता है। इनमें से अधिकांश सिस्टम इस तरह काम करते हैं जैसे कोई व्यक्ति एक वाक्य को पढ़ रहा हो और एक-एक करके, एक सीधी रेखा में अगले शब्द का अनुमान लगा रहा हो। यह तरीका तेज़ और प्रभावी है, लेकिन इसकी प्रकृति कठोर है; एक बार जब कोई शब्द चुन लिया जाता है, तो आगे का रास्ता तय हो जाता है, और सिस्टम आसानी से पिछले विकल्पों पर पुनर्विचार नहीं कर सकता या विभिन्न विचारों को एक एकल आउटपुट में मिश्रित नहीं कर सकता। एक नया दृष्टिकोण, जिसे 'डिफ्यूजन' (diffusion) के रूप में जाना जाता है, सोचने का एक अलग तरीका पेश करता है। वाक्य को शुरुआत से बनाने के बजाय, डिफ्यूजन मॉडल यादृच्छिक शब्दों के एक बिखरे हुए ढेर से शुरू करते हैं और धीरे-धीरे इसे साफ करते हैं, शोर (noise) को एक सुसंगत कहानी में परिष्कृत करते हैं। यह प्रक्रिया इस तरह है जैसे एक धुंधली तस्वीर धीरे-धीरे एक स्पष्ट छवि में बदल जाती है, लेकिन इसे भाषा पर लागू किया गया है। हालांकि इस तकनीक ने बड़ी संभावना दिखाई है, शोधकर्ता लंबे समय से यह जानने के लिए उत्सुक रहे हैं कि क्या इन मॉडलों के विकसित होने के तरीके को नियंत्रित करने वाला कोई गहरा गणितीय ढांचा है, जो टेक्स्ट उत्पन्न करने के अधिक लचीले और रचनात्मक तरीकों को खोल सके।
जापान के शोधकर्ताओं की एक टीम ने अब इन भाषा मॉडलों और अत्यंत सूक्ष्म भौतिकी के बीच एक आश्चर्यजनक संबंध प्रस्तावित किया है। उनका सुझाव है कि एक डिफ्यूजन मॉडल जिस तरह से एक वाक्य को साफ करता है, उसे "ओपन क्वांटम सिस्टम्स" (open quantum systems) के नजरिए से समझा जा सकता है, जो एक ऐसा ढांचा है जिसका उपयोग यह वर्णन करने के लिए किया जाता है कि कैसे सूक्ष्म कण अपने परिवेश के साथ परस्पर क्रिया करते हैं। क्वांटम दुनिया में, कण 'सुपरपोजिशन' (superposition) की स्थिति में हो सकते हैं, जिसका अर्थ है कि वे देखे जाने तक एक साथ कई स्थानों या अवस्थाओं में हो सकते हैं। शोधकर्ताओं ने पाया कि वे अपने टेक्स्ट-जनरेटिंग एआई के व्यवहार को इस क्वांटम ढांचे पर मैप कर सकते हैं। ऐसा करके, उन्होंने विभिन्न संभावित वाक्यों को अलग-अलग, प्रतिस्पर्धी विकल्पों के रूप में नहीं, बल्कि ओवरलैपिंग संभावनाओं के रूप में माना जो एक साथ विकसित होती हैं। इस दृष्टिकोण में बदलाव ने उन्हें टेक्स्ट उत्पन्न करने का एक नया तरीका बनाने की अनुमति दी जहाँ मॉडल केवल एक पथ नहीं चुनता और उस पर टिका नहीं रहता, बल्कि कई संभावित कथाओं को एक साथ आगे बढ़ाता है, जिससे वे अंतिम परिणाम पर स्थिर होने से पहले एक-दूसरे को प्रभावित कर सकें।
इस विचार का परीक्षण करने के लिए, टीम ने एक विशिष्ट सैंपलिंग तकनीक विकसित की जो इन क्वांटम जैसी अवस्थाओं के सिमुलेशन के रूप la कार्य करती है। उन्होंने मॉडल को दो अलग-अलग प्रॉम्प्ट फीड करके शुरुआत की, जैसे कि एक समृद्ध जंगल में सेट की गई कहानी लिखने का अनुरोध और दूसरा बर्फीले शीतकालीन परिदृश्य में सेट की गई कहानी लिखने का अनुरोध। एक प्रॉम्प्ट को चुनने और दूसरे को अनदेखा करने के बजाय, मॉडल को दोनों को सुपरपोजिशन में रखने का निर्देश दिया गया। जैसे-जैसे जनरेशन की प्रक्रिया आगे बढ़ी, मॉडल ने तुरंत यह निर्णय नहीं लिया कि कौन सी कहानी सुनानी है। इसके बजाय, इसने एक ऐसा टेक्स्ट तैयार किया जो दोनों वातावरणों की विशेषताओं को मिश्रित करता था। परिणामी कहानियों में अक्सर दोनों वातावरणों के तत्व शामिल थे—जैसे कि गर्म, जीवंत जंगल और ठंडी, शांत बर्फ—जिससे एक ऐसी कथा बनी जो दो अलग-अलग परिवेशों का एक अनूठा संगम महसूस हुई। जब शोधकर्ताओं ने यह मापने के लिए इन मिश्रित कहानियों की समानता की जांच की कि वे मूल प्रॉम्प्ट के कितने करीब थीं, तो उन्होंने पाया कि आउटपुट में उस प्रॉम्प्ट की महत्वपूर्ण जानकारी बरकरार थी जिसे अंततः अंतिम उत्तर के रूप में नहीं चुना गया था। यह सुझाव देता है कि मॉडल ने अनचुनी विचार की "छाया" (ghost) को पूरी प्रक्रिया के दौरान सफलतापूर्वक बनाए रखा, जिससे यह अंतिम टेक्स्ट को उस तरह से आकार देने में सक्षम हुआ जो एक मानक मॉडल नहीं कर पाता।
शोधकर्ताओं ने टेक्स्ट की गुणवत्ता में सुधार करने के लिए भी इस क्वांटम-प्रेरित सोच का उपयोग किया। मानक डिफ्यूजन मॉडल्स में, एक बार जब कोई शब्द प्रकट हो जाता है, तो वह आमतौर पर वहीं रहता है। हालांकि, यह नई विधि मॉडल को उन शब्दों को "रीमास्क" (remask) करने की अनुमति देती है जिनके बारे में वह कम आश्वस्त है, जो अनिवार्य रूप से उसे अपना मन बदलने और फिर से प्रयास करने की अनुमति देती है। शब्द को बदलने के निर्णय को मॉडल की अनिश्चितता द्वारा संचालित एक भौतिक प्रक्रिया मानकर, उन्होंने एक ऐसा नियम बनाया जो केवल उन हिस्सों को लक्षित करता है जिन्हें सबसे अधिक काम की आवश्यकता होती है। उनके प्रयोगों ने दिखाया कि इसमें समय का महत्व सर्वोपरि है। यदि मॉडल प्रक्रिया के बहुत जल्दी शब्दों को बदलना शुरू कर देता है, तो टेक्स्ट दोहराव वाला हो जाता है और विविधता खो देता है। लेकिन यदि मॉडल जनरेशन प्रक्रिया के मध्य में इस परिशोधन (refinement) को शुरू करने के लिए प्रतीक्षा करता है, तो परिणामी टेक्स्ट काफी बेहतर होता है। बड़े भाषा मॉडलों का उपयोग करके गुणवत्ता को आंकने वाले परीक्षणों में, मध्य-प्रक्रिया परिशोधन के साथ उत्पन्न टेक्स्ट को साठ प्रतिशत से अधिक समय में मानक आउटपुट की तुलना में अधिक पसंद किया गया। यह सुधार मूल मॉडल को पुन: प्रशिक्षित किए बिना, केवल जनरेशन प्रक्रिया को निर्देशित करने के तरीके को बदलकर प्राप्त किया गया।
यह अध्ययन यह दावा नहीं करता है कि ये कंप्यूटर वास्तव में क्वांटम मशीनें हैं या वे क्वांटम हार्डवेयर पर गणना कर रहे हैं। बल्कि, शोधकर्ताओं ने शास्त्रीय कंप्यूटरों के व्यवहार का वर्णन करने और उसे नियंत्रित करने के लिए एक शक्तिशाली उपकरण के रूप में क्वांटum भौतिकी की गणितीय भाषा का उपयोग किया। सुपरपोजिशन और क्वांटम जम्प्स जैसी अवधारणाओं को उधार लेकर, उन्होंने टेक्स्ट कैसे बनाया जा सकता है, इसके लिए एक नया डिज़ाइन स्पेस खोला। निष्कर्ष बताते हैं कि भाषा निर्माण की गतिशीलता के बारे में अभी भी बहुत कुछ सीखना बाकी है और भौतिकी की खिड़की के माध्यम से इन प्रक्रियाओं को देखना नियंत्रण के छिपे हुए साधनों को प्रकट कर सकता है। हालांकि वर्तमान कार्य मानक हार्डवेयर पर एक सिमुलेशन है, लेकिन उन्होंने जो ढांचा बनाया है वह भविष्य के सिस्टम के लिए एक ब्लूप्रिंट प्रदान करता है जो एक दिन वास्तविक क्वांटम कंप्यूटरों पर चल सकते हैं, जिससे संभावित रूप से और भी अधिक जटिल और सुसंगत रचनात्मक अभिव्यक्ति संभव हो सकेगी। फिलहाल, यह कार्य एक प्रमाण है कि उप-परमाणु (subatomic) दुनिया को नियंत्रित करने वाले नियम यह समझने के नए तरीके प्रदान कर सकते हैं कि मशीनें बोलना कैसे सीखती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।