Quantum Optical Reinforcement Learning via Spectrum-Resolved Hong-Ou-Mandel Interference
यह शोध पत्र एक स्पेक्ट्रम-रिज़ॉल्व्ड हों-ओ-मैन्डल (SR-HOM) ऑप्टिकल आर्किटेक्चर प्रस्तुत करता है जो निरंतर-एक्शन सुदृढीकरण शिक्षण (continuous-action reinforcement learning) के लिए फोटॉन स्पेक्ट्रल डिग्री ऑफ फ्रीडम का लाभ उठाता है, जो न्यूरल नेटवर्क बेसलाइन की तुलना में बेहतर सैंपल दक्षता और प्रदर्शन प्रदर्शित करता है और ड्रिफ्टेड क्वांटम गेट्स में उच्च फिडेलिटी को सफलतापूर्वक पुनर्स्थापित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल सिलिकॉन चिप्स के साथ संख्याएँ नहीं जोड़ते, बल्कि प्रकाश के साथ नृत्य करते हैं। यह क्वांटम ऑप्टिक्स (quantum optics) का क्षेत्र है, जहाँ वैज्ञानिक सूचना को प्रोसेस करने के लिए प्रकाश के सूक्ष्म कणों, जिन्हें फोटॉन कहा जाता है, का उपयोग करते हैं। इस दुनिया में सबसे प्रसिद्ध करतबों में से एक है होंग-ओ-उ-मैंडल (HOM) प्रभाव। कल्पना कीजिए कि दो समान फोटॉन एक जादुई चौराहे (बीम स्प्लिटर) पर बिल्कुल एक ही समय पर पहुँचते हैं। अपने अलग-अलग रास्तों पर जाने के बजाय, वे शर्मीले होकर एक साथ जुड़ जाते हैं और चौराहे से एक जोड़ी के रूप में बाहर निकलते हैं। वे कितनी बार एक साथ जुड़ते हैं, इसकी गणना करके वैज्ञानिक यह माप सकते हैं कि दोनों फोटॉन कितने समान हैं। इस "समानता जाँच" का उपयोग सरल ऑप्टिकल मस्तिष्क बनाने के लिए किया गया है, लेकिन अब तक, वे एक आँखों पर पट्टी बँधे हुए जज की तरह थे: वे आपको बता सकते थे कि दो चीजें समान थीं या नहीं, लेकिन वे आपको यह नहीं बता सकते थे कि वे कैसे समान थीं या विस्तृत रिपोर्ट नहीं दे सकते थे।
यह सीमा तब समस्या बन जाती है जब आप इन ऑप्टिकल मस्तिष्कों को जटिल कौशल, जैसे कि रीइन्फोर्समेंट लर्निंग (reinforcement learning) सिखाने की कोशिश करते हैं। रीइन्फोर्समेंट लर्निंग को एक कुत्ते को प्रशिक्षित करने के रूप में सोचें: कुत्ता एक क्रिया करता है, उसे इनाम (पुरस्कार) मिलता है या डाँट (दंड) मिलती है, और वह अगली बार बेहतर करने के लिए सीखता है। एक कुत्ते को रस्सी पर चलने (एक जटिल कार्य) के लिए प्रशिक्षित करने हेतु, आपको केवल एक साधारण "अच्छा काम किया" या "बुरा काम किया" से अधिक की आवश्यकता होती है। आपको एक ऐसे कोच की आवश्यकता है जो विशिष्ट, निरंतर निर्देश दे सके, जैसे कि "थोड़ा और बाईं ओर झुकें" या "अपने कदमों की गति बढ़ाएं।" पुराने ऑप्टिकल मस्तिष्क केवल एक एकल "हाँ/ना" स्कोर दे सकते थे, जो इन कठिन, निरंतर कार्यों के लिए पर्याप्त नहीं था। वे सरल विकल्पों की दुनिया में फंसे हुए थे, जो वास्तविक दुनिया के नियंत्रण की बारीकियों को संभालने में असमर्थ थे।
यहाँ वू (Wu), जू (Xu) और उनकी टीम द्वारा एक नया अध्ययन पेश किया गया है, जिन्होंने इन ऑप्टिकल मस्तिष्कों को उच्च-परिभाषा (high-definition) वाले चश्मे दिए हैं। उन्होंने स्पेक्ट्रम-रिज़ॉल्व्ड एचओएम (SR-HOM) नामक एक नया आर्किटेक्चर पेश किया है। केवल यह पूछने के बजाय कि, "क्या फोटॉन एक साथ जुड़े थे?" और एक संख्या प्राप्त करने के बजाय, उनका नया सिस्टम पूछता है, "क्या वे इस विशिष्ट रंग पर एक साथ जुड़े थे?" और "उस रंग पर क्या हुआ?" प्रकाश को उसके विभिन्न रंगों (आवृत्तियों) में विभाजित करके और प्रत्येक के लिए जोड़ों की गणना करके, वे एक एकल संख्या को सूचना के एक समृद्ध, रंगीन मानचित्र में बदल देते हैं।
शोधकर्ताओं ने इस रंगीन मानचित्र का उपयोग करके एक कॉम्पैक्ट "एक्टर-क्रिटिक" (actor-critic) एजेंट बनाया। प्रशिक्षण की दुनिया में, एक्टर (Actor) वह है जो निर्णय लेता है कि क्या करना है (क्रिया), और क्रिटिक (Critic) वह है जो यह न्याय करता है कि वह निर्णय कितना अच्छा था (मूल्य)। इस नए ऑप्टिकल सेटअप में, एक्टर चिकनी, निरंतर क्रियाओं को उत्पन्न करने के लिए रंगीन मानचित्र की विकर्ण रेखाओं (diagonal lines) को देखता है, जबकि क्रिटिक यह अनुमान लगाने के लिए कि एजेंट कितना अच्छा प्रदर्शन कर रहा है, मानचित्र के अधिक जटिल पैटर्न को देखता है। यह एक ट्रैफिक लाइट से अपग्रेड करने जैसा है जो केवल "जाओ" या "रुको" कहती है, एक स्मार्ट नेविगेशन सिस्टम में जो कह सकता है, "200 फीट में बाएं मुड़ें, फिर धीमे हो जाएं क्योंकि आगे गड्ढा है।"
जब टीम ने इस नए ऑप्टिकल मस्तिष्क का परीक्षण पांच अलग-अलग जटिल वीडियो-गेम जैसे चुनौतियों (एक स्पेसशिप को लैंड कराने से लेकर एक डबल-पोल रोबोट को संतुलित करने तक) पर किया, तो परिणाम प्रभावशाली थे। इन सिमुलेशनों में, SR-HOM एजेंट एक मानक डिजिटल कंप्यूटर प्रोग्राम (एक मल्टीलेयर पर्सेप्ट्रॉन) की तुलना में बहुत तेज़ी से और अधिक विश्वसनीयता से सीखा, जिसमें समान संख्या में "नॉब्स" (नियंत्रण बटन) थे। उदाहरण के लिए, "लूनर लैंडर" (LunarLander) कार्य में, ऑप्टिकल एजेंट ने केवल 666 प्रयासों में लक्ष्य प्राप्त कर लिया, जबकि डिजिटल ने 2,935 प्रयासों की आवश्यकता महसूस की—जो कि दक्षता में 4.4 गुना भारी सुधार है। ऑप्टिकल एजेंट स्थिर भी रहा और लक्ष्य तक पहुँचने के बाद अक्सर क्रैश नहीं हुआ।
टीम यहीं नहीं रुकी; उन्होंने इस प्रणाली का उपयोग वास्तविक दुनिया के क्वांटम कंप्यूटरों को ठीक करने के लिए उपयोग करने के सिमुलेशन भी किए। उन्होंने इसे दो क्वांटम बिट्स (क्यूबिट्स) के बीच बातचीत को नियंत्रित करने वाले "नॉब्स" को कैलिब्रेट करने के लिए टेस्ट किया। पर्यावरणीय शोर के कारण ये मशीनें समय के साथ ताल से भटक जाती हैं, ठीक वैसे ही जैसे गिटार का तार सुर से भटक जाता है। SR-HОМ एजेंट शोर वाले संकेतों को सुनने और नियंत्रण पल्सों में सूक्ष्म, निरंतर समायोजन करने में सक्षम था। सिमुलेशन में, इसने क्वांटम गेट्स के प्रदर्शन को लगभग 99.2% और 99.5% सटीकता तक सफलतापूर्वक बहाल किया, जिससे ड्रिफ्ट (भटकाव) के कारण खोया हुआ लगभग सारा प्रदर्शन वापस मिल गया।
हालाँकि ये परिणाम वर्तमान में सिमुलेशन और संख्यात्मक प्रयोगों पर आधारित हैं, वे एक उज्ज्वल भविष्य का संकेत देते हैं जहाँ प्रकाश-आधारित सिस्टम जटिल कार्यों के लिए कुशल, कॉम्पैक्ट कोच के रूप में कार्य कर सकते हैं। एक साधारण "समानता जाँच" को एक विस्तृत, बहु-रंगीन संवाद में बदलकर, यह कार्य दिखाता है कि क्वांटम ऑप्टिकल प्लेटफॉर्म अब निरंतर नियंत्रण के भारी कार्यों को संभालने के लिए तैयार हो सकते हैं, जो कल के बुद्धिमान एजेंटों को प्रशिक्षित करने का एक नया, ऊर्जा-कुशल तरीका प्रदान करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।