First Experimental Demonstration of Reinforcement Learning-Based Tuning on the PSI Injector 2 Cyclotron
यह शोध पत्र एक सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) आधारित ढांचे के पहले प्रयोगात्मक प्रदर्शन को प्रस्तुत करता है जिसे सफलतापूर्वक PSI इंजेक्टर 2 साइक्लोट्रॉन पर तैनात किया गया है, जहाँ एक एजेंट ने 12 दिनों के अभियान के भीतर कई ऑपरेटिंग पॉइंट्स और उच्च धाराओं (800 μA तक) में सुदृढ़, कम-हानि वाले बीम ट्यूनिंग को प्राप्त किया, जो उच्च-शक्ति त्वरक अनुप्रयोगों के लिए स्वचालित ट्यूनिंग की व्यवहार्यता को सिद्ध करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक विशाल, उच्च-गति वाले ट्रैक की कल्पना करें जो प्रोटॉन जैसे सूक्ष्म कणों के लिए बना है। यह कारों के लिए कोई ट्रैक नहीं है, बल्कि एक विशाल मशीन है जिसे साइक्लोट्रॉन (cyclotron) कहा जाता है, जो इन कणों को एक सर्पिल (spiral) में घुमाकर उनकी गति बढ़ाती है, जब तक कि वे प्रकाश की गति के एक महत्वपूर्ण अंश तक न पहुँच जाएँ। वैज्ञानिक इन सुपर-फास्ट कणों का उपयोग नई सामग्रियाँ बनाने, ब्रह्मांड के निर्माण खंडों का अध्ययन करने और यहाँ तक कि परमाणु कचरे को साफ करने के तरीकों को समझने में भी करते हैं। लेकिन पेचीदा हिस्सा यह है: इस ट्रैक को सुचारू रूप से चलाना अविश्वसनीय रूप से कठिन है। यह मशीन तापमान, चुंबकीय क्षेत्र और यहाँ तक कि घूमते हुए कणों की संख्या में होने वाले सूक्ष्म बदलावों के प्रति भी बहुत संवेदनशील है। यदि चीजें थोड़ी भी पटरी से उतरती हैं, तो कणों की बीम अपने लक्ष्य से चूक सकती है या दीवारों से टकरा सकती है, जिससे मशीन बंद हो सकती है।
परंपरागत रूप से, इन मशीनों को ठीक करना एक विशाल, जटिल ऑर्केस्ट्रा को बजते समय ट्यून करने जैसा है। विशेषज्ञों की एक टीम को संगीत सुनना पड़ता है, यह अनुमान लगाना पड़ता है कि कौन सा वाद्य यंत्र सुर से बाहर है, और फिर उसे ठीक करने के लिए मैन्युअल रूप से नॉब्स (knobs) घुमाने पड़ते हैं। इसमें बहुत समय लगता है, और यदि मशीन में अचानक कोई खराबी आ जाए, तो विशेषज्ञ शो को जारी रखने के लिए उसे उतनी तेज़ी से ठीक नहीं कर पाते। बड़ा सवाल यह है कि क्या हम एक कंप्यूटर को 'कंडक्टर' बनना सिखा सकते हैं? क्या हम आर्टिफिशियल इंटेलिजेंस (AI) का उपयोग कर सकते हैं जो मशीन को सुन सके, यह पता लगा सके कि क्या गलत है, और खुद ही तुरंत उसे ठीक कर सके? यहीं पर "रीइन्फोर्समेंट लर्निंग" (Reinforcement Learning) की कहानी आती है। इसे एक कुत्ते को प्रशिक्षित करने जैसा समझें: आप उसे एक कमांड देते हैं, वह कुछ प्रयास करता है, और यदि वह अच्छा करता है, तो आप उसे इनाम (ट्रीट) देते हैं। यदि वह गलती करता है, तो आप उसे इनाम नहीं देते। धीरे-धीरे कुत्ता सीख जाता है कि सबसे अधिक इनाम पाने के लिए उसे क्या करना चाहिए। इस मामले में, "कुत्ता" एक कंप्यूटर प्रोग्राम है, और "इनाम" एक पूरी तरह से ट्यून की गई कण बीम (particle beam) है।
स्विट्जरलैंड के पॉल शेरर इंस्टीट्यूट में हाल ही में हुए एक प्रयोग में, वैज्ञानिकों की एक टीम ने यह देखने का निर्णय लिया कि क्या यह "डिजिटल डॉग" वास्तव में एक वास्तविक, उच्च-शक्ति वाले पार्टिकल एक्सेलेरेटर को ट्यून करना सीख सकता है। उन्होंने एक मशीन को चुना जिसे 'इंजेक्टर 2 साइक्लोट्रॉन' कहा जाता है, जो एक बड़ी सुविधा का एक महत्वपूर्ण हिस्सा है जो दुनिया के सबसे तीव्र प्रोटॉन बीमों में से कुछ का उत्पादन करती है। शोधकर्ताओं ने केवल एक साधारण कंप्यूटर प्रोग्राम नहीं लिखा; उन्होंने एक रीइन्फोर्समेंट लर्निंग (RL) एजेंट बनाया। इस एजेंट को एक सुपर-फास्ट, अथक ट्यूनर के रूप में डिज़ाइन किया गया था जो मशीन की वर्तमान स्थिति को देख सकता था और यह तय कर सकता था कि बीम को एकदम सटीक बनाने के लिए किन नॉब्स को घुमाना है।
टीम ने परीक्षण का 12-दिवसीय मैराथन आयोजित किया। उन्होंने AI को बहुत कम, सुरक्षित पावर लेवल पर सिखाना शुरू किया, जिससे उसे बिना किसी वास्तविक नुकसान के गलतियाँ करने और उनसे सीखने का मौका मिला। उन्होंने AI को एक विशेष "रिवॉर्ड सिस्टम" दिया। हर बार जब बीम सीधी होती थी और दीवारों से नहीं टकराती थी, तो AI को उच्च स्कोर मिलता था। यदि बीम डगमगाने लगती या कण खोने लगती, तो स्कोर कम हो जाता था। सीखने की प्रक्रिया को तेज़ बनाने के लिए, उन्होंने एक चतुर तकनीक भी ईजाद की जिसे "ओवरशूट रणनीति" (oversight strategy) कहा जाता है। आमतौर पर, जब आप इन मशीनों में एक बड़ा चुंबक घुमाते हैं, तो चुंबकीय क्षेत्र को स्थिर होने में लंबा समय लगता है—लगभग 60 सेकंड। AI को यह देखने के लिए उस लंबे समय तक इंतज़ार करना पड़ता था कि उसका समायोजन काम कर रहा है या नहीं। शोधकर्ताओं ने पाया कि यदि वे चुंबक को बहुत अधिक घुमाते और फिर तुरंत वापस खींच लेते, तो चुंबकीय क्षेत्र केवल 10 सेकंड में स्थिर हो जाता। इसने AI को सीखने में छह गुना तेज़ बना दिया!
परिणाम प्रभावशाली थे। AI ने कुछ ही घंटों में पांच अलग-अलग ऑपरेटिंग मोड के लिए मशीन को ट्यून करना सीख लिया। कुछ मामलों में, इसने इतनी अच्छी तरह से सीखा कि यह पूरी रात मशीन को पूरी तरह से स्थिर रख सका, और जैसे-जैसे मशीन गर्म या ठंडी होती है, होने वाले सूक्ष्म बदलावों को बिना किसी मानवीय सहायता के स्वचालित रूप से ठीक कर सका। इससे भी अधिक आश्चर्यजनक बात यह थी कि AI ने कम पावर लेवल (20 माइक्रोएम्पीयर्स) पर सीखा, लेकिन फिर वह बिना दोबारा प्रशिक्षित हुए, बहुत उच्च पावर लेवल (800 माइक्रोएम्पीयर्स तक) पर मशीन का नियंत्रण लेने में सक्षम था। इसने सफलतापूर्वक बीम को स्थिर रखा और टकरावों को रोका, जिससे यह साबित हुआ कि कम पावर पर सीखी गई कुशलता उच्च-शक्ति वाली स्थितियों में भी लागू की जा सकती है।
हालाँकि, यह शोध पत्र सावधानीपूर्वक यह भी स्पष्ट करता है कि इसका अर्थ यह नहीं है। AI ने मशीन के टूटे हुए हिस्से, जैसे कि टूटा हुआ चुंबक या खराब पावर सप्लाई, को ठीक करना नहीं सीखा। इसने पलक झपकते ही मशीन को शून्य से ट्यून करना भी नहीं सीखा; किसी विशिष्ट सेटिंग को पकड़ने के लिए इसे अभी भी कुछ घंटों के प्रशिक्षण की आवश्यकता थी। शोधकर्ताओं ने पाया कि AI का "ज्ञान" सभी सेटिंग्स के बीच स्वतः ही पूरी तरह से स्थानांतरित नहीं होता था। उदाहरण के लिए, जो रणनीति एक प्रकार के बीम पथ के लिए बहुत अच्छी थी, वह दूसरे पथ के लिए तुरंत काम नहीं करती थी; AI को कभी-कभी फिर से सीखना पड़ता था या अपना तरीका बदलना पड़ता था। लेकिन, एक "सरोगेट मॉडल" (surrogate model)—जो पुराने डेटा से बनी मशीन की एक डिजिटल जुड़वा (digital twin) थी—का उपयोग करके, AI शून्य से शुरू करने की तुलना में बहुत तेज़ी से सीख सकता था।
अंततः, इस प्रयोग ने दिखाया कि पहली बार, एक मशीन लर्निंग एजेंट भरोसेमंद तरीके से एक उच्च-शक्ति वाले साइक्लोट्रॉन को ट्यून कर सकता है, जिससे यह सुरक्षित और कुशल रूप से चलता रहे। इसने पूरी तरह से मानव विशेषज्ञों की जगह नहीं ली, विशेष रूप से शुरुआती सेटअप के लिए, लेकिन इसने साबित कर दिया कि एक बार मशीन चलने के बाद, AI एक अथक, सुपर-फास्ट रक्षक के रूप में कार्य कर सकता है, जो बीम को ट्रैक पर रखता है और अगली बड़ी वैज्ञानिक खोज के लिए तैयार रखता है। यह "एक्सेलेरेटर ड्रिवन सिस्टम्स" (Accelerator Driven Systems) के भविष्य की ओर एक बड़ा कदम है, जहाँ ये मशीनें एक दिन वैश्विक ऊर्जा और कचरे की समस्याओं को हल करने में मदद करने के लिए निरंतर चल सकेंगी, और इनके लिए स्मार्ट सॉफ्टवेयर सुरक्षित और स्थिर रहने की जिम्मेदारी संभालेगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।