Robust Asynchronous Q-Learning under Reward and State Corruption via Batching
यह शोध पत्र BR-Async-Q को प्रस्तुत करता है, जो एक नवीन इपोक-आधारित (epoch-based) सुदृढ़ Q-लर्निंग एल्गोरिदम है जो डेटा को बैचिंग करके और सुदृढ़ बेलमैन ऑपरेटर अनुमानों का निर्माण करके रिवॉर्ड्स और स्टेट्स दोनों के प्रतिकूल भ्रष्टाचार (adversarial corruption) को प्रभावी ढंग से संभालता है, और उच्च-संभाव्यता त्रुटि सीमाएं प्राप्त करता है जो भ्रष्टाचार के अंश के साथ स्केल होने वाले एक पद तक वैनिला Q-लर्निंग के समान हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को खजाना खोजने के लिए एक भूलभुलैया (maze) में नेविगेट करना सिखा रहे हैं। विज्ञान कथा (science fiction) की एक आदर्श दुनिया में, रोबोट हर मोड़ को स्पष्ट रूप से देखता है, हर निर्देश को पूरी तरह सुनता है, और अपनी हर गलती से तुरंत सीखता है। लेकिन वास्तविक दुनिया अस्त-व्यस्त है। सेंसर खराब हो सकते हैं, सिग्नल बाधित हो सकते हैं, और कभी-कभी, एक शरारती हैकर रोबोट को धोखा देने के लिए उसे नकली दीवारें दिखाकर या खजाने के स्थान के बारे में झूठ बोलकर भी फंसा सकता है। यह रीइन्फोर्समेंट लर्निंग (Reinforcement Learning - RL) की दुनिया है। यह एक ऐसी विधि है जहाँ एक एजेंट (जैसे एक रोबोट या एक सॉफ्टवेयर प्रोग्राम) चीजों को आजमाकर और फीडबैक प्राप्त करके निर्णय लेना सीखता है। लक्ष्य सबसे अच्छा रास्ता खोजने का है ताकि पुरस्कार (rewards) को अधिकतम किया जा सके, जैसे कोई खेल जीतना या कार को सुरक्षित रूप से चलाना। हालाँकि, यदि एजेंट को मिलने वाला फीडबैक दूषित है—जो शोर, त्रुटियों या जानबूझकर बोले गए झूठ से भरा है—तो एजेंट भ्रमित हो सकता है, गलत सबक सीख सकता है, और अंततः भयानक निर्णय ले सकता है। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: क्या हम एक ऐसा लर्निंग सिस्टम बना सकते हैं जो झूठ को अनदेखा करने और सच्चाई का पता लगाने में इतना सक्षम हो, भले ही डेटा बहुत खराब स्थिति में हो?
यह शोध पत्र, जिसका शीर्षक "Robust Asynchronous Q-Learning under Reward and State Corruption via Batching" है, ठीक इसी समस्या पर काम करता है। लेखक, श्रीजीत मैइती और अरित्र मित्रा, उस परिदृश्य को लेकर चिंतित हैं जहाँ एक विरोधी (एक बुरा तत्व) एक साथ "रिवॉर्ड" (वह स्कोर जो रोबोट को मिलता है) और "स्टेट" (रोबोट का दुनिया का दृश्य) दोनों को बिगाड़ सकता है। वे एक नया एल्गोरिदम प्रस्तावित करते हैं जिसे BR-Async-Q कहा जाता है। इसे एक नए तरीके के रूप में समझें जिससे रोबोट झूठ देखकर घबराता नहीं है। हर एक कदम के बाद अपने मस्तिष्क को अपडेट करने के बजाय—जो इसे एक खराब डेटा के प्रति संवेदनशील बनाता है—वे पहले अनुभवों का एक पूरा "बैच" (समूह) एकत्र होने का इंतजार करते हैं। फिर, वे झूठ को छानने और एक एकल, मजबूत अपडेट बनाने से पहले औसत सत्य को खोजने के लिए एक चतुर सांख्यिकीय तकनीक का उपयोग करते हैं। वे गणितीय रूप से सिद्ध करते हैं कि यह तरीका काम करता है, यह दिखाते हुए कि दूषित डेटा के एक निश्चित प्रतिशत के साथ भी, रोबोट अभी भी एक लगभग-पूर्ण रणनीति सीख सकता है। उनके सिमुलेशन पुष्टि करते हैं कि जहाँ मानक लर्निंग विधियाँ हमलों के तहत विफल हो जाती हैं, वहीं उनकी नई विधि रोबोट को सही रास्ते पर रखती है, और शेष झूठों के कारण होने वाली केवल एक बहुत छोटी, अनुमानित त्रुटि के साथ सही उत्तर की ओर अग्रसर होती है।
समस्या: दर्पणों के हॉल में एक रोबोट
लेखकों ने जो किया उसे समझने के लिए, हमारे रोबोट लर्निंग एजेंट को एक परीक्षा देने वाले छात्र के रूप में चित्रित करें। एक सामान्य रीइन्फोर्समेंट लर्निंग सेटअप में, छात्र एक कदम उठाता है, एक ग्रेड (रिवॉर्ड) प्राप्त करता है, और अगला प्रश्न (स्टेट) देखता है। वे इसका उपयोग तुरंत अपने अध्ययन मार्गदर्शिका (Q-टेबल) को अपडेट करने के लिए करते हैं।
लेकिन कल्पना कीजिए कि एक चालाक निरीक्षक (विरोधी) देख रहा है। समय-समय पर, निरीक्षक छात्र के वास्तविक ग्रेड को नकली ग्रेड से बदल देता है, या अगले पेज पर प्रश्न को पूरी तरह से कुछ अलग में बदल देता है। यह वही है जिसे शोध पत्र में हुबर कंटैमिनेशन (Huber contamination) कहा गया है। निरीक्षक को हर समय झूठ बोलने की आवश्यकता नहीं है; झूठ का एक छोटा प्रतिशत (मान लीजिए 1% या 5%) ही छात्र को भटकाने के लिए पर्याप्त है। यदि छात्र हर एक प्रश्न के बाद अपनी अध्ययन मार्गदर्शिका को अपडेट करता है, तो एक नकली ग्रेड उसे यह सोचने पर मजबूर कर सकता है कि गलत उत्तर सही है। समय के साथ, ये छोटी त्रुटियां जुड़ती जाती हैं, और छात्र अंततः एक पूरी तरह से गलत मार्गदर्शिका के साथ रह जाता है।
स्थिति और भी जटिल हो जाती है क्योंकि छात्र "एसिंक्रोनसली" (asynchronously) सीख रहा है। इसका मतलब है कि उन्हें एक साथ हर संभव प्रश्न और उत्तर देखने का मौका नहीं मिलता। वे भूलभुलैया में घूमते हैं, और कुछ रास्ते अक्सर देखे जाते हैं, जबकि अन्य दुर्लभ होते हैं। यदि निरीक्षक उन दुर्लभ रास्तों को निशाना बनाता है, तो छात्र को कभी पता नहीं चलेगा कि उसके साथ झूठ बोला गया है क्योंकि उसके पास पैटर्न को पहचानने के लिए पर्याप्त डेटा नहीं होता।
समाधान: "बैच एंड ट्रिम" रणनीति
लेखकों का समाधान, BR-Async-Q, सीखने की लय को बदल देता है। प्रत्येक फीडबैक पर प्रतिक्रिया देने के बजाय, रोबोट रुकता है और अपने अनुभवों को एपॉक्स (epochs) या बैच (batches) नामक समूहों में इकट्ठा करता है।
कल्पना कीजिए कि रोबोट समुद्र तट पर शंख (seashells) इकट्ठा कर रहा है। एक मानक रोबोट एक शंख उठाता है, उसे देखता है, और तुरंत निर्णय लेता है कि वह खजाना है या पत्थर। यदि उसे एक नकली शंख (प्लास्टिक का टुकड़ा जिसे सोने जैसा रंगा गया हो) दिया जाता है, तो रोबोट मूर्ख बन सकता है।
हालाँकि, BR-Async-Q रोबोट पहले 1,000 शंखों से भरी एक बाल्टी भरता है। एक बार जब बाल्टी भर जाती है, तो वह उन्हें बाहर निकाल देता है और पूरे ढेर को देखता है। वह जानता है कि निरीक्षक ने कुछ प्लास्टिक के शंख उसमें डाल दिए होंगे, लेकिन वह यह भी जानता है कि प्लास्टिक के शंख संभवतः 'आउटलेयर्स' (outliers) होंगे—या तो बहुत अधिक चमकदार या बहुत अजीब। इसलिए, रोबोट एक विशेष उपकरण का उपयोग करता है जिसे ट्रिम्ड मीन (trimmed mean) कहा जाता है। वह सबसे चरम शंखों (वे जो संदिग्ध रूप से नकली या असंभव रूप से उत्तम दिखते हैं) को अनदेखा कर देता है और शेष, सामान्य दिखने वाले शंखों के औसत मान की गणना करता है।
यह "ट्रिमिंग" प्रक्रिया ही असली सफलता का मंत्र है। डेटा का एक बड़ा बैच होने तक प्रतीक्षा करके, रोबोट सिग्नल (सत्य) को शोर (झूठ) से सांख्यिकीय रूप से अलग कर सकता है। शोध पत्र सिद्ध करता है कि ऐसा करके, रोबोट अपने कार्यों के वास्तविक मूल्य का उच्च सटीकता के साथ अनुमान लगा सकता है, भले ही कुछ डेटा दूषित हो।
बैचिंग क्यों महत्वपूर्ण है: वेरिएंस ट्रैप (Variance Trap)
लेखक पिछले तरीकों में एक गंभीर दोष की ओर इशारा करते हैं। पुराने रोबस्ट एल्गोरिदम हर कदम पर अपडेट होकर और सत्य का अनुमान लगाने के लिए जटिल गणित का उपयोग करके मजबूत बनने की कोशिश करते थे। समस्या यह थी कि इन अपडेट्स में उच्च वेरिएंस (variance) था। सरल शब्दों में, "वेरिएंस" यह है कि रोबोट का अनुमान कितना ऊपर-नीचे होता है। यदि रोबोट शोर वाले डेटा के साथ बहुत बार अपडेट करता है, तो उसका मस्तिष्क लगातार डगमगाता रहता है, जिससे उसे रास्ते से भटकाना आसान हो जाता है।
डेटा को बैच करने से, BR-Async-Q इस डगमगाहट को कम करता है। यह एक लंबे एक्सपोज़र फोटो लेने जैसा है। यदि आप तेज़ शटर स्पीड के साथ चलती कार की तस्वीर लेते हैं, तो आपको एक धुंधली, हिलती हुई छवि मिलती है। लेकिन यदि आप प्रतीक्षा करते हैं और लंबे एक्सपोज़र वाली फोटो लेते हैं, तो गति धुंधली हो जाती है, और आपको एक स्पष्ट, स्थिर चित्र मिलता है। लेखक दिखाते हैं कि यह "वेरिएंस रिडक्शन" (विचलन में कमी) उनके एल्गोरिदम को मानक लर्निंग (जब कोई झूठ न हो) के प्रदर्शन से मेल खाने में सक्षम बनाता है, जबकि यह झूठ के प्रति प्रतिरोधी भी रहता है।
परिणाम: झूठ को हराना
शोध पत्र एक गणितीय गारंटी प्रदान करता है, जो एक फैंसी तरीका है यह कहने का कि उन्होंने तर्क के साथ सिद्ध किया है कि रोबोट सफल होगा। उन्होंने दिखाया कि त्रुटि (वह अंतर जो रोबोट सीखता है और पूर्ण रणनीति के बीच होता है) के दो भाग हैं:
- प्राकृतिक त्रुटि (Natural Error): यह वह सामान्य गलती है जिसकी आप उम्मीद करते हैं क्योंकि रोबoid ने अभी तक पर्याप्त डेटा नहीं देखा है। यह हिस्सा छोटा होता जाता है क्योंकि रोबोट अधिक सीखता है।
- करप्शन बायस (Corruption Bias): यह वह अतिरिक्त त्रुटि है जो निरीक्षक के झूठ के कारण होती है।
अद्भुत बात यह है कि उनके नए तरीके में "करप्शन बायस" बहुत कम है। यह सीधे झूठ की मात्रा (करप्शन प्रोबेबिलिटी) के साथ बढ़ता है, लेकिन रोबोट के भ्रम से बढ़कर नहीं होता। वास्तव में, जब केवल रिवॉर्ड दूषित होते हैं (और स्टेट साफ होते हैं), तो उनका तरीका मिनिमैक्स ऑप्टिमल (minimax optimal) है। यह तकनीकी रूप से कहने का एक तरीका है: "आप इससे बेहतर नहीं कर सकते।" वे उन सीमाओं तक पहुँचते हैं कि इन स्थितियों में कोई भी एल्गोरिदम कितना अच्छा प्रदर्शन कर सकता है।
लेखकों ने यह देखने के लिए सिमुलेशन भी चलाए कि यह व्यवहार में कैसे काम करता है। उन्होंने 100 स्टेट्स और 40 एक्शन्स के साथ एक ग्रिड-वर्ल्ड एनवायरनमेंट (एक साधारण भूलभुलैया) बनाया। उन्होंने विभिन्न स्तरों के भ्रष्टाचार को पेश करते हुए अपने एल्गोरिदम का परीक्षण एक मानक एल्गोरिदम के विरुद्ध किया।
- मानक रोबोट: जब निरीक्षक ने झूठ बोलना शुरू किया, तो मानक रोबोट का प्रदर्शन गिर गया। उसकी त्रुटि बहुत बढ़ गई, और वह सबसे अच्छा रास्ता खोजने में विफल रहा।
- BR-Async-Q रोबोट: यहाँ तक कि जब 20% डेटा दूषित था (झूठ बोलने की एक विशाल मात्रा), तब भी यह रोबोट शांत रहा। यह एक ऐसे समाधान की ओर अग्रसर हुआ जो लगभग पूर्ण समाधान के बहुत करीब था, जिसमें केवल एक बहुत छोटी, स्थिर त्रुटि थी।
उन्होंने यह भी परीक्षण किया कि क्या होता है यदि रोबोट कुछ रास्तों पर बहुत कम बार जाता है। पिछले तरीके यहाँ संघर्ष करते थे, यह सोचकर कि दुर्लभ रास्ते झूठ के प्रति अधिक संवेदनशील हैं। लेकिन क्योंकि BR-Async-Q एक पूर्ण बैच का इंतजार करता है, यह सुनिश्चित करता है कि भले ही दुर्लभ रास्तों को भी झूठ को छानने के लिए पर्याप्त ध्यान मिले, जिससे उन त्रुटियों के "प्रवर्धन" (amplification) से बचा जा सके जो पुराने तरीकों में समस्या थी।
निष्कर्ष
अंत में, यह शोध पत्र हमें एक अस्त-व्यस्त, अविश्वसनीय दुनिया में मशीनों को सिखाने के लिए एक नया नियम प्रदान करता है। यह सुझाव देता है कि धैर्य एक गुण है। धीमा होकर, अधिक डेटा एकत्र करके और शोर को छानने के लिए स्मार्ट सांख्यिकी का उपयोग करके, हम ऐसे AI सिस्टम बना सकते हैं जो केवल भ्रष्टाचार में जीवित ही नहीं रहते, बल्कि उसके बावजूद भी बेहतर प्रदर्शन करते हैं। लेखकों ने केवल यह अनुमान नहीं लगाया कि यह काम करेगा; उन्होंने इसे गणितीय रूप से सिद्ध किया और सिमुलेशन में काम करते हुए दिखाया। हालाँकि वर्तमान विधि के लिए बहुत सारा डेटा मेमोरी में स्टोर करने की आवश्यकता होती है (जैसे शंखों की बड़ी बाल्टी भरना), मूल विचार—कि बैचिंग और रोबस्ट एस्टीमेशन, प्रतिकूल झूठ को हरा सकते हैं—स्व-चालित कारों से लेकर चिकित्सा निदान तक, हर उस चीज़ में सुरक्षित और विश्वसनीय AI के द्वार खोलता है जहाँ एक झूठ की कीमत बहुत अधिक होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।