Auditing the Risk Claims of Distributional Reinforcement Learning
यह शोध पत्र एक ऑडिट फ्रेमवर्क प्रस्तुत करता है जो यह प्रदर्शित करता है कि प्रशिक्षित डिस्ट्रीब्यूशनल रिइन्फोर्समेंट लर्निंग एजेंटों के जोखिम-संवेदनशील दावे काफी हद तक संरचनात्मक प्रशिक्षण आर्टिफैक्ट्स हैं न कि पर्यावरणीय स्टोकेस्टिसिटी का सटीक प्रतिबिंब, जो उनकी जोखिम संबंधी सलाह को सूचनाहीन और निर्णय लेने के लिए अक्सर हानिकारक बना देते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक सुपर-स्मार्ट रोबोट गेमर बनाया है जो सिर्फ यह अनुमान नहीं लगाता कि उसे कितने अंक मिलेंगे, बल्कि वह वास्तव में संभावित भविष्यों की पूरी रेंज की भविष्यवाणी करता है। यह एक मौसम पूर्वानुमानकर्ता की तरह है जो केवल यह नहीं कहता कि "बारिश हो सकती है," बल्कि एक विस्तृत मानचित्र भी बनाता है जो दिखाता है कि बारिश ठीक कहाँ गिरेगी, कितनी ज़ोर से गिरेगी, और कहाँ से धूप झाँक सकती है। यह रोबोट, जिसे डिस्ट्रीब्यूशनल रिइन्फोर्समेंट लर्निंग एजेंट (Distributional Reinforcement Learning agent) कहा जाता है, जोखिम लेने वालों का सबसे अच्छा दोस्त होने के लिए डिज़ाइन किया गया है। इसे यह पहचानने के लिए बनाया गया है कि कौन सा कदम एक सुरक्षित, उबाऊ दांव है और कौन सा एक बड़ा जुआ है, भले ही दोनों का औसत स्कोर समान ही क्यों न हो।
लेकिन इसमें एक मोड़ है: रोबोट का "जोखिम मानचित्र" (risk map) ज्यादातर एक भ्रम या मतिभ्रम (hallucination) है।
महान ऑडिट (The Great Audit)
इस शोध पत्र के लेखकों ने एक जासूस की भूमिका निभाने का निर्णय लिया। उन्होंने एक सरल प्रश्न पूछा: जब यह रोबोट दावा करता है, "हे, यह चाल जोखिम भरी है और वह सुरक्षित है," तो क्या वह वास्तव में सच बोल रहा है?
यह पता लगाने के लिए, उन्होंने केवल रोबोट की बातों पर भरोसा नहीं किया। उन्होंने एक "सत्य मशीन" (truth machine) बनाई। उन्होंने गेम की दुनिया के स्नैपशॉट लिए, समय को रोक दिया, और फिर उसी क्षण को हजारों बार अलग-अलग रैंडम सीड्स (जैसे बार-बार पासा फेंकना) के साथ दोबारा चलाया ताकि यह देखा जा सके कि वास्तव में क्या होता है। उन्होंने रोबोट की शानदार भविष्यवाणियों की तुलना वास्तविक दुनिया के डेटा के इस पहाड़ से की।
चौंकाने वाला परिणाम: 40% से 95% "जोखिम" नकली है
ऑडिट ने एक बड़ी समस्या का खुलासा किया। जिन खेलों में उन्होंने परीक्षण किया (MinAtar, जो क्लासिक आर्केड गेम्स का एक मिनी-वर्जन है), उनमें रोबोट के जोखिम के सबसे मजबूत दावों में से 40% से 95% पूरी तरह से झूठे थे।
इसे ऐसे समझें: रोबोट एक गलियारे में खड़ा है, दो दरवाजों की ओर इशारा कर रहा है। वह चिल्लाता है, "दरवाजा A सुरक्षित है! दरवाजा B एक जाल है!" लेकिन जब ऑडिटर्स ने दरवाजे खोले और 2,000 बार उनके माध्यम से दौड़कर देखा, तो उन्होंने पाया कि दोनों दरवाजे बिल्कुल एक ही कमरे में खुलते थे। रोबोट अंतर देख नहीं रहा था; वह बस अपनी तरफ से कुछ बना रहा था।
- "शीर्ष" दावे सबसे खराब हैं: रोबोट जितना अधिक आश्वस्त था कि जोखिम का अंतर है, उसके झूठ बोलने की संभावना उतनी ही अधिक थी। उसके "सबसे जोखिम भरे" पलों के शीर्ष 2% में, 95% दावे गलत साबित हुए।
- यह केवल एक मामूली गड़बड़ी नहीं है: यह कोई ऐसी खराबी नहीं है जो रोबोट के थकने या सीखने के दौरान होती है। लेखकों ने रोबोट को उसके जीवन के विभिन्न चरणों में जांचा। नकली जोखिम दावे प्रशिक्षण के केवल 500,000 स्टेप्स के बाद पूरी तरह से बन गए थे और वैसे ही रहे जबकि रोबोट खेल में दोगुना बेहतर हो गया था।
- यह गेम की गलती नहीं है: रोबोट किसी कठिन गेम से भ्रमित नहीं था। जब लेखकों ने इसे एक विशेष, कस्टम-मेड गेम पर टेस्ट किया जहाँ जोखिम वास्तविक और स्पष्ट रूप से परिभाषित थे (एक "RISKYGRID"), तो रोबोट ने 96-100% बार सही परिणाम दिए। यह साबित करता है कि रोबोट जोखिम देख सकता है, लेकिन वास्तविक आर्केड गेम्स में, वह केवल परछाइयों या भूतों को देख रहा है।
ऐसा क्यों होता है?
यह शोध पत्र उन कारणों को खारिज करता है जो लोग सोच सकते हैं:
- यह इसलिए नहीं है क्योंकि रोबोट गेम खेलने में "खराब" है। यहाँ तक कि एक लगभग-पूर्ण, प्री-ट्रेन्ड रोबोट (जिसे 10 मिलियन फ्रेम्स के डेटा पर प्रशिक्षित किया गया था) भी इसी जाल में फंसा।
- यह इसलिए नहीं है क्योंकि रोबोट "मिसकैलिब्रेटेड" (miscalibrated) है (जैसे एक थर्मामीटर जो हमेशा 5 डिग्री गलत होता है)। यदि आप रोबोट को "ठीक" करने की कोशिश करते, तो केवल एक ही तरीका था जिससे वह टेस्ट पास कर पाता: वह कुछ भी न बोले। रोबोट केवल थोड़ा गलत नहीं है; वह अप्रासंगिक (uninformative) है। यह एक ऐसे कंपास की तरह है जो बेतहाशा घूमता है; आप इसे उत्तर की ओर इशारा करने के लिए "एडजस्ट" नहीं कर सकते क्योंकि इसमें चुंबकीय संवेदना ही नहीं है।
- यह डेटा की कमी नहीं है। रोबोट ने हजारों उदाहरण देखे, लेकिन जो "जोखिम" उसने सीखा वह उसके प्रशिक्षण के तरीके का एक संरचनात्मक अवशेष (structural artifact) था, न कि गेम की कोई विशेषता।
खतरा: झूठ पर अमल करना
यहाँ डरावना हिस्सा है। यदि आप इस रोबोट की सलाह का उपयोग करके निर्णय लेने वाले मानव खिलाड़ी होते, तो आप मुसीबत में पड़ जाते।
- एक गेम (Breakout) में, रोबोट की सलाह वास्तव में मददगार थी।
- दूसरे गेम (Seaquest) में, उसकी सलाह का पालन करने से आप जोखिम को पूरी तरह से अनदेखा करने की तुलना में तीन गुना बदतर हो गए।
- तीसरे गेम (Asterix) में, यह लगभग एक सिक्के के उछलने (coin flip) जैसा था।
सबसे बुरी बात? आप यह नहीं बता सकते कि कौन सा गेम कौन सा है। रोबotong आपको एक "रिस्क स्कोर" देता है, लेकिन वह स्कोर आपको कुछ नहीं बताता कि सलाह जीवन बचाने वाली है या मौत का वार। यह एक ऐसे मौसम ऐप की तरह है जो कभी तूफान की भविष्यवाणी करता है और कभी धूप वाले दिन की, लेकिन ऐप आपको यह संकेत नहीं देता कि कौन सी भविष्यवाणी वास्तविक है।
निष्कर्ष
लेखक निष्कर्ष निकालते हैं कि उनके द्वारा परीक्षण किए गए रोबोटों के लिए, जो "जोखिम" वे देखते हैं वह एक प्रशिक्षण अवशेष (training artifact) है—मशीन के भीतर का एक भूत। यह एक पैटर्न है जिसे रोबोट ने अपने गणित के कारण सीखा है, न कि इसलिए कि दुनिया वास्तव में उस तरह से खतरनाक है।
लेखक बहुत स्पष्ट हैं: रोबोट के जोखिम मानचित्रों पर उनके मूल रूप में भरोसा न करें। यदि आप इन एजेंटों का उपयोग सुरक्षा-महत्वपूर्ण कार्यों (जैसे सेल्फ-ड्राइविंग कार) के लिए करना चाहते हैं, तो आपको पहले उनका ऑडिट करना होगा। तब तक, रोबोट का "जोखिम" केवल एक बहुत ही विश्वसनीय, बहुत ही आत्मविश्वासी झूठ है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।